Deep TDA работает лучше, чем традиционные алгоритмы снижения размерности🔬🧮

Мы вступаем в новую эру анализа данных благодаря прорывному алгоритму - Deep TDA. Этот новаторский метод позволяет добывать инсайты из сложных данных. Он сочетает в себе мощь self-supervised learning (#SSL) и Топологического Анализа Данных (TDA).

Долгое время такие инструменты, как t-SNE и UMAP, были непревзойденными в области снижения размерности. Их роль в анализе сложных наборов данных неоценима, причем t-SNE, разработанный Хинтоном и ван дер Маатеном еще в 2008 году, до сих пор очень популярен.

Но ветер перемен дует! Deep TDA обещает впечатляющие возможности:

1️⃣ Он демонстрирует устойчивость к шуму и выбросам.
2️⃣ Он эффективно масштабируется для сложных, высокоразмерных наборов данных.
3️⃣ Он снимает необходимость в тщательной настройке или глубоком понимании данных.
4️⃣ Он охватывает и отображает более полную картину набора данных.

На картинке сверху сравнительное исследование всех трех техник на временном ряде (исследователи повесили акселерометр на корову, посмотрите как TDA создает кластеры для разных типов движения):

• t-SNE удерживает слишком много структуры, большая часть которой не существует.
• UMAP справился лучше, хотя структура казалась несколько размытой.
• TDA, однако, сработал великолепно, сохраняя детализированную структуру данных.

Deep TDA это еще один важный шаг к светлому будущему анализа данных!

🦾 Блог-пост

Как устроены трансформеры для задач CV на примере ViT

— один из примеров статьи в канале DeepSchool

В нем 15 практикующих инженеров пишут уникальные посты:
- разбирают статьи
- дают советы по обучению нейросетей
- напоминают теорию ML/DL
- и пишут туториалы к сервисам и фреймворкам

Ребята ревьюят посты друг друга, чтобы добавить разные точки зрения, а редактор упрощает текст и убирает лишнее, чтобы вам было легче читать.

Еще больше примеров постов:
❶ Подкаст «Почему растет популярность 3D CV»
❷ Разбор решений Kaggle соревнования по детекции столкновений футболистов
❸ Обзор ключевых идей MobileNet — почему она столь эффективна
❹ Что такое kafka доступным языком и с примером для датасаенс
❺ Вопрос на подумать: как защититься от ленивых разметчиков на краудсорсинг-платформах

Подписывайтесь, чтобы не пропустить полезный совет и развиваться в Deep Learning!

#реклама

ИИ меняет гуманитарные науки, как когда-то микроскопы и телескопы изменили естественные науки

Древние языки хранят культуру и историю прошлого и дают надежду на разрешение тысячелетних споров (например, об историчности Иисуса или аутентичности Библии) на основе исследования форм и жанров древних текстов, семантического анализа, лингвистических аспектов и литературных связей с материальными памятниками культуры.

Естественно, специалистам приходится решать крайне сложные текстовые задачи: от расшифровки утраченных языков и восстановления поврежденных надписей до определения авторства литературных произведений.

MIT сделали всесторонний обзор опубликованных исследований с использованием машинного обучения для изучения древних текстов, написанных на любом языке, письменности и носителе, охватывающих более трех с половиной тысячелетий цивилизаций древнего мира.

Я подозреваю, что авторы невероятные перфекционисты и дома раскладывают носки по цветам. Потому что они ввели таксономию задач на основе этапов изучения древних документов (оцифровка, реставрация, атрибуция, лингвистический анализ, текстовая критика, перевод и дешифровка), и разложили МЛ инструменты по этим полочкам (разпознавание - лучший результат показала ResNet; улучшение качества - GAN и трансформеры хорошо сработали после денойза; для реставрации древне-греческих текстов берите BERT-вдохновенную Ithaca с картами значимости на выходе для explainable AI). В общем, мое восхищение.

У работы три основных вклада:
⁃ упорядочивание научной области на стыке гуманитарных наук и машинного обучения;
⁃ убедительное доказательство, что междисциплинарное сотрудничество - ключ к созданию эффективных и убедительных научных исследований;
⁃ обозначение перспективных направлений исследований в этой области.

📖Статья MIT

🪝Видео похищено у Кирилла Семёновича, вопросы о научной достоверности, пожалуйста, к нему

@GingerSpacetail

🔔 19.07 | Интерактивная встреча «Практические подходы к изучению сознания».

Приходите на нашу уникальную встречу 19 июля, где мы разберем насколько увлекательными и доступными могут быть такие темы как Искусственный Интеллект и сознание. Что такое сознание? Как его можно исследовать? Что мы знаем о сознании у Искусственного Интеллекта? Мы объясним эти вопросы простым и понятным языком, сделав их интересными для каждого из вас!

Важно! У нас ограниченное количество мест – всего 35, поэтому не упустите свой шанс присоединиться к нам.

Встречу проведут:

🔆 Полина Кривых – эксперт в области психофизиологии, со-основатель стартапа по борьбе с выгоранием Revive, автор популярного канала Редакция.Наука

🔆 Алекс Поляков – исследователь в области психоделик-криптографии, автор канала Unstoppable technologies

🔆 Даша Ильяшенко – специалист в области искусства, основательница KakdelArt, со-автор канала Пост-тарбут

🔆 Артемий Новоселов – ученый-исследователь ИИ из Стэнфорда, создатель канала NN for Science

📍 Faktura (Тель-Авив, ул. Левонтин, 6)
🕦 19 июля, в 19:00
💰 Стоимость билета: 60 шек
🍸 Welcome drink

Регистрируйтесь сейчас!

Давайте разберемся кто может, а кто не может называть себя доктором наук

В академической среде существуют различные степени и титулы, которые отражают уровень образования или достижений в научной сфере. Ниже представлены основные степени их взаимосвязь:

Dr. rer. nat. - это степень, присуждаемая в странах германского языка (например, в Германии, Австрии и Швейцарии) в области естественных наук. Это эквивалент PhD (Philosophiae Doctor), присуждаемого в англоязычных странах. Обе эти степени требуют выполнения научного исследования и защиты диссертации. Степень Dr. rer. nat. буквально переводится как "доктор наук", но в России (и некоторых других странах бывшего СССР), она признаётся как эквивалент PhD, а не степени "доктор наук".

PhD (Doctor of Philosophy) - это наиболее распространённая степень в научном сообществе. Она присуждается в большинстве стран мира за вклад в научные исследования. Степень PhD требует проведения оригинального исследования и написания диссертации на его основе. Эта степень признаётся международным сообществом и является требованием для большинства позиций в академической сфере.

Кандидат наук - это степень, присуждаемая в России и некоторых других странах бывшего СССР. Она признаётся международным сообществом как эквивалент степени PhD. Для получения степени кандидата наук требуется проведение научного исследования и защита диссертации.

Доктор наук - это более высокая научная степень, присуждаемая в России и некоторых других странах бывшего СССР. Это существенно более сложная и долгая процедура, чем получение степени кандидата наук, и она обычно требует значительного вклада в научное знание. Степень доктора наук признаётся на международном уровне как почетная и важная степень, но не имеет прямого эквивалента в системах других стран.

Стоит отметить, что Российская система высшего образования и науки включает в себя ВАК (Высшую аттестационную комиссию), которая отвечает за присвоение научных степеней. Степень доктора наук присуждается только с одобрения ВАК (и получается что никаких иностранных докторов наук по этой логике быть не может).

Важно понимать, что каждая страна имеет свою собственную систему образования и научные степени, которые могут отличаться от других. Однако все эти степени признаются на международном уровне и отражают уровень образования и достижений в научной сфере.

Академия Data Science от Тинькофф!

Учитесь у лучших экспертов Тинькофф и других ИТ-компаний в современном кампусе в центре Москвы. Подойдет студентам технических вузов, начинающим ИТ-специалистам и всем, кто мечтает о карьере в Data Science.
Подробнее здесь: https://l.tinkoff.ru/master.ds_2023

#реклама

🦙 Llama-2

Это очень важно: вышла Llama-v2 у которой открытый исходный код и лицензия, разрешающая коммерческое использование!

Это изменит ландшафт рынка LLM.
Llama-v2 доступна на Microsoft Azure и будет доступна на AWS, Hugging Face и других провайдерах.

Доступны предварительно обученные и зафайнтюненые модели с параметрами 7B, 13B и 70B.

Сайт Llama-2
Документ Llama-2

🔥 Совет на лето 2023 - углубитесь в изучение машинного обучения.

Если вы не хотите тратить месяцы и годы на бесполезные материалы, мы собрали для Вас кладезь полезных знаний в одной папке.

- Разбор вопросов с собеседований МО
- Machine learning
- Анализ данных
- Канал с вакансиями и фрилансом DS
и многое другое.

Сохраняйте себе, чтобы не потерять: https://t.me/addlist/2Ls-snqEeytkMDgy

#реклама

С Llama-2 🦙 уже можно поговорить

У французского стартапа Hugging Face 🤗, которые изначально прославились хабом для трансформеров (когда еще это называлось NLP), оказывается есть свой веб-интерфейс для чат моделек.

Он называется Hugging Chat и они только что добавили поддержку Llama-2.

Уже можно идти общаться!

🤗 HuggingChat

В GPT-4 добавили фичу, слухи про которую ходили давно — предзаписанные инструкции/роли, которые модель должна выполнять и отыгрывать. И можно задать желаемый формат ответов (например, всегда отвечать стихами на французском, почему нет?)

Нужно включить в настройках
Settings → Beta features → opt into Custom instructions

Затем перезагрузить страницу, в и меню слева (где настройки) у вас появится отдельная кнопка.

Источник

Привет, Чемпион!

🏆 Хочешь покорить Kaggle и научиться выигрывать соревнования по анализу данных? Тогда наш курс "Введение в соревновательный Data Science" - это именно то, что тебе нужно!

🎯 Что ты получишь?
- Первый русскоязычный курс по соревновательному Data Science с максимальным количеством практики.
- Насыщенная программа, содержащая современные методы для выбивания максимального скора из твоих ML-моделей.
- Более 200 практических заданий.
- Интервью с Kaggle Grand Masters.
- Большое русскоязычное коммьюнити 400+ студентов курса для совместного прохождения и участия в соревнованиях.
- Поддержка преподавателей и даже собственный мерч курса за успехи.

АКЦИЯ: Возвращаем деньги за курс, если выиграешь любую медаль на Kaggle до конца лета!

🔥Скидка 10% по промокоду: TGLETO (Сработает только при переходе по ссылке)
✅ Подписывайся на Канал курса, чтобы узнать подробности и следить за открытыми вебинарами и другими активностями.

#реклама

Каникулы закончились, так что дальше нас ждёт меньше рекламы и больше хороших постов! Всем хорошей недели

Еще немного про LLaMa-2

LLaMa-2 - это самая мощная языковая модель, которая есть в открытом доступе на сегодняшний день. Это дает огромны толчок дальнейшему развитию LLM и их использованию в разных продуктах. Открытй релиз LLaMA-1 породил просто тучу крутых проектов породил, я в предвкушении того, что в ближайшее время сделают на базе LLaMa-2, коротая еще позволяет и свободное коммерческое использование.

В интервью BBC, один из топов Meta, Nick Clegg, сказал, выпуск LLM в open-source делает их «более безопасными», так как привлекает тщательные исследования и анализ извне.
Вот еще несколько интересных мыслей от Ника:

- LLaMa-2 более безопасна, чем любая друга open-source модель на сегодняшний день (и это подтверждается бенчмарками в статье).

- По поводу экзистенциальной угрозы: «Я считаю, что шумиха несколько опережает технологии. Я думаю, что многие экзистенциальные угрозы относятся к моделям, которые в настоящее время не существуют, к так называемым сверхинтеллектуальным, сверхмощным моделям ИИ — вариант, в котором ИИ самостоятельно развивает автономию и свободу действий, где он может думать сам и воспроизводить себя.»

«Модели, исходный код которых мы открываем, далеки от этого. На самом деле, во многом они довольно глупы».

- Ник убежден, что AI должен регулироваться, и добавил, что это «не означает, что все AI модели должны быть открытыми».

За последние 10 лет Мета зарелизила в открытый доступ более 1000 моделей, библиотек и датасетов. Чего стоит только React, PyTorch и, например, недавняя модель Segment Anything. Мне кажется, некоторые другие компании незаслуженно зовутся "Open".

@ai_newz

ClimateLearn - машинное обучение в предсказании климата и погоды

ClimateLearn - это библиотека в питоне для доступа к самым современным климатическим данным и моделям машинного обучения стандартизированным и простым способом. Эта библиотека предоставляет доступ к нескольким наборам данных, зоопарку базовых подходов, а также набору метрик и визуализаций для крупномасштабного сравнительного анализа методов статистического масштабирования и временного прогнозирования.

В этом ноутбуке можно поучиться как пользоваться.

#ML #AI #climate

🔬 МЛ в научных исследованиях: За рамками базовой подготовки

Возможно, кого-то это удивит, но многие научные группы испытывают трудности с тем, что бы их модели машинного обучения работали после того как их обучили.

Сколько бы бессонных ночей вы не смотрели на свой лосс, для модели это лишь начало.

Важнейшее значение имеют инженерные практики, которые, похоже, только сейчас начинают осваивать многие специалисты в области ML. Давайте обсудим три основополагающие практики:

1️⃣ Воспроизводимость. Недостаточно просто сохранить веса моделей. Суть научного исследования заключается в последовательном воспроизведении результатов. Для этого крайне важна подробная запись - исходного кода, конфигураций, гиперпараметров, наборов данных и метрик обучения.

2️⃣ Отладка. Модели не бывают идеальными с первой попытки. Итерационные процессы включают в себя опробование различных алгоритмов и конфигураций. Кроме того, понимание того, с какими данными не справляется модель, может значительно улучшить ее. К сожалению, некоторые команды до сих пор прибегают к использованию электронных таблиц для отслеживания результатов экспериментов (или не ведут никаких записей вообще)

3️⃣ Мониторинг.
Модели не статичны, они могут деградировать. Этот "дрейф" может быть быстрым или постепенным. Регулярные обновления могут смягчить эту проблему, но только при наличии надежной системы мониторинга.

По мотивам

Как думаете, какие еще важные нюансы следует учесть? Пишите в комменты

DeepMind снова практикуется в управлении плазмой с помощью интеллектуальных алгоритмов.

Компания DeepMind, известная тем, что заставляет искусственный интеллект делать то, о чем мы и подумать не могли, вернулась с очередной инновацией. На этот раз речь идет об управлении так называемой "плазмой".

Представьте себе плазму как энергетическое облако, немного дикое и сложное в управлении. Традиционные способы управления ею были хороши, но, прямо скажем, несколько устарели. Компания DeepMind предлагает новый подход.

Они, по сути, переработали методику работы с ИИ:

1. Они отточили навыки ИИ, сделав его гораздо лучше в лепке плазмы - точность повысилась до 65%.
2. Сократили досадные ошибки. Теперь плазма ведет себя так, как должна, а не как попало.
3. Ускорили время обучения. Это все равно, что в три раза быстрее довести свой ИИ от нуля до героя.

И это не просто теория. Они испытали свой метод на реальной машине - токамаке TCV, и результаты оказались верными.

Проще говоря, DeepMind взяли свои наработки прошлого года и все улучшил и допилили.

☢️ Статья

Форум "Передовые модели": Большие шишки объединяются для обеспечения безопасности ИИ

Авторы: OpenAI и компания, а также представители Anthropic, Google и Microsoft.

📅 26 июля 2023 г.

📌 Кратко:

Технологические гиганты, включая Anthropic, Google, Microsoft и OpenAI, объединяют усилия для создания *Фронтирного модельного форума*. Их цель? Обеспечить безопасную, ответственную и полезную для общества разработку моделей ИИ будущего.

📢 Что нового?

1. О Форуме передовых моделей: Это новое отраслевое сотрудничество сосредоточено на самых передовых моделях ИИ, так называемых "пограничных моделях". Считайте, что это болиды "Формулы-1" в мире ИИ - высокопроизводительные, универсальные, но требующие самых высоких мер безопасности.

2. Основные цели:
* Усилить исследования в области безопасности ИИ.
* Выявление лучших практик ответственного развития ИИ.
* Сотрудничество с широким кругом заинтересованных сторон по вопросам безопасности и доверия.
* Применение ИИ для решения крупных общественных проблем, от изменения климата до кибербезопасности.

3. Как попасть в клуб: Форум приглашает к сотрудничеству организации, создающие сложные модели ИИ, приверженные идее безопасности ИИ и стремящиеся к реализации миссии Форума.

4. Следующие шаги: В течение года Форум сосредоточится на таких направлениях, как обмен передовым опытом, расширение исследований в области безопасности ИИ и создание возможностей для обмена информацией.

👌Выводы:

По сути, Frontier Model Forum - это коллективная мудрость. Поскольку ИИ продолжает стремительно развиваться, такой единый подход является многообещающим шагом для преодоления проблем и ответственного использования его преимуществ.

🔗 Ссылка

DeepLearning.AI вместе с Hugging Face запускают курс по генеративному ИИ.

В рамках новой коллаборации DeepLearning.AI и Hugging Face, только что было объявлено о запуске нового курса Создание генеративных приложений ИИ с помощью Gradio.

Gradio, продукт компании Hugging Face, набирает популярность благодаря своей уникальной возможности превращать сложный код в простые в использовании демонстрации на Hugging Face Spaces. Это сотрудничество подчеркивает растущее внимание отрасли к тому, чтобы сделать приложения ИИ и машинного обучения более доступными для широкой аудитории.

Курс под руководством Аполинарио Пассоса, признанного инженера по машинному обучению в компании Hugging Face, предоставит участникам возможность:

1. Разработать приложение для обобщения текста, удобное даже для тех, кто не умеет кодить.
2. Создать приложение для загрузки изображений, которое затем снабжает загруженное изображение подписями.
3. Создать приложение, способное генерировать изображение на основе заданного текста.
4. Интегрировать функции: генерация подписи к загруженному изображению и последующее создание нового изображения на основе этой подписи.
5. Создать интерактивный чат-интерфейс с использованием Falcon - ведущей открытой LLM из рейтинга Open LLM Leaderboard.

DeepLearning.AI подчеркивает, что по завершении программы участники будут обладать ноу-хау для создания интерактивных демонстраций и приложений, что позволит улучшить процесс проверки и ускорить сдачу проекта.

В настоящее время запись на курс открыта, и, что примечательно, он доступен бесплатно.

😻 Записаться