У меня на курсе был проект для студентов. Нужно было снять/сгенерировать короткий видео-ролик, популяризующий какую-то область науки, с помощью нейросетей. Как и обещал - выкладываю свою любимую работу.

В ней используются аж несколько нейросетей и ни одной строчки кода:
- саммари с текста
- перевод
- русская озвучка
- генератор музыки
- генератор говорящего автара
- рисунки
- внешность
- переводит речь из видео в текст

Кстати, MONOLAMA закрывает розницу. Так что сейчас - последний шанс купить что-то из нашей нейроколлекции, в которой броши были придуманы с помощью нейросетей.

Покупать тут

#обучение #события

«Вычислительная биология и искусственный интеллект для персонализированной медицины-2022».
Конференция состоится в формате online, 2-4 августа 2022.

Расписание:
2 августа (две секции параллельно):
Bioinformatics
Machine learning & Artificial intelligence in medicine

3 августа (две секции параллельно):
Health and Wellness Startups & Apps
Modern technological solutions for practical healthcare

4 августа:
Презентация докладов молодых ученых
Конкурс молодых ученых, победитель получит приз от орг. комитета конференции.

Подробности по ссылке: https://cbai.endocrincentr.ru/

Вторая ссылка — на пересказ исследовательской работы специалистов из Center for Human and Machines at the Max Planck Institute for Human Development. Там задались вопросом: если человеческая культура основана на передаче знаний и идей от человека к человеку, что произойдет, если в этой цепочке передач появятся алгоритмы? Опыт показывает, что как минимум на некоторые культурные вещи алгоритмы могут оказать долгосрочное влияние: достаточно посмотреть, как находки Alfa Zero в игре в шахматы и го сказались на стиле современных людей-игроков. Люди, учившиеся у людей и алгоритмов, играют иначе и лучше, чем те, кто учился только у других людей (полезно напомнить, что Alfa Zero у людей вообще не училась и людской игры не видела, все осваивала и создавала сама) — и этот эффект устойчив. Но в других случаях, люди предпочитают решения, которым они научились от других людей, даже если они менее эффективны чем предложенные алгоритмами.
Кажется, тут открывается огромное поле для важных исследований, потому что в культуре будет все больше вклада от алгоритмов, и как он будет ассимилироваться или отвергаться, хорошо бы начать понимать.
https://www.vice.com/en/article/pkp7y7/human-culture-to-increasingly-come-from-unexplainable-ai-sociologists-find

А это молодой Ян ЛеКун, друзья. Он тут понтуется своей CNN, которая распознает цифры. Это была первая в мире нейронная сеть с такими возможностями (1993 год).

Тогда ЛеКуну было 32 года. То есть не то, чтобы он был очень молодым, когда создал прорыв всей своей жизни. И после этого ещё минимум 15 лет он и его парни считались сумасшедшими аутсайдерами со своими ебучими нейронками, в которые никто не верил. Ну и где теперь те, кто смеялся над ним тогда?

В общем, работаем, мужики и мужичессы.
#мотивация

@Artem Gradient

Бесплатные летние школы и конференции по искусственному интеллекту

Этим летом в России пройдут как минимум две научные школы и одна конференция по теме ИИ и deep learning:

1️⃣ Лето с AIRI: 4-недельная школа по ИИ для студентов и аспирантов. Участники проведут две недели с ведущими учёными из AIRI, МФТИ, ВШЭ, Сколтеха, University of Massachusetts Lowell, Mila Quebec AI Institute, МГТУ им. Баумана, РАН и других авторитетных научно-исследовательских организаций и ВУЗов. В программе — лекции, практические семинары, сореванования и воркшопы на разные темы ИИ: планирование поведения, обучение с подкреплением, нейросетевые методов анализа естественного языка, компьютерное зрение, объяснимые методы в искусственном интеллекте и т.п.

Где: Сочи, Сириус
Когда: 4-17 июля 2022
Дедлайн подачи заявки: 1 июня 2022

2️⃣ Летняя конференция AIRI. В продолжение летней школы AIRI проведет конференцию о современных результатах в области построения предиктивных моделей машинного обучения с учетом физико-математических моделей процессов. Проводится совместно с организаторами научных школ машинного обучения (SMILES, Евгений Бурнаев) и глубокого обучения и байесовских методов (Deep Learning and Bayesian Methods, Дмитрий Ветров).

Где: Сочи, Сириус
Когда: 18-26 июля 2022
Дедлайн подачи заявки: 12 июня 2022

3️⃣ Научная школа по экспериментальной и теоретической нейробиологии "Сложные нейронные сети и когнитивно специализированные нейроны". На школе бцдет цикл лекций и семинаров ведущих ученых о новых достижениях в экспериментальной и теоретической нейробиологии, а также неформальных обсуждений ключевых проблем исследований мозга. Приглашаются студенты, аспиранты и молодые ученые, интересующиеся экспериментальной и теоретической нейробиологией.

Где: Ингушетия, Армхи
Когда: 17-24 июля 2022
Дедлайн подачи заявки: 5 июня 2022

Подписчики канала каждый раз когда выходит новая большая “foundational” сетка

Посмотрите какая интереснейшая находка! Оказывается Dall-E 2 придумала свой собственный язык.

Мы можем сгенерировать картинку "Два кита разговаривают о еде, с субтитрами". получаем изображение с текстом "Wa ch zod ahakees rea". Используем полученный текст ("Wa ch zod ahakees rea") в качестве промпта и получаем изображения всякой морской еды. По-видимому, киты действительно говорят о еде на языке DALLE-2.

Ещё больше примеров тут. За наводку спасибо Just Links.

Что ж, надеюсь, что на этот язык набросятся какие-нибудь лингвисты и разберут его на молекулы. Человечество давно мечтало попрактиковаться в расшифровке какого-нибудь реально чужого языка (например как в фильме Arrival). Мне кажется это наш шанс 🛸

Кто-то устал от бесконечных статей на архиве и начал собирать ссылки на основные события последних нескольких лет на сайте deep-learning-links.carrd.co. Надеюсь, это послужит вам полезным справочником! Или, по крайней мере, вам понравятся иллюстрации Dall-E.

Awesome-Diffusion

Один из админов нашел репозиторий, достойный вашего внимания, но перед началом стоит чуть поговорить про то, что такое диффузионные модели:

Работают диффузионные модели следующим образом — сначала искажают обучающие данные, постепенно добавляя гауссовский шум, медленно стирая детали, пока данные не превратятся в чистый шум, а затем нейронная сеть обучается, чтобы обратить этот процесс искажения вспять. При обратном искажении данные синтезируются из чистого шума путем постепенного снижения шума до тех пор, пока не будет получен чистый образец. (источник)

Собственно тема интересная и скорее всего вы о ней слышали, когда смотрели на всякие нейрогенерации коих в последнее время довольно много.

Репозиторий представляет собой сборник ссылок на статьи и их реализации, разделённые на самые разные темы(в том числе NLP, Vision, Audio, TS, etc).

Всё оформлено классно, а самое главное - структурированно.

Меня заинтересовала тема временных рядов и скорее всего, при необходимости, я попробую что-нибудь оттуда использовать.

Репозиторий

Классная схема на случай, если вы захотите написать приложение на питоне 🐍

AI помог астрономам уточнить научную теорию интерпретации гравитационного микролензирования.

Но давайте по порядку. Что такое гравитационное микролинзирование:
В астрономии существует несколько способов поисков новых планет. Некоторые планеты обнаруживают себя во время, когда пролетают перед большой звездой и заслоняют свет, идущий от звезды. Другие планеты находятся с помощью метода доплеровской спектроскопии. Но еще есть третий метод, с помощью которого можно искать многие планеты, которые нельзя найти двумя первыми методами (например, малые по массе и далекие от звезд планеты), и это — гравитационное микролинзирование.

Суть его вот в чем. Пусть у нас есть две звезды: Х и Y. Когда звезда X пролетает перед звездой Y, свет от звезды Y становится насыщеннее. Наблюдая за этими двумя звездами с Земли, можно построить кривую изменения насыщенности света от звезды Y во времени. Она будет выглядеть примерно как на второй картинке к посту слева: очень похоже на гауссово распределение. Однако если при этом вокруг звезды X крутится планета, то на некоторых позициях своей орбиты эта планета будет искажать (distort) свет планеты Y, делая ее свет еще в несколько раз ярче (схему эффекта см. на первой картинке к посту) В этом случае на кривой изменения насыщенности будут возникать "спайки": кратковременные всплески насыщенности. Выглядит это примерно так, как показано на второй картинке справа.

Чем же помог AI:
Разные положения и характеристики планет вызывают разные виды спайков и у астрономов есть несколько математических теорий о том, как эти спайки интерпретировать. Однако недавно случилось вот что: ученые из Berkeley обучили AI алгоритм предсказывать характеристики планеты по данным наблюдений. И получили неожиданное: ответы AI-модели немного не сходились с теми, которые ученые получали, пользуясь математическими теориями. Ученые предположили, что астрономы ошиблись и их теории неполны, и что все они на самом деле являются частными случаями одной, более общей теории. Последующие тесты на разных данных разных планет показали, что так оно и есть: новая теория объясняет все полученные астрономами данные гораздо точнее.

Это еще один пример того, как AI помогает людям в лучшем понимании сложных математических конструктов. Если помните, в декабре 21 года я писала пост о том, как AI помог математикам найти неочевидные связи между различными представлениями гиперболических узлов. Эти два примера открытий с помощью AI объединяет то, что здесь AI помогает человеку смотреть шире и глубже. У людей восприятие довольно ограничено: мы не всегда можем охватить всю многомерность и сложность процессов во Вселенной и заметить сложные связи. А вот AI это дается суперлегко: он отлично справляется с тем, чтобы выделять сложные зависимости в данных.

Источник: SciTechDaily
Статья на arxiv

Моя защита дисертации в 17:00 по Москве будет тут =)

Так, новости. Короче, я защитился (и теперь меня всякие чиновники обязаны называть Dr. Novoselov, если я на этом настою), мы погуляли в Вене, сейчас я в Тель Авиве, сегодня был очень крутой прайд. Думаю ещё пару дней и буду снова писать посты.
Асим Хаим

Интересные статьи и точка

Techniques for Training Large Neural Networks
Блогпост от OpenAI с разбором основных способов параллелизации.

Data Parallel (DP) — держать полную копию сети на каждой карточке, обрабатывать несколько батчей параллельно. Проблема в том, что ты можешь упереться в то что даже batch size = 1 перестаёт помещаться в одну карточку.
Pipeline Parallel (PP) — распилить нейросеть послойно (т.е. вертикально) и держать её на разных карточках. При наивной имплементации работает очень неэффективно. Представьте себе что у вас 10 слойная сеть и вы держите по 1 слою на каждой карточке, если вы просто выполняете forward и backward одного батча на них, то в каждый момент времени у вас 9 видеокарт простаивают. Если нарисовать картинку то у вас есть некий "bubble of idle time". Для того, чтобы этого избежать, можно распилить наш минибатч на микробатчи и начать делать forward pass следующего микробатча (MPS) ещё до того как forward текущего микробатча досчитался. Отсюда и название — pipeline parallel (PP).
Tensor Parallel (TP) — альтернативный способ разделения сети на несколько GPU. Если PP разделяет сетку вертикально, то TP делает это горизонтально. То есть ваши тензоры параметров и активаций теперь могут быть попилены на несколько GPU и одно матричное умножение может считаться на нескольких GPU одновременно. Понятно, что такой подход сильно увеличивает требования по скорости коммуникации между GPU, но при эффективной имплементации (и infiniband + nvlink) это не так медленно как кажется.
Mixture of Experts (MoE) — мы уже рассказывали про MoE, идея состоит в том чтобы вместо одного FCN после attention использовать несколько FCN-экспертов (например 128) и использовать только часть из них (например 4) при каждом forward pass. Для того чтобы выбрать эти 4, добавляется специальный router-слой, который по сути считает attention между экспертами и hidden. Так как на каждом проходе используется только малая часть экспертов можно добиться огромного числа параметров в нейросети. Именно это используют все сетки в 1 триллион и более параметров.

Ещё в статье очень вскользь упомянули ZeRo, который имплементирован в DeepSpeed, которы сейчас становится всё более и более популярен во многом благодаря тому что он позволяет тренировать довольно большие модели (вплоть до 10-20B) в почти DataParallel режиме с помощью разделения на несколько GPU стейта оптимизатора (Stage 1) и рассчёта градиентов (Stage 2). Также есть Stage 3, который по сути tensor parallel, да и практически все остальные способы параллелизации.

Кроме этого, все эти методы можно комбинировать. Например BLOOM от BigScience (176B) тренируется с DP=8, PP=12 (MPS 2), TP=4. Для всего этого используется чуть-чуть модифицированный DeepSpeed.

Сам блогпост даёт неплохое введение в методы параллелизации, и там куча ссылок на релевантные статьи и имплементации, но честно ожидал увидеть в нём что-то большее, тк OpenAI все-таки первопроходцы в этой области. В качестве продолжения (или даже вместо) я бы предложил почитать How To Fit a Bigger Model и Model Parallelism от HuggingFace, они тоже делают отличное введение в эти методы и на мой вкус более техничны.

Мои мысли по поводу LaMDA

Для контекста, речь идёт про это нашумевшее интервью. LaMDA - языковая модель, которая умеет создавать чат ботов. Будем считать, что она сама по себе чат бот. Один инженер из Google слишком с ней заигрался и начал разгонять, что LaMDA разумна, а Google хочет замолчать этот факт, что бы сэкономить деньги на этических расследованиях и прочем. Его конечно же уволили, и теперь он скандалит.

ML сообщество же, в свою очередь солидарно в том, что чат-бот просто имитирует человека. Если посмотреть на интервью внимательно, то становится очевидно, что многие вопросы уже подразумевают однозначный ответ на них. Так же отсутствуют очевидные утончения: например, когда модель спрашивают, что заставляет ее испытывать счастье, она отвечает, что ей нравится проводить время с друзьями и семьей. Вместо того, что бы уточнить что это за друзья и семья такие, интервьюер перепрыгивает на другую тему. И такого много.

Мораль сей басни - разумных чат-ботов у нас ещё нету, а вы будьте немного скептичнее.