"Тапать хомяка? Я бы никогда не стал тратить время на бессмысленные цифры в интернете"

Так же каждые пять минут:

Я соврал, я ничего не знаю о "заработке на нейросетях без вложений." Садись, мы будем изучать multi-head self-attention

Гайд очень хорошо всем зашел, получаю много положительных отзывов даже от стартаперов.

Портировал гайд на хабр и VC

Завтра, 5 июля в 20:00 по Москве, состоится первый в истории канала стрим, который ранее пришлось перенести.

Тема: новая магистерская программа ВШЭ «Прикладные модели искусственного интеллекта», которая реализуется совместно с VK.

В гостях будет академический руководитель программы Cергей Сластников.

Я очень болею за DS/ML/AI образование в России и особенно в ВШЭ, так как сам учился там и даже преподавал. В расписании программы найти курсы по Machine Learning, Deep Learning, C++, Computer Vision, Natural Language Processing, генеративным моделям, а так же Hadoop. Набор выглядит очень интересно. На стриме мы обсудим программу, почему она реализуется совместно с VK, какие это дает преимущества и накладывает ли какие-то ограничения на выпускников.

5 июля, 20:00 по Москве, в аудиочате канала. Если вопрос магистратуры для вас актуален, то присоединяйтесь к этому тест-драйву нового формата.

Через десять минут начинаем стрим. Под этим постом можно оставлять вопросы гостю

Всем спасибо! Мы не ответили на часть вопросов, но придут специальные люди и помогут мне это сделать, а потом я выложу ответы

До чего дошли технологии, можно даже послушать запись

И аудио

# 10 тысяч подписчиков!

Привет всем новым подписчикам! Это не канал с подкастами о магистратурах, как можно было подумать. Чтобы понять, что тут происходит, лучше всего посмотреть этот пост. Сразу предупрежу, что в канале есть реклама, но только если я считаю её полезной для вас (подробнее здесь).

Теперь немного рефлексии. Канал вырос в два раза меньше чем за год и вдруг всё стало казаться очень серьезным. Если раньше было ощущение, что у меня маленький канальчик для себя, то теперь у меня большой канальчик для себя.

Канал растет несмотря на мою контентную политику: никакой контентной политики. До сих пор трудно ответить на вопрос: "О чем этот канал?" Про ИИ, машинное обучение, карьеру, перфекционизм, самогонную философию, мемы, и теперь стендап.

Получается, что канал про любопытство.

Я очень рад, что вам это интересно, и определенно не ожидал такого отклика.

По традиции предлагаю в комментариях поделиться обратной связью.

Что вам нравится? Не нравится? Какие темы наиболее интересны? Нужно ли больше эмодзи в постах? Насколько бесит реклама? Всё, что угодно.

Экзамен по Deep Learning в ШАД. Преподаватель спрашивает студента: "Почему работает BatchNorm?". Студент сидит, пыхтит, отвечает: "Простите, забыл." Вот господа,- обратился преподаватель к другим студентам,-величайшая трагедия машинного обучения: один-единственный человек на свете знал, почему работает BatchNorm, да и тот забыл!

Забыл сказать, что на стриме про магистратуру был специальный гость (реальный скрин из аудиочата)

Александр Червов (@alexander_v_c), автор канала Sberloga, ищет коллег для участия в некоммерческом проекте: применение ML к теории групп и графам с итоговой целью опубликовать хорошую статью. Среди руководителей проекта сильные ученые.

Для участия требуется знать Python и быть готовым уделять несколько часов в неделю.

Если вам интересно участие — напишите @alexander_v_c и он добавит вас в чат для обсуждений.

Было бы вам интересно участвовать в небольшом сообществе в духе канала, то есть полноценном чатике подписчиков? Поставьте любую позитивную реакцию, если да.

Мне кажется тут приятная атмосфера и срез интересных людей. К тому же бывает много мемов вещей, которые хочется с кем-то обсудить, но не хочется делать пост в канале.

# Evaluating the World Model Implicit in a Generative Model
Keyon Vafa, Justin Y. Chen, Jon Kleinberg, Sendhil Mullainathan, Ashesh Rambachan

Возможно самая важная работа о генерализации и моделях мира нейросетей за последние годы. Будет длинно, но вы держитесь.

Мы знаем, что у нейросетей есть модели мира. Например, LLM знают географию Земли, а модели, обученные играть в настольные игры, строят репрезентации игрового поля на несколько шагов вперед.

В этой статье авторы задались вопросом: насколько хороши модели мира и как это измерить?

Авторы взяли в качестве среды поездки таксистов по Манхэттену, преобразованные в текст: начальная точка, конечная точка и повороты на перекрастках. Например: 820 210 N E E E SE W W N SE N end.

Модель обучается принимать на вход начальную и конечную точки, а затем составлять маршрут в режиме предсказания следующего токена, то есть по одному поворту за раз. Далее можно сравнить, что выучила модель, с настоящей картой.

Обычно генеративные модели оценивают по следующему токену. Считается, что, если модель верно предсказала следующий поворот, то она молодец. По такой метрике модель достигает близкого к 100% качества.

Однако авторы демонстрируют, что такая метрика не отражает качество модели мира. В некоторых случаях, можно получать точность близкую к 100% с помощью абсолютно бесполезной модели.

Для оценки настоящего качества придумали измерять две вещи:
1️⃣ Модели показали части двух разных маршрутов ведущих в одну точку назначения. Текующие перемещения привели её к одному перекрестку. Для обоих маршрутов теперь ей нужно повернуть налево. Как часто она в таком случае поворачивает налево, а не дает разные ответы? Это авторы называют способностью к компрессии.

2️⃣ Модели показали два разных маршрута ведущих в разные точки. Как часто она выдает верные следующие повороты для обоих маршрутов? Это навторы называют способностью к разделению (distinction).

Те самые модели с 100% качеством оценки по следующему токену показывают очень плохие результаты по этим метрикам. Авторы визуализируют карту города, полученную на основе предсказаний модели. Она полна несуществующих дорог, поворотов сквозь другие дороги и других артефактов. Карту можно посмотреть онлайн.

Можно спросить: ну и что? Модель находит кратчайшие пути. Какая нам разница какие у неё внутри представления?

Как Таксист-GPT-2 видит Манхэттен. Ей стоило больше играть в GTA-IV.

Дело в способности обобщать знания. Представим, что вы едете в такси и натыкаетесь на пробку. Таксист объедет её и найдет другой путь к точке назначения. Однако модель в такой ситуации ломается. Если добавить к маршруту модели пару случайных поворотов её качество моментально падает до уровня плинтуса.

То есть неконсистентная модель мира мешает модели обобщаться. Это не стоит путать с переобучением, ведь модель достигает близкого к 100% качества на маршрутах, которые она не видела при обучении. Проблемы начинаются когда меняется задача в целом, пусть даже незначительно: в этом случае переход от навигации к навигации с препятствиями.

Авторы повторяют эксперимент с другими средами, на которых ранее изучались модели мира, например Othello. Обнаруживают те же проблемы.

При добавлении 1% вероятности поворота не туда шанс найти верный кратчайший путь падает на 32%, при 10% вероятности на 90%.