Открылась подача заявок на летнюю школу AIRI в университете ИТМО. Дедлайн 14 июля.

Отличная возможность для студентов поработать над ML исследованиями.

Оплачивают всё, кроме проезда.

https://airi.net/ru/summer-school-2024/

https://borisagain.substack.com/p/notes-from-gun-safe-tech-2024-showcase

Расширенная англоязычная версия статьи про вопросы продуктового развития оружейных сейфов

​🧠 Цикл Колба или как мы учимся

Не так давно узнал про такое понятие, как Цикл Колба - система, которая описывает буквально любой процесс обучения новому.
Это может быть что угодно: как изучение новых языков, так и изучение ранее незнакомых областей бизнеса

Ключевые постулаты:
1. Процесс обучения состоит из 4 этапов: Опыт (Наблюдаю и отмечаю для себя как что-то работает) -> Анализ (Пытаюсь понять взаимодействия внутри системы) -> Теория (Изучаю материалы и смотрю, как подобные задачи решают другие) -> Практика (применяю полученные знания для совершения действий)
2. Обучение - это цикл. Вы можете залететь в любой этап, но всё равно в той или иной степени вам придётся затронуть каждый из них
3. У каждого человека, как правило, есть персональный перекос в какую-то из частей. Кому-то больше нравится экспериментировать, а кому-то - изучать теоретические аспекты алгоритмов и систем
4. У компаний тоже есть перекосы в разные части цикла. Где-то больше концентрируются на практике и опыте, а где-то - на анализе и теории

Что из этого можно вынести:
1. Если вы руководитель - важно понять, что требуют от вас реалии компании и стараться наниматься соответствующих людей. Если компания предполагает, что 90% работы R&D - вам скорее нужны люди с перекосом в теорию (мыслители), а если предполагает быстрый рост бизнеса и огромное количество экспериментов - скорее с перекосом в практику (активисты)
2. Если вы изучаете новое - важно подумать о всех аспектах цикла. Пример: изучаю новый язык. Стоит спросить себя: по каким материалам стоит его изучать (теория)?; где я смогу потренироваться (практика)?; как я смогу пообщаться с носителем/экспертом (практика), который даст мне обратную связь (анализ)?
3. Если не можете понять другого человека - попробуйте разложить его образ мышления по циклу Колба. Возможно, он имеет перекос в совсем другую грань. Она у вас тоже есть, но, скорее всего, в других масштабах 🙂

"Тапать хомяка? Я бы никогда не стал тратить время на бессмысленные цифры в интернете"

Так же каждые пять минут:

Я соврал, я ничего не знаю о "заработке на нейросетях без вложений." Садись, мы будем изучать multi-head self-attention

Гайд очень хорошо всем зашел, получаю много положительных отзывов даже от стартаперов.

Портировал гайд на хабр и VC

Завтра, 5 июля в 20:00 по Москве, состоится первый в истории канала стрим, который ранее пришлось перенести.

Тема: новая магистерская программа ВШЭ «Прикладные модели искусственного интеллекта», которая реализуется совместно с VK.

В гостях будет академический руководитель программы Cергей Сластников.

Я очень болею за DS/ML/AI образование в России и особенно в ВШЭ, так как сам учился там и даже преподавал. В расписании программы найти курсы по Machine Learning, Deep Learning, C++, Computer Vision, Natural Language Processing, генеративным моделям, а так же Hadoop. Набор выглядит очень интересно. На стриме мы обсудим программу, почему она реализуется совместно с VK, какие это дает преимущества и накладывает ли какие-то ограничения на выпускников.

5 июля, 20:00 по Москве, в аудиочате канала. Если вопрос магистратуры для вас актуален, то присоединяйтесь к этому тест-драйву нового формата.

Через десять минут начинаем стрим. Под этим постом можно оставлять вопросы гостю

Всем спасибо! Мы не ответили на часть вопросов, но придут специальные люди и помогут мне это сделать, а потом я выложу ответы

До чего дошли технологии, можно даже послушать запись

И аудио

# 10 тысяч подписчиков!

Привет всем новым подписчикам! Это не канал с подкастами о магистратурах, как можно было подумать. Чтобы понять, что тут происходит, лучше всего посмотреть этот пост. Сразу предупрежу, что в канале есть реклама, но только если я считаю её полезной для вас (подробнее здесь).

Теперь немного рефлексии. Канал вырос в два раза меньше чем за год и вдруг всё стало казаться очень серьезным. Если раньше было ощущение, что у меня маленький канальчик для себя, то теперь у меня большой канальчик для себя.

Канал растет несмотря на мою контентную политику: никакой контентной политики. До сих пор трудно ответить на вопрос: "О чем этот канал?" Про ИИ, машинное обучение, карьеру, перфекционизм, самогонную философию, мемы, и теперь стендап.

Получается, что канал про любопытство.

Я очень рад, что вам это интересно, и определенно не ожидал такого отклика.

По традиции предлагаю в комментариях поделиться обратной связью.

Что вам нравится? Не нравится? Какие темы наиболее интересны? Нужно ли больше эмодзи в постах? Насколько бесит реклама? Всё, что угодно.

Экзамен по Deep Learning в ШАД. Преподаватель спрашивает студента: "Почему работает BatchNorm?". Студент сидит, пыхтит, отвечает: "Простите, забыл." Вот господа,- обратился преподаватель к другим студентам,-величайшая трагедия машинного обучения: один-единственный человек на свете знал, почему работает BatchNorm, да и тот забыл!

Забыл сказать, что на стриме про магистратуру был специальный гость (реальный скрин из аудиочата)

Александр Червов (@alexander_v_c), автор канала Sberloga, ищет коллег для участия в некоммерческом проекте: применение ML к теории групп и графам с итоговой целью опубликовать хорошую статью. Среди руководителей проекта сильные ученые.

Для участия требуется знать Python и быть готовым уделять несколько часов в неделю.

Если вам интересно участие — напишите @alexander_v_c и он добавит вас в чат для обсуждений.

Было бы вам интересно участвовать в небольшом сообществе в духе канала, то есть полноценном чатике подписчиков? Поставьте любую позитивную реакцию, если да.

Мне кажется тут приятная атмосфера и срез интересных людей. К тому же бывает много мемов вещей, которые хочется с кем-то обсудить, но не хочется делать пост в канале.

# Evaluating the World Model Implicit in a Generative Model
Keyon Vafa, Justin Y. Chen, Jon Kleinberg, Sendhil Mullainathan, Ashesh Rambachan

Возможно самая важная работа о генерализации и моделях мира нейросетей за последние годы. Будет длинно, но вы держитесь.

Мы знаем, что у нейросетей есть модели мира. Например, LLM знают географию Земли, а модели, обученные играть в настольные игры, строят репрезентации игрового поля на несколько шагов вперед.

В этой статье авторы задались вопросом: насколько хороши модели мира и как это измерить?

Авторы взяли в качестве среды поездки таксистов по Манхэттену, преобразованные в текст: начальная точка, конечная точка и повороты на перекрастках. Например: 820 210 N E E E SE W W N SE N end.

Модель обучается принимать на вход начальную и конечную точки, а затем составлять маршрут в режиме предсказания следующего токена, то есть по одному поворту за раз. Далее можно сравнить, что выучила модель, с настоящей картой.

Обычно генеративные модели оценивают по следующему токену. Считается, что, если модель верно предсказала следующий поворот, то она молодец. По такой метрике модель достигает близкого к 100% качества.

Однако авторы демонстрируют, что такая метрика не отражает качество модели мира. В некоторых случаях, можно получать точность близкую к 100% с помощью абсолютно бесполезной модели.

Для оценки настоящего качества придумали измерять две вещи:
1️⃣ Модели показали части двух разных маршрутов ведущих в одну точку назначения. Текующие перемещения привели её к одному перекрестку. Для обоих маршрутов теперь ей нужно повернуть налево. Как часто она в таком случае поворачивает налево, а не дает разные ответы? Это авторы называют способностью к компрессии.

2️⃣ Модели показали два разных маршрута ведущих в разные точки. Как часто она выдает верные следующие повороты для обоих маршрутов? Это навторы называют способностью к разделению (distinction).

Те самые модели с 100% качеством оценки по следующему токену показывают очень плохие результаты по этим метрикам. Авторы визуализируют карту города, полученную на основе предсказаний модели. Она полна несуществующих дорог, поворотов сквозь другие дороги и других артефактов. Карту можно посмотреть онлайн.

Можно спросить: ну и что? Модель находит кратчайшие пути. Какая нам разница какие у неё внутри представления?