Конец диффузии в генерации изображений?
#MLРазбираемся #MLСтатья

Давненько тут такого не было...

Этот месяц все каналы в новостях о LLM моделях. Поэтому чуть разнообразим компьютерным зрением)

Кто подписан с весны этого года знает, что я делал магистерскую по персонализированной генерации изображений (тут рассказывал)
Хоть я в работе и не генерю картинки, но эта тема мне интересна и иногда поглядываю что там происходит

И вот пару недель назад вышла неожиданная для меня статья от Яндекса (мне не платили), в которой рассматривается подход отличный от диффузионок, который раньше был сильно хуже - авторегрессия. Она в разы быстрее диффузии и при этом в качестве генерации не уступает (хотя куда расти еще есть) 😍

Хотел было я расписать эту статью понятным языком, но узнал, что один из авторов это уже сделал. У него несколько постов подряд, вот первый из них - https://t.me/quant_prune_distill/373. Го читать 📕
А еще там есть ссылка на демку, в которую можно свои запросы пописать

Круто, что ресерчеры не только надстройками хорошо работающих подходов занимаются, но и в корне другие рассматривают

И в спортпроге нейронки победили?
#MLВброс

У вас есть время позаниматься спортпрогом до февраля 2025, а потом уже бессмысленно...

Конечно, это кликбейт, но от части правда. Не хотел я про LLMки особо писать, но тут спортпрог опять задело)

Сегодня OpenAI в последний (12) день своих ежедневных стримов анонсировали модель o3 и o3-mini, которые планируют запустить в конце января или около того
И что с того? А то, что эти модели решают задачи на уровне 2к и 2.7к рейтинга (на скрине поточнее) codeforces 🤯

Конечно, Короткевича она еще и близко не обошла 😄 Но на данный момент с рейтингом 2.7к на cf всего около 200 человек. То есть весомое большинство обошла

А ведь только в сентябре они выпустили модель, которая решает на уровне 1.8к рейтинга. Про нее чуть подробнее писал тут - пост

Ну что программисты думаете на этот счет? Страшно или это все обман, что б мы поднапряглись?)

Кому точно нужна математика?
#MLРесурсы

И только не врите, что тоже не обсуждали это в кругу ITшников, мол она не пригождается в работе)
Понятно, что она точно полезна хоть бэкендеру, хоть MLщику, но кто чаще всего использует именно ее в работе? Конечно же - аналитик

Именно им нужно считать как долго держать эксперимент, доказывать почему стоит катить очередной эксперимент в прод и строить красивые и понятные каждому дашборды

Я как-то уже писал немного про статистику, а именно про bootstrap. Можно почитать здесь. Но я скорее разработчик, поэтому больше почитать про математику, статистику и будни аналитика можете у Саши, аналитика Авито, в канале - @hochu_v_stem

Из прикольного сразу могу отметить посты-комиксы про теорию вероятностей и статистику в доступном формате. Например, корреляция и зависимость событий не одно и тоже или парадокс Симпсона (если не знаешь или забыл, то точно стоит глянуть).

Также, есть рассуждения на вещи по серьезней. Например, почему А/Б тесты необходимы для любых фичей. Или даже рассмотрение переговора о ЗП как игры (Саша совсем не зря занималась теорией игр в универе и видит отличное применение 😉)

💬 Пишите в комменты какие ресурсы вы читаете по статистике, теории вероятностей и аналитике

Подготовка к региону по информатике
#АлгоРесурсы

Чем ближе Новый Год, тем ближе и региональный этап ВСОШ по информатике...

В этот раз он пройдет 18 и 20 января
Значит надо хорошенько отдохнуть с семьей и друзьями, а потом вернуться в боевой режим. Для такой перестройки сборы подходят лучше всего. Напомню про самые масштабные из них:

Онлайн Сборы от Яндекс Кружка
🗓 9 - 16 января
ℹ️ Подробная информация
✅ Ссылка на регистрацию

Онлайн Сборы от Т-Банка и Сборника Олпрогера
🗓 3 - 8 января
ℹ️ Подробная информация
✅ Ссылка на регистрацию

Очень круто, что у них нет пересечения и можно с перерывом в 1 день отрешать все контесты 👨‍💻 Но я бы посоветовал 2 последних дня все-таки пропустить и хорошенько отдохнуть перед самим регионом, но тут вам решать самим

Цели на год
#ЖизаПост

Пока Январские еще один пост не про ML и алгоритмы

В этом году решил по всем сферам жизни расписать цели на год ✍️. До этого либо не писал, либо писал, но только по работе или учебе. Но в этом году чувствую, что прям надо

Обычно я не особо трекал прогресс по ним или вовсе забивал. В этот раз заморочился сделать это удобным, поэтому потратил где-то полдня 😅

В момент написания мне стало интересно, а как относятся к написанию целей на год другие. Поэтому, кому не сложно, тыкните в опрос свой выбор ⤵️ А расширенное мнение пишите в комментах

ML движ в ЕКБ
#Event

Нет времени объяснять, поэтому короткий пост

Пока школьники будут в субботу развлекаться с региональным этапом, приглашаю всех на ML митап в ЕКБ в Яндексе
По инсайтам уже половина мест забронили, поэтому успевайте зарегаться!

Я там тоже скорее всего буду, поэтому сможем поболтать
Ставьте 👌 - кто зарегался. Делаем движ в ЕКБ масштабнее!

UPD. Уже Sold Out - за 34 минуты 😰 Но это не последний такой движ. В следующий раз места будет больше, поэтому Stay Tuned

Друзья, привет!

Приглашаем вас на Data-завтрак в офис Яндекса 18 января ✨

Темы докладов:

▶️ Как завести LLM в проде. Опыт бигтехов.
Михаил Хрущев, руководитель группы претрейна YandexGPT, Яндекс.

▶️ Подходы к поиску причинно-следственных связей между временными рядами.
Даниил Булев, аналитик-разработчик моделей машинного обучения, Naumen.

▶️Использование ANN (приближенный поиск ближайших соседей) в рекомендательных системах и обзор текущих SOTA алгоритмов приближенного поиска по открытым бенчмаркам
Виктор Сергеев, старший разработчик, Яндекс.

Встречаемся в субботу, 18 января, в 10:30 в БЦ Палладиум, Хохрякова 10. Доклады начнутся в 11:00.

✏️ Регистрация на Data-завтрак

PS: Регистрация необходима, чтобы мы дали вам доступ в БЦ.

Рюкзак
#АлгоЕжемесячныеТемы
1️⃣1️⃣

Предисловие + теория: TODO
По мотивам задачи C со 2 тура региона 2025 года...

Это классическая задача и алгоритм, который рассказывают почти сразу же после базовых задач на динамическое программирование и я уверен, что многие знают как его писать. НО! У него много разных вариаций и можно еще кучу похожих придумать. Поэтому, как и во всех других темах, нужно не заучить алгоритм, а осознать детально его принцип действия. Иначе случится задача C со 2 тура региона

Пререквизиты:
🔙 Базовые задачи ДП
🔙 Базовые задачи на двумерное ДП

Еще теория + первые задачи:
📚 Материал от Яндекс Кружка - кратко формулировки и решение 4 разновидностей рюкзака с кодом на C++
📼 Лекция Паши Маврина - до 28 минуты стандарт, а дальше как при мелком n решать (перебор и MITM)
💻 Задача с информатикса 1 - 0-1 рюкзак: точный вес
💻 Задача с информатикса 2 - 0-1 рюкзак: наибольший вес
💻 Задача с информатикса 3 - 0-1 рюкзак: минимум предметов
💻 Задача с информатикса 4 - рюкзак
💻 Задача с информатикса 5 - рюкзак с восстановлением ответа

KIT контест по теме с периодически пополняемыми задачами:
🔄 Контест - сейчас там пока 3 задачи, но будут еще. Для решения нужно вступить в группу на кф - ссылка

Вопросы на понимание темы:
❓ Задача: есть 2n игроков, у каждого свой скилл ai. Нужно разделить их на две команды равные по суммарному скиллу, но не обязательно равные по количеству игроков. Как решать?
❗️ Если сумма всех ai не делится на 2, то такого разделения точно нет. Иначе скилл каждой из команд = sum(ai) / 2. То есть, если соберем команду с таким суммарным скиллом, то вторая команда автоматически будет с таким же скиллом. А сборка одной команды это задача о рюкзаке 0-1: точный вес (в данном случае, скилл)

❓ Та же самая задача, что и сверху, но теперь команды должны быть равны еще и по количеству игроков. Как решать?
❗️ В добавку к прошлому решению в команде должно быть n игроков. Давайте в ДП добавим еще одно измерение: dp[i][w][k] - можем брать игроков с 0 по i, нужно набрать суммарно w скилла и уже k игроков взято. Тем самым, асимптотика O(n^2W)

Делитесь с друзьями, задачи будут интересны любому уровню!

💬 Следующие темы смело предлагайте в комментариях. Также, делитесь интересными задачами и материалами по этой теме, тут их точно еще полно)

МОШ - где порешать прошлые года
#АлгоРесурсы

В прошлую пятницу подвели итоги отборочного этапа олимпиады МОШ по информатике для 6-9 классов - https://t.me/inf_mosh_25/9. И в начале февраля (обычно так) уже будет финал!
Кто прошел в финал, поздравляю 🥳

Но к финалу надо готовиться, и минимальная подготовка к любой олимпиаде - это прорешивание ее контестов прошлых лет
На сайте самой олимпиады за прошлый год есть только условия задач, разбор и архивы, но нет ссылки на контест - https://mos-inf.olimpiada.ru/archiv_2023_2024

Найти, где можно заслать эти задачи чуть сложнее) Поэтому делимся ссылкой, где есть все задачи прошлых финалов (не только 24 года) - https://informatics.msk.ru/course/view.php?id=13#section-1
Да, виртуального участия там нет, но можно просто поставить таймер на 3 часа, если 6 класс и младше или 4 часа, если 7-9 класс

Всем удачи в подготовке и на самом финале!

Innopolis Open - где порешать прошлые года
#АлгоРесурсы

Финал Innopolis Open для 7-11 классов будет уже на выходных следующей недели (14-16 февраля). Еще есть время нарешать финалы прошлых лет!

Тут легче, чем с МОШ - все (точнее большинство) финалы и отборы на CF 🔥 То есть можно и на следующий год потом поготовиться!

Всем удачи в подготовке и на самом финале!

Нейросети в спортпроге. Детали
#MLВброс #MLСтатья

Давно не было длинных постов да еще и про ML - исправляюсь

OpenAI чуть рассказали про то, за счет чего их модели решают олимпиадные задачи по программированию

В статье затронуты модели o1, o1-ioi и o3 (которую еще не релизнули). Я уже писал про результаты o1 и o1-ioi тут и o3 здесь. Но в этом посте обсуждаем как они этого добились и что модели могут. Читайте до конца, их возможности меня поразили. Начнем по порядку

o1

🔄 Уже давно известно, что эта модель сначала "рассуждает" (генерирует цепочку рассуждений или же chain of thought) и потом уже дает ответ. Так у нее получается исправлять ошибки, продумывать другие варианты, если не получилось
🔄 Также, ее тренировали использовать внешние инструменты, например, запускать свой код и анализировать результаты для принятия решений.

📊 Рейтинг на кф: 1673

o1-ioi

🔄 Взяли o1 и еще обучили через RL конкретно на решение спортпрог задач. За счет такого фокуса модель лучше стала писать и запускать свои программы во время генерации ответа
🔄 Эвристики для спортпрога во время инференса:
🔄 Если у задачи подзадачи, то решаем каждую из подзадач отдельно - подаем их отдельно в модель как другую задачу
🔄 Кластеризация решений. Сначала модель промптят, что б сгенерировала несколько генераторов тестов (это тоже программа). Далее промптят, что б сгенерировала несколько валидаторов тестов (тоже программа!). Оставляют тесты, которые прошли часть валидаторов. Прогоняют решения на этих тестах и кластеризируют по одинаковым выходам на них.
🔄 Переранжирование решений.
* "Умная" посылка решений. Например, не посылать код на подзадачу, если он не проходит тесты уже решенной подзадачи, которая полностью входит в первую (так как точно зафейлится)

📊 Рейтинг на кф: 2214
📊 IOI 2024: 213 баллов

o3

🔴 Отказались от людских эвристик во время инференса
🔴 Вместо этого больше обучения RLем, что б модель сама придумывала и использовала свои стратегии
🔴 Благодаря этому модель САМА, если ей сложно, пишет СТРЕСС-ТЕСТ🤯 (пример на скрине, а почитать как это делать самому можно здесь) То есть модель сама создает простое, но неэффективное решение, генератор тестов и проверяет основное решение на соответствие

📊 Рейтинг на кф: 2724
📊 IOI 2024: 395 баллов


Выводы:
⚡️ Если модели действительно хорошо могут делать генераторы и валидаторы тестов просто по условию, то когда-то это точно добавят в Polygon (система для разработки задач) и новые контесты будут появляться еще быстрее и олимпиад будет больше!
⚡️ Что модель сама догадывается генерить стресс-тест - это очень меня удивило. Но мне кажется, что во время RL все-таки ей это подкидывали, но все равно мощно!

💬 А вы что думаете на этот счет? Пишите в комментариях