📔 Мы внимательно следим за последними статьями в области ML, и сегодня хотим обратить ваше внимание на модель TabPFN v2 из статьи “Accurate predictions on small data with a tabular foundation model”, опубликованную в январе 2025 года в Nature. Модель работает на табличных данных, первая версия TabPFN была опубликована в октябре 2022, во второй версии помимо классификации появилась регрессия.

💡 Идея TabPFN v2:
В классических алгоритмах для решения suprevised задач на табличных данных модель обучается с нуля, в статье используется подход с предобучением:
1. Генерируются 130 миллионов синтетических датасетов с помощью каузальных графов, которые имитируют сложные зависимости в данных, пропуски, выбросы.
2. На сгенерированных данных предобучается трансформер, предсказывая таргет test выборки, получая на вход train как контекст. Для каждой ячейки таблицы используется отдельная репрезентация. Используется механизм внимания как по строкам, так и по столбцам таблицы.
3. Вместо привычных отдельных "fit" и "predict", трансформер за один проход получая и train, и test новой задачи одновременно, делает инференс на test, используя in-context learning. Простыми словами, модель обучена однажды, но подхватывает зависимости в данных из подаваемого в контекст датасета и сразу делает предсказания.

🥇 Результаты авторов:
1. Скорость и качество: в задачах классификации и регрессии на данных до 10к строк и 500 признаков за несколько секунд получает качество лучше, чем ансамбль из базовых алгоритмов (бустинги, лес, линейные), которые тюнились в течение нескольких часов.
2. Минимум работы: алгоритм не нужно тюнить, имеет отбор признаков, нативно работает с числовыми и категориальными признаками, а также с пропусками.
3. Плюсы foundation моделей: возможность получить распределение таргета, генерировать данные итд.
4. Неплохо показывает себя на временных рядах.

🤔 Выводы:
1. Статья показала эффективность foundation моделей в домене табличных данных, теперь у бустингов сильные конкуренты.
2. Пока есть вопросы с точки зрения эффективности инференса, ограниченности контекста, но дальше будут улучшения.
3. Интересно, что TabPFN v2 можно назвать AutoML решением, ведь для решения задачи он не требует ни настройки гиперпараметров, ни предобработки данных.

Тема интересная, у нас имеются наработки по этой теме, и мы работаем над их применением в LightAutoML🦙, stay tuned!

#обзор

📺📺📺
Привет! Помимо работы над LightAutoML, мы занимаемся и следим за многими другими темами в области ML.

Завтра сотрудник нашей команды Миле Митрович выступит на научном семинаре с обзорным докладом на тему агентов, ждем вас онлайн!

📆 Последний доклад был очень интересным, и сегодня продолжим обсуждение агентов уже на панельной дискуссии в 17:00, от нашей команды снова выступает Миле. Еще можно успеть присоединиться онлайн!

👋 Кому тема интересна, рекомендуем канал Миле: там он рассказывает про свой опыт, новости ML/агентов/LLM/AutoML, добро пожаловать!

📆 Также вчера Александр Рыжков выступил на митапе у ОТП банка с рассказом про open-source и развитие LightAutoML -- видеозапись прилагается в комментариях 😉

💔 Увидели пасхалку в посте ОТП? 💔

🔄 Обновление LightAutoML v0.4.1 в PyPI 🚀

В новой версии внедрили ряд исправлений, улучшающие стабильность и надежность библиотеки. Основные изменения:
🔘Исправление перемешивания колонок после загрузки модели: баг мог возникать при загрузке модели из файлов -- это приводило к снижению качества модели или ошибкам "IndexError: index ... is out of bounds for dimension 0 with size ...".
🔘Исправление падения с ролями NumericRole:
Ошибка "KeyError: Numeric role ...", которая возникала при использовании класса NumericRole, возникала в основном в AutoUplift (строковое задание роли работало штатно).

‼️Важно:
Первая из перечисленных проблем была критической, поэтому версия v0.4.0 будет изъята из PyPI. Настоятельно рекомендуем обновиться до версии v0.4.1. Спасибо за ваше терпение и поддержку!

👋Привет! Выкладываем видеозапись выступления Саши Рыжкова на ФКН ВШЭ про LightAutoML 🦙
https://www.youtube.com/watch?v=-1JL8h-SM50

💥 Привет! А ведь давно не публиковали про соревнования!

🤴🤴
31 мая на DataFest в гостях у Авито на панельную дискуссию “Мифы и правда о соревновательном ML” собрался звездный состав из мастеров и грандмастеров Kaggle (в числе них наш бывший и текущий сотрудник): Саша Рыжков, Дима Симаков, Саша Гущин, Миша Каменщиков.

Обсудили холиварные и не очень вопросы про соревнования, рассказали разные куллстори. Ссылки на видео:
🎥 YouTube
📺 VKVideo (таймкод: 2:41:47)

🔥 2 место на RecSys Challenge 🔥

Коллеги из группы RecSys нашей Лаборатории (Антон Кленицкий, Артем Фаткулин, Антон Пембек, Дарья Денисова и Леша Васильев) заняли второе место в соревновании конференции RecSys25 - RecSys Challenge.

Задача заключалась в генерации эмбеддингов на основе действий пользователей, далее поверх них обучалась нейронка организаторов, которая решала 6 даунстрим задач, 3 из которых даже не были известны. Кроме этого сложность заключалась в том, что организаторы не очень хорошо подготовили задание, поэтому соревнование регулярно продлевалось, а данные один раз заменили на новые из-за лика. В челендже приняло участие более 100 команд, 4 место заняли коллеги из RecSys группы Яндекса.

Ссылка на лидерборд: тык
Скоро будет решения 😉

Наука + бизнес = идеальный мэтч в ИИ ❤️

Наука помогает понять, как всё работает, и находит новые решения. А бизнес даёт ресурсы, чтобы эти решения стали реальностью.

Но это если кратко и в теории. Реальные кейсы такой синергии и возможности для молодых исследователей обсудим на паблик-толке 17 июля в нашем офисе на Лесной и онлайн.

Вместе с Иваном Оселедцем, генеральным директором Института ИИ AIRI и Андреем Рыбинцевым, старшим директором по ИИ Авито разберём:

☑️что такое RnD в компании, и как это работает;
☑️может ли бизнес без фундаментальных исследований и могут ли они приносить прибыль;
☑️какие новые задачи появятся у учёных в эпоху ИИ;
☑️как не ошибиться в выборе — научной карьере или развитии в бизнесе.

Встреча будет особенно полезна начинающим исследователям и тем, кто хочет развиваться в RnD. Зарегистрироваться можно тут*.

*Количество мест на встречу ограничено, поэтому рекомендуем не откладывать. Также внимательно заполняйте форму: приглашение участникам будем рассылать исходя из темы паблик-толка.

#ds

Стартуем через 15 минут 🚀

Ссылка для онлайн просмотра, для подключения рекомендуем Яндекс Браузер