Наша команда вернулась с EMNLP 2025, на которой у нас было принято две статьи 🐫
Первая – Steering LLM Reasoning Through Bias-Only Adaptation про то, как можно улучшать reasoning в LLM при помощи минимальных добавок (значительно меньших, чем LoRA и прочие). Небольшой спойлер, который можно найти в репозитории с кодом статьи – это также открывает новые возможности для интерпретации reasoning моделей.
Вторая – Train One Sparse Autoencoder Across Multiple Sparsity Budgets to Preserve Interpretability and Accuracy посвящена новому методу обучения Sparse Autoencoders, для которого теперь можно контроллировать степень разреженности пространства фичей после обучения. Для этого мы также опубликовали triton кернелы, чтобы все могли обучать модель нашим методом быстро, доступно как на github, так и на hugging face.
Первая – Steering LLM Reasoning Through Bias-Only Adaptation про то, как можно улучшать reasoning в LLM при помощи минимальных добавок (значительно меньших, чем LoRA и прочие). Небольшой спойлер, который можно найти в репозитории с кодом статьи – это также открывает новые возможности для интерпретации reasoning моделей.
Вторая – Train One Sparse Autoencoder Across Multiple Sparsity Budgets to Preserve Interpretability and Accuracy посвящена новому методу обучения Sparse Autoencoders, для которого теперь можно контроллировать степень разреженности пространства фичей после обучения. Для этого мы также опубликовали triton кернелы, чтобы все могли обучать модель нашим методом быстро, доступно как на github, так и на hugging face.
🔥50❤🔥20❤7👍7👏3🙏1🌚1🏆1
Готовим RecSys митап для вас, на этот раз в Санкт-Петербурге 🥦
- Расскажем о том, как мы построили онлайн-рекомендации вместо батчевых раз в день
- Про персонализацию скидок и лояльности с помощью модели эластичности
- А наша гостья из Яндекса расскажет про опыт замены ранжирующего бустинга на нейросеть
Все пройдет 27 ноября в 19:00 по местному времени. Место – наш офис в СПб БЦ Ferrum II. Все подробности и регистрация на ивент тут.
- Расскажем о том, как мы построили онлайн-рекомендации вместо батчевых раз в день
- Про персонализацию скидок и лояльности с помощью модели эластичности
- А наша гостья из Яндекса расскажет про опыт замены ранжирующего бустинга на нейросеть
Все пройдет 27 ноября в 19:00 по местному времени. Место – наш офис в СПб БЦ Ferrum II. Все подробности и регистрация на ивент тут.
🔥14❤7🥰5⚡1
Не могли оставить декабрь без этого — выпустили обновления. Модели сейчас точнее держат формат, увереннее работают в агентских системах и при этом сохраняют скорость и общее качество.
T-Pro 2.1 стала значительно лучше понимать сложные требования (ответы строго в формат JSON, лимиты длины, многошаговые инструкции) и увереннее работать в агентских сценариях. T-Lite 2.1 после обновления стала сильнее в прикладных задачах и при этом сохранила скорость и практичность для продакшена и локального запуска.
🎁 T-Pro 2.1 на Hugging Face
🎁 T-Lite 2.1 на Hugging Face
🎁 T-pro 2.0 training report
🎁 Разбор релиза на Хабре
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Обновление T-Pro 2.1: как мы улучшили Instruction Following и Tool Calling
Всем привет! На связи Толя Потапов и команда ML Т-Банка. Этим летом мы выпустили большую языковую модель T-pro-2.0 — эффективную русскоязычную модель с гибридным подходом к reasoning. Сегодня...
🔥56😍17🏆13❤7👍1
Жёлтый AI
Готовим RecSys митап для вас, на этот раз в Санкт-Петербурге 🥦 - Расскажем о том, как мы построили онлайн-рекомендации вместо батчевых раз в день - Про персонализацию скидок и лояльности с помощью модели эластичности - А наша гостья из Яндекса расскажет про…
Делимся обещанными записями с RecSys-митапа:
▪️посмотреть плейлист в VK
▪️посмотреть плейлист на YouTube
И с наступающим🎄
▪️посмотреть плейлист в VK
▪️посмотреть плейлист на YouTube
И с наступающим
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉16❤13🙏3💯1
В следующий вторник (10 февраля) в 16:30 Никита @CapturedGenie из команды фундаментальных моделей расскажет про Engram от DeepSeek на Yandex Research Reading Group.
Никита разберет недавнюю статью от DeepSeek о модификации Transformer архитектуры - обсудит добавление специального Engram модуля внутрь блоков для явного ретривала знаний и покажет, как такая архитектура достигает лучших результатов при сравнимом бюджете вычислений.
Ссылка на трансляцию в zoom: https://yandex.zoom.us/j/97483365363
Никита разберет недавнюю статью от DeepSeek о модификации Transformer архитектуры - обсудит добавление специального Engram модуля внутрь блоков для явного ретривала знаний и покажет, как такая архитектура достигает лучших результатов при сравнимом бюджете вычислений.
Ссылка на трансляцию в zoom: https://yandex.zoom.us/j/97483365363
Zoom
Join our Cloud HD Video Meeting
Zoom is the leader in modern enterprise cloud communications.
🔥30❤12❤🔥5👍1🥴1🐳1
Приглашаем всех на хакатон BitGN PAC1 🚀
11 апреля в офисе на Свердловской набережной, 44с2, пройдет финальный день международного соревнования по созданию персональных AI-агентов.
Что это такое?
BitGN PAC — это соревнование, где участники создают свои собственные AI-агенты, которые будут решать различные задачи в симулированной среде. Вам предстоит написать ядро агента, подключить его к платформе BitGN через API и протестировать его на точность и безопасность ответов. Подробную инструкцию со всеми шагами можно почитать тут.
Зачем участвовать?
— Получите опыт разработки AI-агентов и ваши решения займут места в глобальном рейтинге
— Cможете использовать своего агента для реальных задач, так как вся инфра будет опубликована в open source
— Вместе с другими участниками обсудите ваши решения и идеи
— Посетите экскурсии по офису и пообщаетесь с нашими командами разработки
— Получите возможность выиграть призы
— Отдохнете на afterparty с неформальным общением
Как попасть на хакатон?
1) Зарегистрируйтесь на участие в офисе
2) Напишите своего агента
3) Подключите его к платформе BitGN через API
4) Ознакомьтесь с заданием, которое будет доступно с 15 марта
5) Соберите команду или участвуйте индивидуально
▪️Регистрация на участие в хакатоне
▪️Группа в тг со всеми подробностями
11 апреля в офисе на Свердловской набережной, 44с2, пройдет финальный день международного соревнования по созданию персональных AI-агентов.
Что это такое?
BitGN PAC — это соревнование, где участники создают свои собственные AI-агенты, которые будут решать различные задачи в симулированной среде. Вам предстоит написать ядро агента, подключить его к платформе BitGN через API и протестировать его на точность и безопасность ответов. Подробную инструкцию со всеми шагами можно почитать тут.
Зачем участвовать?
— Получите опыт разработки AI-агентов и ваши решения займут места в глобальном рейтинге
— Cможете использовать своего агента для реальных задач, так как вся инфра будет опубликована в open source
— Вместе с другими участниками обсудите ваши решения и идеи
— Посетите экскурсии по офису и пообщаетесь с нашими командами разработки
— Получите возможность выиграть призы
— Отдохнете на afterparty с неформальным общением
Как попасть на хакатон?
1) Зарегистрируйтесь на участие в офисе
2) Напишите своего агента
3) Подключите его к платформе BitGN через API
4) Ознакомьтесь с заданием, которое будет доступно с 15 марта
5) Соберите команду или участвуйте индивидуально
▪️Регистрация на участие в хакатоне
▪️Группа в тг со всеми подробностями
GitHub
challenges/pac/02_participant_quickstart.md at main · bitgn/challenges
BitGN Agent Benchmarks and Challenges. Contribute to bitgn/challenges development by creating an account on GitHub.
❤9🔥5😁3
Как эффективно объединить машинное обучение, разработку и эксплуатацию в устойчивую и масштабируемую систему?
Обсудим на T-Meetup: MLOps в Нижнем Новгороде уже 9 апреля!
Что будет в программе?
→ «Когда Kubernetes не справляется: как мы научили кластер жить под сильной батчевой нагрузкой» — Андрей Фунтиков
Узнаем, как инфраструктурная команда ML Core прошла путь от регулярных падений под нагрузкой до уверенной работы под лавиной запускаемых задач.
→ «Как мы обеспечиваем качество выдачи агентской системы. От эвала „ступидов“ до больших бенчмарков» — Юрий Крутилин
Поговорим со стороны потребителя инференса о том, как на практике обеспечивать качество выдачи агентской системы, и разберем, почему корректный output модели еще не означает корректную работу всей системы.
→ «Hugging Face Proxy: Как мы доставляем модели тяжелее 1 ТБ до кластеров за миллисекунды» — Никита Ковалев
Узнаем о том, как команда встроила Hugging Face Proxy в Model Registry, а также об архитектуре и подводных камнях, которые стоит учесть при разработке подобной системы.
А после докладов вы сможете задать спикерам вопросы и пообщаться в неформальной обстановке.
🗓️ 9 апреля, 19:00
📍Нижний Новгород, ул. Б. Покровская, 18
⚡️Зарегистрироваться тут
Обсудим на T-Meetup: MLOps в Нижнем Новгороде уже 9 апреля!
Что будет в программе?
→ «Когда Kubernetes не справляется: как мы научили кластер жить под сильной батчевой нагрузкой» — Андрей Фунтиков
Узнаем, как инфраструктурная команда ML Core прошла путь от регулярных падений под нагрузкой до уверенной работы под лавиной запускаемых задач.
→ «Как мы обеспечиваем качество выдачи агентской системы. От эвала „ступидов“ до больших бенчмарков» — Юрий Крутилин
Поговорим со стороны потребителя инференса о том, как на практике обеспечивать качество выдачи агентской системы, и разберем, почему корректный output модели еще не означает корректную работу всей системы.
→ «Hugging Face Proxy: Как мы доставляем модели тяжелее 1 ТБ до кластеров за миллисекунды» — Никита Ковалев
Узнаем о том, как команда встроила Hugging Face Proxy в Model Registry, а также об архитектуре и подводных камнях, которые стоит учесть при разработке подобной системы.
А после докладов вы сможете задать спикерам вопросы и пообщаться в неформальной обстановке.
🗓️ 9 апреля, 19:00
📍Нижний Новгород, ул. Б. Покровская, 18
⚡️Зарегистрироваться тут
❤14🔥4
Бронируем ваше 18 июля, чтобы обсудить тренды, кейсы и технологии в ML.
В этом году помимо докладов у нас будут представлены демозоны с разными ML-решениями. Вы сможете представить продукт или платформу вашей компании, основанную на ML-технологиях.
Если вам есть что показать — оставляйте заявку на сайте. Мы особенно заинтересованы в опыте использования CV, RecSys и NLP. Всем участникам предоставим место с экраном для команды до трех человек.
А какие будут треки с докладами?
↗️ Fundamental Advances & Exploratory R&D
Про архитектуру и обучение современных моделей, их интерпретируемость, безопасное поведение и способность к рассуждению и самокоррекции.
↗️ Applied ML at Scale & Business Impact
Про внедрение ML в продукты: интеграцию классических и GenAI-моделей, обеспечение их предсказуемости, влияние AI на пользовательский опыт и бизнес-метрики.
↗️ ML Infrastructure, Platforms & Engineering Core
Про технологическое ядро ML-систем: архитектуры, пайплайны данных и масштабного обучения, методы дообучения, низкоуровневую оптимизацию инференса и инфраструктуру.
Следите за апдейтами конференции в этом канале и на сайте.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13⚡12❤4❤🔥4🐳1
Съездили в 🔤 🔤 🔤 🔤 🔤 🔤 на AAMAS 2026, где у нас был oral с работой Enhancing Vision-Language Model Training with Reinforcement Learning in Synthetic Worlds for Real-World Success.
В статье мы обучаем VLM-агентов через RL в дешевых синтетических средах: MiniWorld, Gym-Cards, ALFWorld и WebShop. Основная идея — если хотим, чтобы модель не просто красиво описывала картинку, а умела смотреть на состояние мира и делать последовательность действий, то ей нужно дать возможность потренироваться в интерактивных окружениях.
Для этого предложили VL-DAC: простой RL-метод, где PPO применяется к action-токенам, а value учится один раз на шаг среды. В итоге убираем хрупкие коэффициенты между thought/action токенами, replay buffers и прочие места, где обычно хочется немного поплакать во время обучения VLM через RL.
После обучения в одном дешевом симуляторе модель переносит навыки на реальные бенчмарки: +50% relative на BALROG, +5% на самой сложной части VSI-Bench и +2% на VisualWebBench, при этом не ломая обычное понимание изображений.
• Статью можно прочитать тут, а код найти здесь😉
В статье мы обучаем VLM-агентов через RL в дешевых синтетических средах: MiniWorld, Gym-Cards, ALFWorld и WebShop. Основная идея — если хотим, чтобы модель не просто красиво описывала картинку, а умела смотреть на состояние мира и делать последовательность действий, то ей нужно дать возможность потренироваться в интерактивных окружениях.
Для этого предложили VL-DAC: простой RL-метод, где PPO применяется к action-токенам, а value учится один раз на шаг среды. В итоге убираем хрупкие коэффициенты между thought/action токенами, replay buffers и прочие места, где обычно хочется немного поплакать во время обучения VLM через RL.
После обучения в одном дешевом симуляторе модель переносит навыки на реальные бенчмарки: +50% relative на BALROG, +5% на самой сложной части VSI-Bench и +2% на VisualWebBench, при этом не ломая обычное понимание изображений.
• Статью можно прочитать тут, а код найти здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤24🔥19⚡11😁3🥴2🤣2
Соберемся, чтобы обсудить глубокие исследования, прикладной ML и инженерные системы.
В программе три трека.
Поговорим об архитектуре и обучении современных моделей, их интерпретируемости, безопасном поведении и способности к рассуждению и самокоррекции.
Рассмотрим внедрение ML в продукты: интеграцию классических и GenAI-моделей, обеспечение их предсказуемости, влияние AI на пользовательский опыт и бизнес-метрики.
Разберем технологическое ядро ML-систем: архитектуры, пайплайны данных и масштабного обучения, методы дообучения, низкоуровневую оптимизацию инференса и инфраструктуру.
А еще вас ждут
Регистрируйтесь и приглашайте коллег — количество мест ограничено!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14❤12⚡4😁1