На этой неделе Яндекс опенсорснул Alice AI‑T5-35B‑A0.6B. Это обученная с нуля претрейн модель, которая отвечает за быстрые ответы на Поиске.
Только что на Practical ML Conf мы слушали про этот релиз из первых рук: Артур Петросян, CTO Alice AI Search, рассказал о том, как команда обучила систему, которая дала +0.34% к продуктовой метрике Sessions Per User и в 56.7% случаев выигрывает в попарных сравнениях против Google AI Overview.
— Одна из главных интересных особенностей этой модели – ее архитектура. Это Encoder‑Decoder + MoE. Последние такие модели выходили в 2021–2023 годах (не считая недавнего DeepSeek-V4.1-Flash, который вышел почти в один день с Alice AI‑T5), так что выбирать такую архитектуру было довольно необычным и рискованным решением.
Не обошлось без сложностей при разработке: например, на претрейне сколлапсировал роутинг в энкодере, и пришлось сменить схему балансировки экспертов. Зато архитектура себя оправдала. Энкодер один раз читает длинный контекст из документов, а легкий декодер быстро пишет короткий ответ, что идеально для задачи «много на входе, мало на выходе». MoE при этом дает знания уровня 35B параметров при вычислениях как у 0.6B.
— После претрейна с моделью также колдовали с помощью SFT и RLHF. На этих этапах модель училась писать ответ так, чтобы он был максимально полезен для живого пользователя. Интересно, что при этом команда обошлась без эталонных ответов, написанных людьми: на запрос генерировалось много ответов от разных систем, лучший отбирался автоматически по набору сигналов качества, а на этапе RL модель дополнительно училась на сигналах реального поведения пользователей Поиска.
— Еще одна интересная деталь пайплайна – сжатие контекста. Чтобы не гонять через LLM огромные пачки документов, команда с нуля обучила маленькую BERT‑подобную модель на 80 млн параметров, которая занимается тем, что определяет релевантность каждого токена запросу. Далее поверх этого накладывается метод под названием Cross‑Entropy RL, и в итоге получается экстрактор, который понимает, какую именно информацию модель уже знает из весов, и какой минимальный контекст ей нужен для хорошего ответа.
И да, все это – только некоторые детали работы. Про остальные нюансы обучения и строения системы можно почитать вот в этой статье на Хабр. Поздравляем команду с релизом!
Только что на Practical ML Conf мы слушали про этот релиз из первых рук: Артур Петросян, CTO Alice AI Search, рассказал о том, как команда обучила систему, которая дала +0.34% к продуктовой метрике Sessions Per User и в 56.7% случаев выигрывает в попарных сравнениях против Google AI Overview.
— Одна из главных интересных особенностей этой модели – ее архитектура. Это Encoder‑Decoder + MoE. Последние такие модели выходили в 2021–2023 годах (не считая недавнего DeepSeek-V4.1-Flash, который вышел почти в один день с Alice AI‑T5), так что выбирать такую архитектуру было довольно необычным и рискованным решением.
Не обошлось без сложностей при разработке: например, на претрейне сколлапсировал роутинг в энкодере, и пришлось сменить схему балансировки экспертов. Зато архитектура себя оправдала. Энкодер один раз читает длинный контекст из документов, а легкий декодер быстро пишет короткий ответ, что идеально для задачи «много на входе, мало на выходе». MoE при этом дает знания уровня 35B параметров при вычислениях как у 0.6B.
— После претрейна с моделью также колдовали с помощью SFT и RLHF. На этих этапах модель училась писать ответ так, чтобы он был максимально полезен для живого пользователя. Интересно, что при этом команда обошлась без эталонных ответов, написанных людьми: на запрос генерировалось много ответов от разных систем, лучший отбирался автоматически по набору сигналов качества, а на этапе RL модель дополнительно училась на сигналах реального поведения пользователей Поиска.
— Еще одна интересная деталь пайплайна – сжатие контекста. Чтобы не гонять через LLM огромные пачки документов, команда с нуля обучила маленькую BERT‑подобную модель на 80 млн параметров, которая занимается тем, что определяет релевантность каждого токена запросу. Далее поверх этого накладывается метод под названием Cross‑Entropy RL, и в итоге получается экстрактор, который понимает, какую именно информацию модель уже знает из весов, и какой минимальный контекст ей нужен для хорошего ответа.
И да, все это – только некоторые детали работы. Про остальные нюансы обучения и строения системы можно почитать вот в этой статье на Хабр. Поздравляем команду с релизом!
4👍139🗿51😁30❤28🔥13🤨3🍓3☃2👌2👏1
Все, что нужно знать о развитии ИИ сегодня: миллиардер Тобиас Лютке (который CEO Shopify) переделал винный погреб в серверную
В холодильнике для вина теперь охлаждаются GPU: по виду там как минимум Dell Pro Max с GB300, RTX PRO 2000, 16TB NVMe и Dual 400GbE. Можно запустить GLM.
Новый вид понтов выглядит так
В холодильнике для вина теперь охлаждаются GPU: по виду там как минимум Dell Pro Max с GB300, RTX PRO 2000, 16TB NVMe и Dual 400GbE. Можно запустить GLM.
Новый вид понтов выглядит так
1😁266❤50
Data Secrets
Помните, мы писали про то, что компании платят авторам контента за рассказы об опасностях ИИ? Так вот, тут один независимый исследователь Кевин Басс провел расследование, в ходе которого вскрылась интересная финансовая связь между заказчиками подобного контента…
Anthropic объявила первого «независимого оценщика» в рамках компании Embedded Evaluators, которую Дарио Амодеи продвигал в своем эссе о замедлении
Им стала компания Accenture. В независимую оценку включен red-teaming, alignment-проверки, тестирование safeguards и так далее.
Вот только насколько независимыми можно назвать Accenture – это вопрос. Accenture обучает ~30 000 своих сотрудников работе с Claude, у компаний есть совместный многолетний контракт еще с конца 2025 года, и Anthropic прямо с посте пишут, что будут сами финансировать работу Accenture.
Напоминаем, что за некоторое время до этого Anthropic также предоставили «независимый доступ» компании METR, чтобы те провели расследование инцидентов с агентами.
Однако METR, как оказалось, тоже косвенно финансируется из акций Anthropic, то есть напрямую заинтересована в финансовом успехе стартапа (об этом расследовании мы писали здесь: https://t.me/data_secrets/9931).
В сухом остатке: Anthropic заявляют, что будут подключать независимых оценщиков, а сами тем временем выбирают их из числа компаний, с которыми их уже связывают деловые отношения. Учимся замедляться грамотно🗿
Им стала компания Accenture. В независимую оценку включен red-teaming, alignment-проверки, тестирование safeguards и так далее.
Вот только насколько независимыми можно назвать Accenture – это вопрос. Accenture обучает ~30 000 своих сотрудников работе с Claude, у компаний есть совместный многолетний контракт еще с конца 2025 года, и Anthropic прямо с посте пишут, что будут сами финансировать работу Accenture.
Напоминаем, что за некоторое время до этого Anthropic также предоставили «независимый доступ» компании METR, чтобы те провели расследование инцидентов с агентами.
Однако METR, как оказалось, тоже косвенно финансируется из акций Anthropic, то есть напрямую заинтересована в финансовом успехе стартапа (об этом расследовании мы писали здесь: https://t.me/data_secrets/9931).
В сухом остатке: Anthropic заявляют, что будут подключать независимых оценщиков, а сами тем временем выбирают их из числа компаний, с которыми их уже связывают деловые отношения. Учимся замедляться грамотно
Please open Telegram to view this post
VIEW IN TELEGRAM
😁160
Еще один итог Practical ML Conf. Вчера там вручали Yandex ML Prize — премию для преподавателей и руководителей программ, которые меняют ML-образование
Лауреаты запускают курсы по большим языковым и генеративным моделям, учат создавать рекомендательные системы и развивают физический ИИ — технологию, которая помогает роботам воспринимать пространство и действовать в нем. Кто-то вырастил магистратуру с 12 человек до нескольких сотен, а у кого-то открытые материалы курсов собирают тысячи слушателей за пределами родного вуза.
В этом году премию получили восемь человек из НИУ ВШЭ, МФТИ, МГУ, ИТМО, НГУ и Школы анализа данных, а ещё двое вошли в «Зал славы». Посмотреть всех лауреатов →
https://www.kommersant.ru/doc/8970568
Лауреаты запускают курсы по большим языковым и генеративным моделям, учат создавать рекомендательные системы и развивают физический ИИ — технологию, которая помогает роботам воспринимать пространство и действовать в нем. Кто-то вырастил магистратуру с 12 человек до нескольких сотен, а у кого-то открытые материалы курсов собирают тысячи слушателей за пределами родного вуза.
В этом году премию получили восемь человек из НИУ ВШЭ, МФТИ, МГУ, ИТМО, НГУ и Школы анализа данных, а ещё двое вошли в «Зал славы». Посмотреть всех лауреатов →
https://www.kommersant.ru/doc/8970568
❤30👍17🗿10😁6🎉5🕊2🤨2😎1
Media is too big
VIEW IN TELEGRAM
Математики продолжают высказывать опасения по поводу влияния ИИ на математику
Президент Математического общества Франции заявил, что это «допинг», вторгшийся в профессию. Аспиранты переживают, что им негде будет работать после защиты, и многие говорят о разрушении математики как формы человеческой деятельности в целом.
Известный филдсовский лауреат Седрик Виллани тут заявил, что он был потрясен, когда узнал о решении Навье-Стокса.
«Атмосфера конца истории... Это катаклизм, которого математика еще не знала».
Интересно, что раньше он был скептиком LLM, называл их «просто функциями f(x)=y» и утверждал, что они вообще ничего не понимают😐
Теренс Тао, кстати, присоединился к тем, кто выступает за замедление разработки ИИ. Он сказал, что «темп прогресса сумасшедший, и нет причин идти такими быстрыми шагами – никаких причин вообще». Однако после этого в соцсетях его раскритиковали за то, что он стал высказываться таким образом только после того, как ИИ начал угрожать его собственной профессии.
Президент Математического общества Франции заявил, что это «допинг», вторгшийся в профессию. Аспиранты переживают, что им негде будет работать после защиты, и многие говорят о разрушении математики как формы человеческой деятельности в целом.
Известный филдсовский лауреат Седрик Виллани тут заявил, что он был потрясен, когда узнал о решении Навье-Стокса.
«Атмосфера конца истории... Это катаклизм, которого математика еще не знала».
Интересно, что раньше он был скептиком LLM, называл их «просто функциями f(x)=y» и утверждал, что они вообще ничего не понимают
Теренс Тао, кстати, присоединился к тем, кто выступает за замедление разработки ИИ. Он сказал, что «темп прогресса сумасшедший, и нет причин идти такими быстрыми шагами – никаких причин вообще». Однако после этого в соцсетях его раскритиковали за то, что он стал высказываться таким образом только после того, как ИИ начал угрожать его собственной профессии.
Please open Telegram to view this post
VIEW IN TELEGRAM
😁210❤49🤯18😭10😎4⚡2👍2☃1🔥1
Теперь у нас есть Nano Banana 2.0 дома!
Alibaba выпустили в опенсорс Qwen-Image-2.1: генератор изображений, который весит всего 7В, и обходит GPT Image 1.5 и Nano Banana 2.0 на собственном бенчмарке Qwen.
Модель принимает на вход до 10 референсных картинок, поддерживает точный локальный контроль, может генерировать и редактировать картинки без фона, отлично работает с текстом и инфографикой.
Веса
GitHub
Блог
Alibaba выпустили в опенсорс Qwen-Image-2.1: генератор изображений, который весит всего 7В, и обходит GPT Image 1.5 и Nano Banana 2.0 на собственном бенчмарке Qwen.
Модель принимает на вход до 10 референсных картинок, поддерживает точный локальный контроль, может генерировать и редактировать картинки без фона, отлично работает с текстом и инфографикой.
Веса
GitHub
Блог
❤156🔥45🤯43👍12😁5❤🔥1😍1🫡1🗿1💘1
Трамп собрался переименовать Artificial Intelligence в один из других, «более подходящих» вариантов:
Supreme Intelligence (Высший разум)
Superior Intelligence (Превосходный разум)
Extreme Intelligence (Исключительный разум)
Сейчас в X он запускает уже второй этап голосования между кандидатами. Supreme Intelligence вылетел на первом.
Та самая регуляция ИИ в Америке🗿
Supreme Intelligence (Высший разум)
Superior Intelligence (Превосходный разум)
Extreme Intelligence (Исключительный разум)
Сейчас в X он запускает уже второй этап голосования между кандидатами. Supreme Intelligence вылетел на первом.
Та самая регуляция ИИ в Америке
Please open Telegram to view this post
VIEW IN TELEGRAM
😁170🗿36