Media is too big
VIEW IN TELEGRAM
Кстати, у вышеупомянутого Дваркеша Пателя сегодня вышло большое интервью с Теренсом Тао
У Теренса не так много интервью выходит, а послушать его всегда одно удовольствие (все-таки один из умнейших людей на планете). К тому же этот разговор почти полностью посвящен ИИ, так что такое мы однозначно не пропускаем.
Несколько интересных цитат от Моцарта математики на разогрев:
Видео: https://youtu.be/Q8Fkpi18QXU?si=rjCsVYT4wMKSqien
Транскрипция: https://www.dwarkesh.com/p/terence-tao
У Теренса не так много интервью выходит, а послушать его всегда одно удовольствие (все-таки один из умнейших людей на планете). К тому же этот разговор почти полностью посвящен ИИ, так что такое мы однозначно не пропускаем.
Несколько интересных цитат от Моцарта математики на разогрев:
Те статьи, которые я писал с ИИ, заняли бы у меня, вероятно, примерно в пять раз больше времени без него. Если использовать эти инструменты правильно, они могут выступать надежным соавтором, но только при условии, что вы проверяете их работу.
Сейчас идея не стоит ничего. В эпоху ИИ узкое место переместилось с генерации идей на их фильтрацию. Мы к этому не привыкли и не знаем, как оценивать идеи в том масштабе, в котором они генерируются. Журналы жалуются, что они завалены ИИ-статьями, и мы пока не знаем, как адаптировать систему ревью так, чтобы вычленять из сотен таких работ ценные.
В течение примерно следующего десятилетия многое из того, на что сегодня тратят время студенты-математики, сможет выполнять ИИ. Даже сейчас благодаря ИИ уже можно внести реальный вклад, будучи старшеклассником или бакалавром, хотя раньше для этого надо было кучу лет учиться и получить PhD.
ИИ обязательно заберет часть работы, но может оказаться, что то, что мы сейчас считаем основным интеллектуальным трудом, на самом деле не является самой важной его частью. Так или иначе, сотрудничество человека и ИИ будет доминировать в науке еще довольно долго.
Главный риск – это то, что ИИ может допускать ошибки, которые выглядят очень убедительно. Прогресс ускоряется, но нельзя допустить, чтобы люди полагались на ИИ, не понимая лежащих в основе идей.
Видео: https://youtu.be/Q8Fkpi18QXU?si=rjCsVYT4wMKSqien
Транскрипция: https://www.dwarkesh.com/p/terence-tao
3❤104👍57🔥25😁3🗿1
ИИ в кодинге, ИИ в машинах, ИИ в умном доме, теперь еще и ИИ в ошейниках для коров
На секундочку, стартап, который придумал добавить в ошейники Буренок простенькую модельку для определения оптимального маршрута выпаса, сейчас оценивается в 2 миллиарда долларов. В него планирует вложиться даже Питер Тиль.
Идея уехать работать на ферму заиграла новыми красками
На секундочку, стартап, который придумал добавить в ошейники Буренок простенькую модельку для определения оптимального маршрута выпаса, сейчас оценивается в 2 миллиарда долларов. В него планирует вложиться даже Питер Тиль.
Идея уехать работать на ферму заиграла новыми красками
🔥148😁66❤15 9🤨1
Марк Цукерберг разрабатывает ИИ-агента, который будет помогать ему выполнять задачи CEO
Новость интересна еще и тем, что она разошлась в интернете под видом «Цукерберг делает себе замену». Но ирония в том, что это замена вообще не Цукерберга, а менеджеров среднего звена.
Агент нужен для того, чтобы быстро собирать информацию, анализировать данные и готовить базу для решения. То есть человек, который должен принять окончательное решение (Марк) никуда не денется, а вот его необходимость проходить через кучу менеджеров в поиске данных – уйдет.
Тут это даже не столько про ускорение (хотя и про него тоже), сколько про глобальное движение к более плоской структуре компании. Meta* хочет стать AI-first компанией, в которой процессы изначально выстроены вокруг ИИ и бюрократия сведена практически к нулю благодаря агентам.
Новость интересна еще и тем, что она разошлась в интернете под видом «Цукерберг делает себе замену». Но ирония в том, что это замена вообще не Цукерберга, а менеджеров среднего звена.
Агент нужен для того, чтобы быстро собирать информацию, анализировать данные и готовить базу для решения. То есть человек, который должен принять окончательное решение (Марк) никуда не денется, а вот его необходимость проходить через кучу менеджеров в поиске данных – уйдет.
Тут это даже не столько про ускорение (хотя и про него тоже), сколько про глобальное движение к более плоской структуре компании. Meta* хочет стать AI-first компанией, в которой процессы изначально выстроены вокруг ИИ и бюрократия сведена практически к нулю благодаря агентам.
1😁120 48 37👍6❤3🔥3
О людях, которые двигают ML вперед, обычно говорят в контексте запусков новых моделей и продуктов. Но за развитием отрасли точно так же стоят и крутые преподаватели, которые умеют совмещать науку с практикой и готовят тех, кто потом всё это создает. В этом году снова вручают Yandex ML Prize — премию для тех, кто внес вклад в развитие искусственного интеллекта.
В экспертный совет конкурса вошли ведущие ИИ-исследователи и представители МФТИ и Вышки, а лауреатов определят при участии экспертов ШАДа. Фокус премии на тех, кто выстраивает систему обучения для ИИ-спецов.
Что по деталям в этом году:
— Будут 3 основные номинации: для авторов и соавторов курсов по ML, руководителей университетских программ и начинающих преподавателей
— Лауреаты премии получат до 1 млн рублей
— Всем победителям предоставят гранты на облачные мощности и окажут поддержку в публикации и развитии образовательных курсов.
— Отдельно отметят тех, кто десятилетиями строит научные школы. В прошлом году в номинацию вошли, например, Константин Воронцов, Андрей Райгородский и Дмитрий Ветров.
Награждение пройдет в сентябре на Practical ML Conf — ежегодной конференции Яндекса по практическому применению машинного обучения.
Подробности здесь
В экспертный совет конкурса вошли ведущие ИИ-исследователи и представители МФТИ и Вышки, а лауреатов определят при участии экспертов ШАДа. Фокус премии на тех, кто выстраивает систему обучения для ИИ-спецов.
Что по деталям в этом году:
— Будут 3 основные номинации: для авторов и соавторов курсов по ML, руководителей университетских программ и начинающих преподавателей
— Лауреаты премии получат до 1 млн рублей
— Всем победителям предоставят гранты на облачные мощности и окажут поддержку в публикации и развитии образовательных курсов.
— Отдельно отметят тех, кто десятилетиями строит научные школы. В прошлом году в номинацию вошли, например, Константин Воронцов, Андрей Райгородский и Дмитрий Ветров.
Награждение пройдет в сентябре на Practical ML Conf — ежегодной конференции Яндекса по практическому применению машинного обучения.
Подробности здесь
16🗿46❤28👍16🔥7😁4🤔1🤯1🐳1🤗1
OpenAI изобрели способ отвоевать у Anthropic хотя бы часть enterprise рынка
Сейчас Anthropic максимально быстро отъедает долю у OpenAI. Пишут, что они забирают более 70% бюджетов компаний, которые впервые закупают AI‑инструменты. Поэтому OpenAI пошли на рискованный и агрессивный шаг.
Они ведут переговоры с Private equity‑фондами и предлагают им максимально жирные условия: гарантированную доходность 17,5% годовых и ранний доступ к новым моделям. Как это работает:
– У каждого такого фонда есть сотни портфельных компаний. OpenAI предлагает фондам создать джойнт‑венчур – отдельную структуру, куда те заносят капитал, получают долю и вместе с OpenAI внедряют их ИИ во все эти портфельные бизнесы.
– При этом OpenAI обещает PE‑фондам минимальную доходность 17,5% годовых на их вложение в эту совместную структуру. То есть в случае, если бизнес идет хуже, стартап все равно должен выплачивать PE кругленькую сумму, и это уже довольно тяжелое финансовое обязательство, которое кушает маржу. Это все при том, что настройка и внедрение моделей под крупные корпорации стоит дорого: вычисления, команда консалтинга, интеграции и тд.
– Плюс, чем больше таких сделок с гарантией, тем менее гибкой становится финансовая модель OpenAI перед IPO. Но, несмотря на все минусы, это, видимо, единственный способ хоть как-то застолбить корпоративных клиентов и увести их у Anthropic (которые, кстати, тоже ведут переговоры с PE). Предложение OpenAI действительно выглядит очень вкусно, так что это может и сработать, если монопольная полиция ими не заинтересуется😐
Если ИИ-пузырь схлопнется, то вот это – начало конца
Сейчас Anthropic максимально быстро отъедает долю у OpenAI. Пишут, что они забирают более 70% бюджетов компаний, которые впервые закупают AI‑инструменты. Поэтому OpenAI пошли на рискованный и агрессивный шаг.
Они ведут переговоры с Private equity‑фондами и предлагают им максимально жирные условия: гарантированную доходность 17,5% годовых и ранний доступ к новым моделям. Как это работает:
– У каждого такого фонда есть сотни портфельных компаний. OpenAI предлагает фондам создать джойнт‑венчур – отдельную структуру, куда те заносят капитал, получают долю и вместе с OpenAI внедряют их ИИ во все эти портфельные бизнесы.
– При этом OpenAI обещает PE‑фондам минимальную доходность 17,5% годовых на их вложение в эту совместную структуру. То есть в случае, если бизнес идет хуже, стартап все равно должен выплачивать PE кругленькую сумму, и это уже довольно тяжелое финансовое обязательство, которое кушает маржу. Это все при том, что настройка и внедрение моделей под крупные корпорации стоит дорого: вычисления, команда консалтинга, интеграции и тд.
– Плюс, чем больше таких сделок с гарантией, тем менее гибкой становится финансовая модель OpenAI перед IPO. Но, несмотря на все минусы, это, видимо, единственный способ хоть как-то застолбить корпоративных клиентов и увести их у Anthropic (которые, кстати, тоже ведут переговоры с PE). Предложение OpenAI действительно выглядит очень вкусно, так что это может и сработать, если монопольная полиция ими не заинтересуется
Если ИИ-пузырь схлопнется, то вот это – начало конца
Please open Telegram to view this post
VIEW IN TELEGRAM
Разбираем законопроект о регулировании ИИ в России
18 марта Минцифры опубликовало для общественного обсуждения законопроект об ИИ. Мы посчитали нужным написать один пост о том, что на самом деле влечет за собой написанное в этом законопроекте. Итак:
– Все, от моделей до данных и инфраструктуры, будет под контролем гос-контура. Появится реестр доверенных моделей, и чтобы стать «доверенной», модель должна соответствовать требованиям безопасности, пройти сертификацию (критерии пока не определены) и обрабатывать данные внутри РФ. Все остальное уходит в серую зону в любых чувствительных сценариях.
– То есть ChatGPT, Gemini и все остальное отпадает точно, но это малая часть. Рынок в целом становится локальным и закрытым. И значит: конкуренция определяется не столько качеством технологий, сколько доступом к регулятору; скорость экспериментов падает; рынок начинает схлопываться до ограниченного числа игроков.
– Рынок окончательно станет принадлежать только гигантам. Стартапы живут за счет быстрого и дешевого цикла проверки гипотез. Но если каждый шаг начинает требовать учета данных, потенциальной сертификации и прочего – этот цикл ломается. Бюрократия – это всегда дорого и долго, и по плечу только крупнякам.
– Хотя под удар могут попасть и модели крупных российских компаний. За одним исключением, все российские модели дообучены от базовых китайских опенсорсов или инициализируются их весами. Это норма, но в законопроекте формулировки размытые, и такая структурная зависимость может вызывать вопросы: для суверенных моделей в законе прямо прописано, что все стадии разработки и обучения должны происходить в РФ, а обучение – на наборах данных, формируемых в РФ российскими гражданами и юрлицами.
– Все это не говоря уже о том, что использовать зарубежные API станет почти невозможно. Сейчас транграничная передача персональных данных уже запрещена, так что компании обходят ограничения через анонимизацию данных или перекладывание ответственности на пользователя, либо просто хостят опенсорсные модели сами. Законопроект закрывает первые два варианта, а третий тоже под вопросом: без попадания в реестр открытую модель нельзя использовать в значимых сценариях, а критерии включения пока не установлены.
– Это означает существенное замедление экономики: у бизнеса вырастут издержки на внедрение ИИ и снизится доступ к наиболее сильным моделям. В результате компании теряют в эффективности и конкурентоспособности, а рынок постепенно отстает от глобальных темпов развития.
Закон в случае принятия вступит в силу с 1 сентября 2027 года. Пока что радует, что закон вынесен в общественное обсуждение. Так что будем надеяться, что все еще много раз поменяется.
https://www.forbes.ru/tekhnologii/557534-i-narodnoe-avlenie-cto-dumaet-biznes-pro-zakonoproekt-o-suverennom-ii
18 марта Минцифры опубликовало для общественного обсуждения законопроект об ИИ. Мы посчитали нужным написать один пост о том, что на самом деле влечет за собой написанное в этом законопроекте. Итак:
– Все, от моделей до данных и инфраструктуры, будет под контролем гос-контура. Появится реестр доверенных моделей, и чтобы стать «доверенной», модель должна соответствовать требованиям безопасности, пройти сертификацию (критерии пока не определены) и обрабатывать данные внутри РФ. Все остальное уходит в серую зону в любых чувствительных сценариях.
– То есть ChatGPT, Gemini и все остальное отпадает точно, но это малая часть. Рынок в целом становится локальным и закрытым. И значит: конкуренция определяется не столько качеством технологий, сколько доступом к регулятору; скорость экспериментов падает; рынок начинает схлопываться до ограниченного числа игроков.
– Рынок окончательно станет принадлежать только гигантам. Стартапы живут за счет быстрого и дешевого цикла проверки гипотез. Но если каждый шаг начинает требовать учета данных, потенциальной сертификации и прочего – этот цикл ломается. Бюрократия – это всегда дорого и долго, и по плечу только крупнякам.
– Хотя под удар могут попасть и модели крупных российских компаний. За одним исключением, все российские модели дообучены от базовых китайских опенсорсов или инициализируются их весами. Это норма, но в законопроекте формулировки размытые, и такая структурная зависимость может вызывать вопросы: для суверенных моделей в законе прямо прописано, что все стадии разработки и обучения должны происходить в РФ, а обучение – на наборах данных, формируемых в РФ российскими гражданами и юрлицами.
– Все это не говоря уже о том, что использовать зарубежные API станет почти невозможно. Сейчас транграничная передача персональных данных уже запрещена, так что компании обходят ограничения через анонимизацию данных или перекладывание ответственности на пользователя, либо просто хостят опенсорсные модели сами. Законопроект закрывает первые два варианта, а третий тоже под вопросом: без попадания в реестр открытую модель нельзя использовать в значимых сценариях, а критерии включения пока не установлены.
– Это означает существенное замедление экономики: у бизнеса вырастут издержки на внедрение ИИ и снизится доступ к наиболее сильным моделям. В результате компании теряют в эффективности и конкурентоспособности, а рынок постепенно отстает от глобальных темпов развития.
Закон в случае принятия вступит в силу с 1 сентября 2027 года. Пока что радует, что закон вынесен в общественное обсуждение. Так что будем надеяться, что все еще много раз поменяется.
https://www.forbes.ru/tekhnologii/557534-i-narodnoe-avlenie-cto-dumaet-biznes-pro-zakonoproekt-o-suverennom-ii
This media is not supported in your browser
VIEW IN TELEGRAM
Дженсен Хуанг заявил, что мы достигли AGI
На новом интервью у Лекса Фридмана глава Nvidia прямым текстом сказал: «Я считаю, что мы уже достигли AGI».
Директор и создатель самой дорогой компании в мире, на секундочку (!)
Такие дела
На новом интервью у Лекса Фридмана глава Nvidia прямым текстом сказал: «Я считаю, что мы уже достигли AGI».
– Как вы думаете, может ли существовать компания, управляемая такой системой?
– Возможно. Например, OpenClaw вполне мог бы за 50 центов создать сайт или приложение, которым пользовались бы миллиарды человек.
Директор и создатель самой дорогой компании в мире, на секундочку (!)
Такие дела
Wildberries & Russ проведут большой ML-хакатон с призовым фондом 1 300 000 ₽
Если вы студент или просто ищете возможность зайти в индустрию – хакатоны до сих пор один из самых быстрых и честных способов показать себя. Вы, без долгих собеседований, просто берете задачу, решаете ее и сразу видно ваш уровень. Плюс – опыт, кейс в портфолио и, в этом случае, еще и неплохие деньги.
RWB запускают WildHack – хакатон с реальными задачами из логистики, которые решают их ML-команды. Это не учебные кейсы, а именно максимально приближенные к боевым условиям задачи, так что будет непросто, но интересно.
Есть два формата участия:
1. индивидуальный трек (решение ML-задач)
2. командный трек (предстоит разработать полноценный ML-сервис)
Что можно получить:
— часть призового фонда 1,3 млн ₽
— приглашение на стажировку
— шанс сразу же продолжить работу с командой
Регистрация открыта до 8 апреля. Если давно хотели показать себя в таком формате или как раз ищете работу – самое время попробовать.
Если вы студент или просто ищете возможность зайти в индустрию – хакатоны до сих пор один из самых быстрых и честных способов показать себя. Вы, без долгих собеседований, просто берете задачу, решаете ее и сразу видно ваш уровень. Плюс – опыт, кейс в портфолио и, в этом случае, еще и неплохие деньги.
RWB запускают WildHack – хакатон с реальными задачами из логистики, которые решают их ML-команды. Это не учебные кейсы, а именно максимально приближенные к боевым условиям задачи, так что будет непросто, но интересно.
Есть два формата участия:
1. индивидуальный трек (решение ML-задач)
2. командный трек (предстоит разработать полноценный ML-сервис)
Что можно получить:
— часть призового фонда 1,3 млн ₽
— приглашение на стажировку
— шанс сразу же продолжить работу с командой
Регистрация открыта до 8 апреля. Если давно хотели показать себя в таком формате или как раз ищете работу – самое время попробовать.
🗿45⚡17❤12😁11🤨6🔥1👾1
Data Secrets
Дженсен Хуанг заявил, что мы достигли AGI На новом интервью у Лекса Фридмана глава Nvidia прямым текстом сказал: «Я считаю, что мы уже достигли AGI». – Как вы думаете, может ли существовать компания, управляемая такой системой? – Возможно. Например,…
Кстати, вы знали, что Хуанг недавно предложил выплачивать сотрудникам премии токенами?
То есть инженеры получают базовую зарплату плюс половину этой суммы в токенах для повышения продуктивности.
Токены становятся полноценной экономической единицей (появился даже термин токеномика), и Дженсен говорит, что это также метрика продуктивности. Он ожидает, что инженеры с зарплатой $500 тыс. должны тратить минимум $250 тыс. на токены ежегодно, иначе это ред флаг и показатель низкой эффективности сотрудника.
То есть инженеры получают базовую зарплату плюс половину этой суммы в токенах для повышения продуктивности.
Токены становятся полноценной экономической единицей (появился даже термин токеномика), и Дженсен говорит, что это также метрика продуктивности. Он ожидает, что инженеры с зарплатой $500 тыс. должны тратить минимум $250 тыс. на токены ежегодно, иначе это ред флаг и показатель низкой эффективности сотрудника.
2😁253 58 22🤨16🗿11🔥6
Новые страсти в отношениях OpenAI и Microsoft
В сеть утек кусок из pre-IPO документа, который OpenAI составляет для инвесторов. Смотрите, в каком забавном контексте там упоминается Microsoft:
То есть компания описывается уже далеко не как ключевой дружественный партнер, а скорее как ключевой недружественный риск.
И риск этот достаточно реален. Недавно OpenAI объявила о многолетнем стратегическом партнерстве с Amazon. То есть AWS становится эксклюзивным сторонним облачным дистрибьютором.
Microsoft ситуация, конечно, не слишком устраивает. Они считают, что этот контракт с Amazon нарушает их эксклюзивные условия по облачному распространению моделей OpenAI через Azure. Поговаривают, что Microsoft даже рассматривает юридические действия против Amazon и OpenAI из‑за возможного нарушения соглашения.
Самое зрелищное звездное расставание🍿
В сеть утек кусок из pre-IPO документа, который OpenAI составляет для инвесторов. Смотрите, в каком забавном контексте там упоминается Microsoft:
Если Microsoft изменит или прекратит свое коммерческое партнёрство с нами, или если мы не сможем успешно диверсифицировать наших деловых партнеров, наш бизнес, перспективы, финансовые результаты и финансовое состояние могут быть неблагоприятно затронуты.
То есть компания описывается уже далеко не как ключевой дружественный партнер, а скорее как ключевой недружественный риск.
И риск этот достаточно реален. Недавно OpenAI объявила о многолетнем стратегическом партнерстве с Amazon. То есть AWS становится эксклюзивным сторонним облачным дистрибьютором.
Microsoft ситуация, конечно, не слишком устраивает. Они считают, что этот контракт с Amazon нарушает их эксклюзивные условия по облачному распространению моделей OpenAI через Azure. Поговаривают, что Microsoft даже рассматривает юридические действия против Amazon и OpenAI из‑за возможного нарушения соглашения.
Самое зрелищное звездное расставание
Please open Telegram to view this post
VIEW IN TELEGRAM
😁72 56❤15⚡3👏1😎1 1
Почему большинство тестов ИИ-ассистентов не работают в реальности
Российские исследователи из SberAI, MWS AI, а также ИТМО, ВШЭ, МИСИС и других университетов представили методологию DRAGOn – это новый подход к оценке RAG-систем, которые лежат в основе современных ИИ-ассистентов. Ключевая идея в том, чтобы уйти от статичных тестов к динамической среде с постоянно обновляющимися данными. Саму работу приняли на международной конференции EACL 2026.
Классические бенчмарки быстро устаревают и плохо отражают реальные условия. В бизнесе ИИ работает с живыми базами знаний, где важны актуальность и связность фактов, а не просто точность на фиксированном датасете. DRAGOn предлагает тестировать ИИ-системы на свежих новостях, автоматически собирая из них «карту знаний».
Вместо простых вопросов «кто/где/когда», система создает многоуровневые логические задачи. Чтобы ответить, ИИ должен сопоставить несколько фактов из разных новостей, а не просто скопировать кусок текста, а проверкой ответов занимается нейросеть-судья.
Что это дает на практике:
- Задачи становятся многошаговыми, а не тривиальными;
- Проверяется способность связывать факты, а не копировать ответы;
- Оценка учитывает полноту и фактическую точность, а не совпадение слов.
Методологию можно развернуть внутри компании и тестировать ИИ на собственных данных до внедрения. Это позволяет сравнивать решения в реальных сценариях и снижать риски ошибок, особенно в задачах аналитики, поддержки и работы с документами.
https://arxiv.org/abs/2507.05713
Российские исследователи из SberAI, MWS AI, а также ИТМО, ВШЭ, МИСИС и других университетов представили методологию DRAGOn – это новый подход к оценке RAG-систем, которые лежат в основе современных ИИ-ассистентов. Ключевая идея в том, чтобы уйти от статичных тестов к динамической среде с постоянно обновляющимися данными. Саму работу приняли на международной конференции EACL 2026.
Классические бенчмарки быстро устаревают и плохо отражают реальные условия. В бизнесе ИИ работает с живыми базами знаний, где важны актуальность и связность фактов, а не просто точность на фиксированном датасете. DRAGOn предлагает тестировать ИИ-системы на свежих новостях, автоматически собирая из них «карту знаний».
Вместо простых вопросов «кто/где/когда», система создает многоуровневые логические задачи. Чтобы ответить, ИИ должен сопоставить несколько фактов из разных новостей, а не просто скопировать кусок текста, а проверкой ответов занимается нейросеть-судья.
Что это дает на практике:
- Задачи становятся многошаговыми, а не тривиальными;
- Проверяется способность связывать факты, а не копировать ответы;
- Оценка учитывает полноту и фактическую точность, а не совпадение слов.
Методологию можно развернуть внутри компании и тестировать ИИ на собственных данных до внедрения. Это позволяет сравнивать решения в реальных сценариях и снижать риски ошибок, особенно в задачах аналитики, поддержки и работы с документами.
https://arxiv.org/abs/2507.05713
❤57🗿20👍11🤨7🤯5🤩3❤🔥1👏1😁1🫡1
Найдена та самая модель, которую Дженсен Хуанг назвал AGI
https://huggingface.co/Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-GGUF
https://huggingface.co/Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-GGUF
😁393🤯23 18❤6🏆3 3🔥2
Сегодня вышло самое масштабное обновление ГигаЧат в этом году. Новость интересна не только самим фактом релиза, а тем, что Сбер выложил код и веса в открытый доступ на HuggingFace под MIT-лицензией, приправив это очень детальным разбором своей инженерной кухни.
Переезд на архитектуру MoE предсказуемо оказался непростым, и в блоге команда довольно откровенно рассказала, например, о том, как боролись с зацикливанием генераций. Плюс ко всему, ребята перевели этап DPO в нативный FP8 — памяти ест в два раза меньше, а качество не падает. По ходу дела еще и откопали критичный баг в SGLang, который портил бенчмарки.
В опенсорс выложены две модели. Первая — флагманская GigaChat Ultra. По замерам в математике и общих рассуждениях она обходит DeepSeek-V3-0324 и Qwen3-235B.
А вот вторая модель – компактная GigaChat-3.1-Lightning. При скромных 1,8 млрд активных параметров она на аренах выдает результаты на уровне GPT-4o. Маленькая, быстрая и при этом конкурентная по качеству база.
Покрутить обновленную модель без развертывания уже можно на сайте.
Переезд на архитектуру MoE предсказуемо оказался непростым, и в блоге команда довольно откровенно рассказала, например, о том, как боролись с зацикливанием генераций. Плюс ко всему, ребята перевели этап DPO в нативный FP8 — памяти ест в два раза меньше, а качество не падает. По ходу дела еще и откопали критичный баг в SGLang, который портил бенчмарки.
В опенсорс выложены две модели. Первая — флагманская GigaChat Ultra. По замерам в математике и общих рассуждениях она обходит DeepSeek-V3-0324 и Qwen3-235B.
А вот вторая модель – компактная GigaChat-3.1-Lightning. При скромных 1,8 млрд активных параметров она на аренах выдает результаты на уровне GPT-4o. Маленькая, быстрая и при этом конкурентная по качеству база.
Покрутить обновленную модель без развертывания уже можно на сайте.
🗿141❤75🔥36👍23😁12🤨6 5🤔4 3⚡2
Ян Лекун резко шагнул вперед в изобретении универсальной архитектуры для world models
Очень многие точно слышали про JEPA. Расшифровывается JEPA как Joint Embedding Predictive Architecture – Self-Supervised архитектура, предназначенная для понимания внешнего физического мира.
Идея там красивая: вместо предсказания следующего токена или генерации пикселей JEPA пытается предсказывать смысл наблюдаемого фрагмента на основе контекста (по факту это предсказание эмбеддингов).
Лекун считает, что это идеалогическая альтернатива привычному ИИ, потому что предсказание пикселей или токенов – это лишь имитация понимания структуры мира, а тут модель действительно учится понимать физику и логические связи.
Все это здорово, но основная проблема в том, что JEPA очень плохо обучается: лосс почти всегда схлопывается в тривиальное решение и реальной world model не получается.
Но кажется, теперь это препятствие разрушено. Лекун с соавторами выпустили статью, в которой представлена первая end-to-end JEPA, которая обучается из сырых изображений без эвристик, сложных лоссов и прочих танцев с бубном.
Модель красиво называется LeWorldModel (LeWM), и в ней всего 15М параметров. От коллапсов при обучении она защищается очень простым способом: кроме лосса на предсказание следующего latent-state, добавляется регуляризатор, который заставляет латенты быть похожими на изотропное гауссово распределение. Это и есть главный технический ход статьи.
На практике это значит, что рецепт, который раньше был капризным и дорогим в настройке, упростился настолько, что world models наконец-то можно скейлить во что-то рабочее.
Эксперименты, кстати, показывают, что LeWM действительно учит не ерунду, а нечто похожее на физическую структуру мира. Так что идея, кажется, работает.
www.alphaxiv.org/abs/2603.19312v1
Очень многие точно слышали про JEPA. Расшифровывается JEPA как Joint Embedding Predictive Architecture – Self-Supervised архитектура, предназначенная для понимания внешнего физического мира.
Идея там красивая: вместо предсказания следующего токена или генерации пикселей JEPA пытается предсказывать смысл наблюдаемого фрагмента на основе контекста (по факту это предсказание эмбеддингов).
Лекун считает, что это идеалогическая альтернатива привычному ИИ, потому что предсказание пикселей или токенов – это лишь имитация понимания структуры мира, а тут модель действительно учится понимать физику и логические связи.
Все это здорово, но основная проблема в том, что JEPA очень плохо обучается: лосс почти всегда схлопывается в тривиальное решение и реальной world model не получается.
Но кажется, теперь это препятствие разрушено. Лекун с соавторами выпустили статью, в которой представлена первая end-to-end JEPA, которая обучается из сырых изображений без эвристик, сложных лоссов и прочих танцев с бубном.
Модель красиво называется LeWorldModel (LeWM), и в ней всего 15М параметров. От коллапсов при обучении она защищается очень простым способом: кроме лосса на предсказание следующего latent-state, добавляется регуляризатор, который заставляет латенты быть похожими на изотропное гауссово распределение. Это и есть главный технический ход статьи.
На практике это значит, что рецепт, который раньше был капризным и дорогим в настройке, упростился настолько, что world models наконец-то можно скейлить во что-то рабочее.
Эксперименты, кстати, показывают, что LeWM действительно учит не ерунду, а нечто похожее на физическую структуру мира. Так что идея, кажется, работает.
www.alphaxiv.org/abs/2603.19312v1
2🔥235❤45👍25😁18 12🤔8 1