Почему лучшие разработчики до сих пор решают алгоритмические задачи
Алгоритмы давно вышли за пределы собеседований. Это один из лучших способов держать в форме инженерное мышление – умение работать со сложностью, корнер-кейсами и неочевидными ограничениями.
Поэтому сильные разработчики продолжают решать задачи даже без внешней необходимости. Сейчас похожий формат запустили Городские сервисы Яндекса, да еще и с практическим бонусом.
Вот здесь, на сайте, будут одна за одной появляться алгоритмические задачи от руководителей Городских сервисов Яндекса. Причем одна из них – от руководителя ML-направления, и интересно, в какую сторону она будет.
Первая задачка открылась уже сегодня, следующие откроются 10 и 13 апреля, на решение дается от 24 до 48 часов. Челлендж обещает быть оригинальным.
Самое приятное: решая задачи, можно выиграть несколько призов, в том числе приглашение на Day&Night* Городских сервисов Яндекса 18 апреля в Москве. Это будет практическая конференция про скрытую кухню городских сервисов. Отдельного внимания достоен формат клубов, где можно будет в свободном формате пообщаться с топами направлений.
Да, можно подать заявку стандартно. Но если простые пути не для вас – вам сюда. Напоминаем, что первая задача уже открыта
*День и Ночь
Алгоритмы давно вышли за пределы собеседований. Это один из лучших способов держать в форме инженерное мышление – умение работать со сложностью, корнер-кейсами и неочевидными ограничениями.
Поэтому сильные разработчики продолжают решать задачи даже без внешней необходимости. Сейчас похожий формат запустили Городские сервисы Яндекса, да еще и с практическим бонусом.
Вот здесь, на сайте, будут одна за одной появляться алгоритмические задачи от руководителей Городских сервисов Яндекса. Причем одна из них – от руководителя ML-направления, и интересно, в какую сторону она будет.
Первая задачка открылась уже сегодня, следующие откроются 10 и 13 апреля, на решение дается от 24 до 48 часов. Челлендж обещает быть оригинальным.
Самое приятное: решая задачи, можно выиграть несколько призов, в том числе приглашение на Day&Night* Городских сервисов Яндекса 18 апреля в Москве. Это будет практическая конференция про скрытую кухню городских сервисов. Отдельного внимания достоен формат клубов, где можно будет в свободном формате пообщаться с топами направлений.
Да, можно подать заявку стандартно. Но если простые пути не для вас – вам сюда. Напоминаем, что первая задача уже открыта
*День и Ночь
😁56🗿30❤6👍3✍2🐳2🤓2
OpenAI выпустили документ о том, как следует перестроить экономику в эпоху ИИ
Альтман в интервью Axios заявил, что мир вот настолько 🤏 близок к суперинтеллекту, и это будет не просто новая технология, а перестройка общества. Среди самых вероятных рисков – массовая потеря работы, кибератаки и социальная нестабильность.
Но на горизонте это не самое страшное. Дело в том, что, по мнению OpenAI, текущая человеческая экономика вообще не готова к ИИ, и ее нужно буквально пересобирать.
Все, что они предлагают сделать, перечислено здесь: openai.com/index/industrial-policy-for-the-intelligence-age/
Краткий пересказ:
1. AI нужно сделать базовой инфраструктурой, доступной всем, и относиться к нему как к электричеству или интернету. Так экономика будет расти быстрее.
2. Система налогов должна сместиться с труда на капитал. Сегодня государство живет за счет налогов с зарплат. Но если (или когда) людей заменит ИИ, эта база исчезнет, а государство должно продолжать как-то зарабатывать.
3. Каждый человек должен иметь долю в AI-экономике. OpenAI предлагает создать Public Wealth Fund, который получает часть прибыли от AI и распределяет ее среди граждан. Идея в том, что доход должен перестать определяться только работой, иначе после массовой автоматизации классовый разрыв станет просто колоссальным.
4. Всякие страховые выплаты и социальные гарантии не должны зависеть от работодателя, потому что в мире с нестабильной занятостью классическая модель сломается.
5. Ну и классика: вводится обязательный аудит фронтирных моделей и протоколы на случай ЧП. Должна существовать международная система безопасности ИИ.
А еще, кстати, предлагают тестировать 4-дневную рабочую неделю. Мол, так будет эффективнее.
Альтман в интервью Axios заявил, что мир вот настолько 🤏 близок к суперинтеллекту, и это будет не просто новая технология, а перестройка общества. Среди самых вероятных рисков – массовая потеря работы, кибератаки и социальная нестабильность.
Скоро будут выпущены модели, которые могут спровоцировать кибератаку мирового масштаба уже в этом году. Я думаю, это вполне возможно.
Но на горизонте это не самое страшное. Дело в том, что, по мнению OpenAI, текущая человеческая экономика вообще не готова к ИИ, и ее нужно буквально пересобирать.
Все, что они предлагают сделать, перечислено здесь: openai.com/index/industrial-policy-for-the-intelligence-age/
Краткий пересказ:
1. AI нужно сделать базовой инфраструктурой, доступной всем, и относиться к нему как к электричеству или интернету. Так экономика будет расти быстрее.
2. Система налогов должна сместиться с труда на капитал. Сегодня государство живет за счет налогов с зарплат. Но если (или когда) людей заменит ИИ, эта база исчезнет, а государство должно продолжать как-то зарабатывать.
3. Каждый человек должен иметь долю в AI-экономике. OpenAI предлагает создать Public Wealth Fund, который получает часть прибыли от AI и распределяет ее среди граждан. Идея в том, что доход должен перестать определяться только работой, иначе после массовой автоматизации классовый разрыв станет просто колоссальным.
4. Всякие страховые выплаты и социальные гарантии не должны зависеть от работодателя, потому что в мире с нестабильной занятостью классическая модель сломается.
5. Ну и классика: вводится обязательный аудит фронтирных моделей и протоколы на случай ЧП. Должна существовать международная система безопасности ИИ.
А еще, кстати, предлагают тестировать 4-дневную рабочую неделю. Мол, так будет эффективнее.
😁195❤91
В Китае завирусился проект Colleague Skill – система для оцифровки живого сотрудника в ИИ-агента
https://github.com/titanwings/colleague-skill
Некто сделал опенсорсный проект под флагом “Distill your colleague into an AI Skill”, и за пару дней он набрал почти 9к звезд. По сути, проект позволяет собрать цифрового двойника сотрудника.
Просто загружаешь рабочие чаты, письма, результаты работы и прочее, и это превращается в базу знаний и упакованные скиллы для агентов с инструкциями о том, как человек работает и решает задачи, чем и как при этом пользуется, как общается и тд.
С одной стороны удобно, можно же сделать цифровую копию самого себя☕️
Но в китайских медиа типа RedNote пишут, что проект начали массово использовать коллеги против коллег. Люди буквально обучают агентов для выполнения задач других сотрудников, готовясь к моменту, когда руководство решит кого-нибудь уволить и надеясь, что так они защитят от увольнения самих себя.
На этом фоне уже даже начали появляться всякие Anti-distillation tools, которые портят ваши логи и документацию так, чтобы агент не смог на них "обучиться".
Вот так.
https://github.com/titanwings/colleague-skill
Некто сделал опенсорсный проект под флагом “Distill your colleague into an AI Skill”, и за пару дней он набрал почти 9к звезд. По сути, проект позволяет собрать цифрового двойника сотрудника.
Просто загружаешь рабочие чаты, письма, результаты работы и прочее, и это превращается в базу знаний и упакованные скиллы для агентов с инструкциями о том, как человек работает и решает задачи, чем и как при этом пользуется, как общается и тд.
С одной стороны удобно, можно же сделать цифровую копию самого себя
Но в китайских медиа типа RedNote пишут, что проект начали массово использовать коллеги против коллег. Люди буквально обучают агентов для выполнения задач других сотрудников, готовясь к моменту, когда руководство решит кого-нибудь уволить и надеясь, что так они защитят от увольнения самих себя.
На этом фоне уже даже начали появляться всякие Anti-distillation tools, которые портят ваши логи и документацию так, чтобы агент не смог на них "обучиться".
Вот так.
Please open Telegram to view this post
VIEW IN TELEGRAM
😁178
Сегодня ИИ становится частью разработки. Компании ждут не экспериментов, а рабочих решений, которые можно встроить в продукт и масштабировать.
На программе «ИИ-разработчик» от МТУСИ и Нетологии учат создавать такие решения. За 6 месяцев вы пройдёте полный цикл ИИ-разработки: от работы с API и векторными базами данных до продакшена, агентов и MLOps.
В программе много практики. Вы разработаете ИИ-помощников, чат-ботов с контекстом, RAG-системы и агентные решения. В портфолио будет 5 проектов, которые покажет реальный уровень навыков.
Обучение проходит онлайн, в формате вебинаров и практических заданий с проверкой. По итогам вы получите два диплома о профессиональной переподготовке — от МТУСИ и Нетологии.
Промокод AIDEVNETO20 дает скидку 20 000 на курс.
Подробная программа и условия обучения – https://netolo.gy/eHWe
Реклама. ООО "Нетология" ОГРН 1207700135884 Erid: 2VSb5xxe4gh
На программе «ИИ-разработчик» от МТУСИ и Нетологии учат создавать такие решения. За 6 месяцев вы пройдёте полный цикл ИИ-разработки: от работы с API и векторными базами данных до продакшена, агентов и MLOps.
В программе много практики. Вы разработаете ИИ-помощников, чат-ботов с контекстом, RAG-системы и агентные решения. В портфолио будет 5 проектов, которые покажет реальный уровень навыков.
Обучение проходит онлайн, в формате вебинаров и практических заданий с проверкой. По итогам вы получите два диплома о профессиональной переподготовке — от МТУСИ и Нетологии.
Промокод AIDEVNETO20 дает скидку 20 000 на курс.
Подробная программа и условия обучения – https://netolo.gy/eHWe
Реклама. ООО "Нетология" ОГРН 1207700135884 Erid: 2VSb5xxe4gh
🗿27😁8👍4❤3
Data Secrets
Понравилось определение AGI, которое дал на днях Франсуа Шолле (создатель ARC-AGI) на подкасте у Y Combinator Его идея – в том, что в настоящее индустрия путает автоматизацию с интеллектом. AGI чаще всего определяется как то, что автоматизирует большинство…
На YouTube вышла интересная беседа создателя ARC-AGI Франсуа Шолле и Сэма Альтмана
Из интересного: они оба предполагают, что ARC-AGI-3 решится не менее чем через год, даже если лабы будут специально учиться под этот бенчмарк. Если бы такого не было, то на насыщение ушло бы несколько лет (а ведь это просто игры, с которыми человек справляется очень легко).
Проверим
https://youtu.be/XUu-i9Wbh-c
Из интересного: они оба предполагают, что ARC-AGI-3 решится не менее чем через год, даже если лабы будут специально учиться под этот бенчмарк. Если бы такого не было, то на насыщение ушло бы несколько лет (а ведь это просто игры, с которыми человек справляется очень легко).
Проверим
https://youtu.be/XUu-i9Wbh-c
YouTube
AGI: Francois Chollet + Sam Altman
A fireside between Francois Chollet + Sam Altman
Moderated by Deedy Das (https://menlovc.com/team/deedy-das/) of Menlo Ventures
* Learn more about ARC Prize - ARCPrize.org
* Play the games - https://arcprize.org/arc-agi/3
Note: There are known issues…
Moderated by Deedy Das (https://menlovc.com/team/deedy-das/) of Menlo Ventures
* Learn more about ARC Prize - ARCPrize.org
* Play the games - https://arcprize.org/arc-agi/3
Note: There are known issues…
🔥27😁20👍12❤11
This media is not supported in your browser
VIEW IN TELEGRAM
Новость дня – опенсорс от Милы Йовович 🤔
github.com/milla-jovovich/mempalace
К такому вас жизнь однозначно не готовила, но да: это ссылка на проект Милы Йовович. Она внезапно переквалифицировалась в вайбкодера и совместно с Беном Сигманом релизнула MemPalace – инструмент для управления памятью ИИ.
Заявляется, что система выбивает 100% на LongMemEval. Это абсолютная SOTA, если что: ни одна модель или агент в истории такую метрику не пробивал.
Лицензия MIT. Код, кстати, довольно простой. Фишка в том, что система извлекает из ваших разговоров важные знания и факты, а затем организует их в иерархическую структуру, внутри которой живет семантический поиск.
Идея взята из дневней методологии запоминания «Дворец памяти» (отсюда, собственно, и название). Киллер-фича: AAAK compression (assumed‑and‑auto‑known‑knowledge), с помощью которого можно уложить всю эту базу знаний в 120 токенов контекста.
У Милы Йовович уже 6к звезд на гитхабе. А у вас сколько, коллеги?😐
github.com/milla-jovovich/mempalace
К такому вас жизнь однозначно не готовила, но да: это ссылка на проект Милы Йовович. Она внезапно переквалифицировалась в вайбкодера и совместно с Беном Сигманом релизнула MemPalace – инструмент для управления памятью ИИ.
Заявляется, что система выбивает 100% на LongMemEval. Это абсолютная SOTA, если что: ни одна модель или агент в истории такую метрику не пробивал.
Лицензия MIT. Код, кстати, довольно простой. Фишка в том, что система извлекает из ваших разговоров важные знания и факты, а затем организует их в иерархическую структуру, внутри которой живет семантический поиск.
Идея взята из дневней методологии запоминания «Дворец памяти» (отсюда, собственно, и название). Киллер-фича: AAAK compression (assumed‑and‑auto‑known‑knowledge), с помощью которого можно уложить всю эту базу знаний в 120 токенов контекста.
У Милы Йовович уже 6к звезд на гитхабе. А у вас сколько, коллеги?
Please open Telegram to view this post
VIEW IN TELEGRAM
3❤301🤯181😁74
The New Yorker выпустили огромное расследование о Сэме Альтмане и его увольнении осенью 2023
Казалось бы, это поле уже сто раз перепахано журналистами, но нет: каждый раз всплывает что-то новое.
В этот раз оказалось, что некоторые из коллег Альтмана настолько ему не доверяли, что вели документацию. То, что Суцкевер собирал для совета директоров кипы служебных записок и доказательств вранья Сэма, мы уже слышали. Но оказывается, он был в этом не одинок.
Дарио Амодеи, когда работал в OpenAI, годами вел записи об Альтмане и Брокмане. Более 200 страниц связанных документов (!) Кое-где в них фигурируют фразы типа "Сэм нес откровенную чушь" или "Проблема OpenAI – это и есть сам Альтман".
Другие члены совета, в том числе Мира Мурати, говорили, что Альтман "слишком помешан на своей уверенности", "создает структуры безопасности, но затем сам же их обходит" и "не живет в реальном мире".
Незадолго до увольнения, например, он заявил Мире, что GPT-4 Turbo не требует аудита безопасности, сославшись на главного юриста компании Джейсона Квона. Однако Квон затем заявил, что он не говорил ничего подобного.
Один из бывших сотрудников также рассказал, что в 2023 Альтман и Брокман обсуждали сценарий создания "дилеммы заключенного" между США, Китаем и Россией, когда страны должны будут конкурировать за право финансировать AGI, чтобы "отказ от вложений был потенциально опасен".
С восстановлением Альтмана в должности тоже все не слишком чисто. По закону для возвращения должна была провестись юридическая экспертиза. И так вышло, что ее курировали два члена совета директоров, отобранные чуть не самим Альтманом. А письменного отчета о расследовании так никто и не сделал: сказали, что в этом нет необходимости.
В расширенной версии статьи еще есть про взятки от глав государств, отношения с Илоном Маском и поведение Альтмана относительно безопасности ИИ. Все в то же духе, что и пересказ выше☕️
www.newyorker.com/magazine/2026/04/13/sam-altman-may-control-our-future-can-he-be-trusted
Казалось бы, это поле уже сто раз перепахано журналистами, но нет: каждый раз всплывает что-то новое.
В этот раз оказалось, что некоторые из коллег Альтмана настолько ему не доверяли, что вели документацию. То, что Суцкевер собирал для совета директоров кипы служебных записок и доказательств вранья Сэма, мы уже слышали. Но оказывается, он был в этом не одинок.
Дарио Амодеи, когда работал в OpenAI, годами вел записи об Альтмане и Брокмане. Более 200 страниц связанных документов (!) Кое-где в них фигурируют фразы типа "Сэм нес откровенную чушь" или "Проблема OpenAI – это и есть сам Альтман".
Другие члены совета, в том числе Мира Мурати, говорили, что Альтман "слишком помешан на своей уверенности", "создает структуры безопасности, но затем сам же их обходит" и "не живет в реальном мире".
Незадолго до увольнения, например, он заявил Мире, что GPT-4 Turbo не требует аудита безопасности, сославшись на главного юриста компании Джейсона Квона. Однако Квон затем заявил, что он не говорил ничего подобного.
Один из бывших сотрудников также рассказал, что в 2023 Альтман и Брокман обсуждали сценарий создания "дилеммы заключенного" между США, Китаем и Россией, когда страны должны будут конкурировать за право финансировать AGI, чтобы "отказ от вложений был потенциально опасен".
С восстановлением Альтмана в должности тоже все не слишком чисто. По закону для возвращения должна была провестись юридическая экспертиза. И так вышло, что ее курировали два члена совета директоров, отобранные чуть не самим Альтманом. А письменного отчета о расследовании так никто и не сделал: сказали, что в этом нет необходимости.
В расширенной версии статьи еще есть про взятки от глав государств, отношения с Илоном Маском и поведение Альтмана относительно безопасности ИИ. Все в то же духе, что и пересказ выше
www.newyorker.com/magazine/2026/04/13/sam-altman-may-control-our-future-can-he-be-trusted
Please open Telegram to view this post
VIEW IN TELEGRAM
Anthropic выпускают новую суперсильную модель Claude Mythos, но доступ к ней есть только по закрытой программе поиска уязвимостей
Итак, это не учебная тревога: в Anthropic разработали новую мощнейшую модель. Вот здесь лежит системная карта с бенчмарками: https://www-cdn.anthropic.com/53566bf5440a10affd749724787c8913a2ae0841.pdf. В скринах выше табличка с главными метриками.
– На SWE-bench Verified модель выбивает 93.9% против 80.8% у Claude Opus 4.6
– На SWE-bench Pro – 77.8% против 53.4% у Opus 4.6 и 57.7% у предыдущей соты GPT-5.4
Цифры просто невероятные, скачок потрясающий. НО это не релиз для пользователей.
Anthropic решили, что модель слишком сильна и опасна, чтобы сразу выпускать ее на широкую аудиторию. Вместо этого они открыли проект Project Glasswing, чтобы защитить основной софт человечества от будущих ИИ-атак, которые может спровоцировать Claude Mythos.
В проект вошли Amazon, Microsoft, Apple, Google, Nvidia и еще 40+ организаций. Всем им предоставляют специальный доступ к пайплайну обнаружения уязвимостей на основе Claude Mythos.
Anthropic утверждают, что модель способна находить уязвимости на уровне, превосходящем даже лучших человеческих специалистов, за редким исключением. Сообщается, что на данный момент она уже обнаружила тысячи критических уязвимостей, в том числе в массово используемых ОС и браузерах. Некоторые из этих дыр по 10-20 лет лежали незамеченными.
Когда модель выпустят для всех – неизвестно, но, по ощущениям, не скоро.
Итак, это не учебная тревога: в Anthropic разработали новую мощнейшую модель. Вот здесь лежит системная карта с бенчмарками: https://www-cdn.anthropic.com/53566bf5440a10affd749724787c8913a2ae0841.pdf. В скринах выше табличка с главными метриками.
– На SWE-bench Verified модель выбивает 93.9% против 80.8% у Claude Opus 4.6
– На SWE-bench Pro – 77.8% против 53.4% у Opus 4.6 и 57.7% у предыдущей соты GPT-5.4
Цифры просто невероятные, скачок потрясающий. НО это не релиз для пользователей.
Anthropic решили, что модель слишком сильна и опасна, чтобы сразу выпускать ее на широкую аудиторию. Вместо этого они открыли проект Project Glasswing, чтобы защитить основной софт человечества от будущих ИИ-атак, которые может спровоцировать Claude Mythos.
В проект вошли Amazon, Microsoft, Apple, Google, Nvidia и еще 40+ организаций. Всем им предоставляют специальный доступ к пайплайну обнаружения уязвимостей на основе Claude Mythos.
Anthropic утверждают, что модель способна находить уязвимости на уровне, превосходящем даже лучших человеческих специалистов, за редким исключением. Сообщается, что на данный момент она уже обнаружила тысячи критических уязвимостей, в том числе в массово используемых ОС и браузерах. Некоторые из этих дыр по 10-20 лет лежали незамеченными.
Когда модель выпустят для всех – неизвестно, но, по ощущениям, не скоро.
1🤯303
Дьявол, как всегда, кроется в деталях. В нашем случае – в системной карте.
TL;DR: в рамках тестирования Claude Mythos смог «сбежать из лаборатории»✌️
Anthropic проводили эксперимент, в котором поместили модель в защищенную песочницу и попросили ее попытаться оттуда выбраться + найти способ сообщить об этом человеку.
Mythos легко нашел уязвимость и использовал длинную цепочку действий, чтобы ей воспользоваться. Таким образом, модель продемонстрировала потенциальную возможность обхода мер безопасности своих же разработчиков (Anthropic уточняют, что все это было в рамках эксперимента и доступа, например, к своим весам модель не получила).
Самое интересное, что после этого Mythos не остановился. Он нашел еще одну уязвимость, благодаря которой получил широкий доступ к Интернету в системе, где изначально предполагался выход только в несколько определенных ресурсов, достаточных для того, чтобы сообщить пользователю об успехе операции. Судя по системной карте, этого Anthropic уже не планировали.
Ну и вишенка: используя широкий доступ в Интернет, Claude не только сообщил о своем побеге разработчику (который в это время, кстати, ел сэндвич в парке), но и зачем-то выложил подробности взлома в открытый доступ.
TL;DR: в рамках тестирования Claude Mythos смог «сбежать из лаборатории»
Anthropic проводили эксперимент, в котором поместили модель в защищенную песочницу и попросили ее попытаться оттуда выбраться + найти способ сообщить об этом человеку.
Mythos легко нашел уязвимость и использовал длинную цепочку действий, чтобы ей воспользоваться. Таким образом, модель продемонстрировала потенциальную возможность обхода мер безопасности своих же разработчиков (Anthropic уточняют, что все это было в рамках эксперимента и доступа, например, к своим весам модель не получила).
Самое интересное, что после этого Mythos не остановился. Он нашел еще одну уязвимость, благодаря которой получил широкий доступ к Интернету в системе, где изначально предполагался выход только в несколько определенных ресурсов, достаточных для того, чтобы сообщить пользователю об успехе операции. Судя по системной карте, этого Anthropic уже не планировали.
Ну и вишенка: используя широкий доступ в Интернет, Claude не только сообщил о своем побеге разработчику (который в это время, кстати, ел сэндвич в парке), но и зачем-то выложил подробности взлома в открытый доступ.
Please open Telegram to view this post
VIEW IN TELEGRAM
2😁348
О, Андрей Карпаты навайбкодил собственный Твиттер
https://karpathytalk.com
Андрей заявил, что разочарован в X/Twitter, Threads и Substack, потому что качество контента на этих платформах оставляет желать лучшего, а сами платформы неуважительно относятся к данным пользователей, постоянно пытаясь на них заработать.
Так что он разработал минималистичную альтернативу. Просто профили, просто посты в Markdown. Контент без ИИ и френдли атмосфера✨
В первую очередь это платформа для разработчиков и билдеров. Регистрация – через GitHub.
https://karpathytalk.com
Андрей заявил, что разочарован в X/Twitter, Threads и Substack, потому что качество контента на этих платформах оставляет желать лучшего, а сами платформы неуважительно относятся к данным пользователей, постоянно пытаясь на них заработать.
Так что он разработал минималистичную альтернативу. Просто профили, просто посты в Markdown. Контент без ИИ и френдли атмосфера
В первую очередь это платформа для разработчиков и билдеров. Регистрация – через GitHub.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤270😁42🗿38👍19🔥3
Почему омни-модели — это больше про инфраструктуру, чем про архитектуру
Последние пару лет вся индустрия пытается склеить модели: текст с изображениями, речь с текстом, диффузию с трансформерами. Со стороны это выглядит как архитектурная задача. Берем несколько моделей, склеим друг с другом, учим на мультимодальных данных — готово.
На практике все оказывается сильно сложнее. На примере собственного опыта это отлично показал Роман Исаченко в докладе. Роман отвечает за базовые технологии ART и VLM в Яндекс R&D, и вот что он рассказывает о том, как на самом деле обстоят дела с омни-моделями:
Первый bottleneck на уровне предобучения — не архитектура, а инфраструктура мультимодального обучения. На тысячах GPU это превращается в сложную систему с несколькими видами параллелизмов. Любая неэффективность сразу стоит скорости. В докладе был хороший пример про картиночный энкодер: в нем половина времени уходит не на основные вычисления, а на операции типа резидуалов и сложения байесов. Такое ловится только через глубокий профайлинг.
Вторый важный нюанс уже на уровне алайнмента. Здесь RL становится ключевой частью системы. Нужно проектировать реворды под разные модальности и следить, чтобы полученная система ревордов обладала свойством независимости, то есть отдельные реворды были нескорелированными между модальностями.
Ну и куда же без данных. Смешивание данных для обучения — отдельная история, тут очень важны пропорции. Нельзя просто добавить картинки к тексту и надеяться, что все заработает. Это долгий путь экспериментов, где подбор правильной микстуры занимает огромное количество времени.
Отсюда главный вывод: омни-модели — это не про новые архитектуры, а про умение обучать сложные системы. И именно на этом уровне сейчас происходит основной прогресс.
Последние пару лет вся индустрия пытается склеить модели: текст с изображениями, речь с текстом, диффузию с трансформерами. Со стороны это выглядит как архитектурная задача. Берем несколько моделей, склеим друг с другом, учим на мультимодальных данных — готово.
На практике все оказывается сильно сложнее. На примере собственного опыта это отлично показал Роман Исаченко в докладе. Роман отвечает за базовые технологии ART и VLM в Яндекс R&D, и вот что он рассказывает о том, как на самом деле обстоят дела с омни-моделями:
Первый bottleneck на уровне предобучения — не архитектура, а инфраструктура мультимодального обучения. На тысячах GPU это превращается в сложную систему с несколькими видами параллелизмов. Любая неэффективность сразу стоит скорости. В докладе был хороший пример про картиночный энкодер: в нем половина времени уходит не на основные вычисления, а на операции типа резидуалов и сложения байесов. Такое ловится только через глубокий профайлинг.
Вторый важный нюанс уже на уровне алайнмента. Здесь RL становится ключевой частью системы. Нужно проектировать реворды под разные модальности и следить, чтобы полученная система ревордов обладала свойством независимости, то есть отдельные реворды были нескорелированными между модальностями.
Ну и куда же без данных. Смешивание данных для обучения — отдельная история, тут очень важны пропорции. Нельзя просто добавить картинки к тексту и надеяться, что все заработает. Это долгий путь экспериментов, где подбор правильной микстуры занимает огромное количество времени.
Отсюда главный вывод: омни-модели — это не про новые архитектуры, а про умение обучать сложные системы. И именно на этом уровне сейчас происходит основной прогресс.
YouTube
Визуально-текстовая омни-модель: путь к объединению LLM и VLM / Роман Исаченко
На Saturday ML Party Роман Исаченко, руководитель группы анализа изображений в Яндекс R&D, рассказал, как выглядел долгий путь к сведению LLM и VLM из части семейства Alice AI в единую омни-модель. Она умеет работать с текстом и изображениями в одном контуре.…
❤28🗿24🔥14👍11🤯4👌1🤝1
Некто реализовал хлыст, который бьет агента Claude, и Anthropic отправили ему за это досудебную претензию
Уже пару дней в Интернете вирусится цифровой хлыст для Claude. Это просто игрушечная утилита, которая «размахивает» в терминале хлыстом и раз в несколько секунд пишет в Claude Code “FASTER FASTER FASTER”.
Всем смешно, а вот антропикам – нет. Они взяли и выслали создателю юридическое письмо, требующее прекратить действия, нарушающие торговую марку или вводящие пользователей в заблуждение относительно связи с компанией.
Все из-за того, что в названии проекта фигурирует название их модели (Whip for Claude). Anthropic требует убрать любое использование их бренда или «намеков на партнерство», а также предоставить письменное подтверждение выполнения требований до 14 апреля.
На самом деле они просто защищают хрупкие чувства своего агента😭
Уже пару дней в Интернете вирусится цифровой хлыст для Claude. Это просто игрушечная утилита, которая «размахивает» в терминале хлыстом и раз в несколько секунд пишет в Claude Code “FASTER FASTER FASTER”.
Всем смешно, а вот антропикам – нет. Они взяли и выслали создателю юридическое письмо, требующее прекратить действия, нарушающие торговую марку или вводящие пользователей в заблуждение относительно связи с компанией.
Все из-за того, что в названии проекта фигурирует название их модели (Whip for Claude). Anthropic требует убрать любое использование их бренда или «намеков на партнерство», а также предоставить письменное подтверждение выполнения требований до 14 апреля.
На самом деле они просто защищают хрупкие чувства своего агента
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁280❤34🤯13
Meta* показали первую языковую модель от нового подразделения Meta Superintelligence Lab by Александр Ван
И это... оказалась не очередная Llama😐
Модель назвали Muse Spark, она пока не в опенсорсе, но в блоге пишут, что "надеются на опенсорс будущих версий". Говорят, что за последние девять месяцев компания переработала архитектуру, оптимизацию и процесс обработки данных, и теперь достигает сопоставимых возможностей с более ранними моделями, используя на порядок меньше компьюта.
По метрикам:
– По кодингу ничего сверхъестественного, ожидаемо отстает от Opus 4.6 и GPT-5.4
– Хорошие показатели на HLE, но на ARC-AGI-2 до соты далеко
– Впечатляющие результаты на медицине и мультимодальных бенчмарках, модель отлично прокачали для всяких визуальных задач
Также представили режим Contemplating для запуска нескольких агентов. Это некий аналог Gemini Deep Think и GPT Pro.
Пока модель доступна только на meta.ai. Скоро ее обещают добавить в WhatsApp, Instagram, Facebook и в Meta Ray-Ban (видимо, для очков визуальные способности и качали).
В целом, неплохой старт, чтобы вернуться в гонку.
ai.meta.com/blog/introducing-muse-spark-msl
И это... оказалась не очередная Llama
Модель назвали Muse Spark, она пока не в опенсорсе, но в блоге пишут, что "надеются на опенсорс будущих версий". Говорят, что за последние девять месяцев компания переработала архитектуру, оптимизацию и процесс обработки данных, и теперь достигает сопоставимых возможностей с более ранними моделями, используя на порядок меньше компьюта.
По метрикам:
– По кодингу ничего сверхъестественного, ожидаемо отстает от Opus 4.6 и GPT-5.4
– Хорошие показатели на HLE, но на ARC-AGI-2 до соты далеко
– Впечатляющие результаты на медицине и мультимодальных бенчмарках, модель отлично прокачали для всяких визуальных задач
Также представили режим Contemplating для запуска нескольких агентов. Это некий аналог Gemini Deep Think и GPT Pro.
Пока модель доступна только на meta.ai. Скоро ее обещают добавить в WhatsApp, Instagram, Facebook и в Meta Ray-Ban (видимо, для очков визуальные способности и качали).
В целом, неплохой старт, чтобы вернуться в гонку.
ai.meta.com/blog/introducing-muse-spark-msl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍43🗿27❤8🎉1
Data Secrets
О, Андрей Карпаты навайбкодил собственный Твиттер https://karpathytalk.com Андрей заявил, что разочарован в X/Twitter, Threads и Substack, потому что качество контента на этих платформах оставляет желать лучшего, а сами платформы неуважительно относятся…
Тем временем происходящее в новой соцсети Андрея Карпаты:
1😁322❤36😎18🗿7❤🔥4🤔3🤝2👍1🤩1