Исследовательская группа опубликовала описание метода Token Superposition Training, который, по утверждению авторов, ускоряет предобучение больших языковых моделей в 2–3 раза по реальному времени при неизменном объёме вычислений.
На первые 20–40% обучения модель обрабатывает не отдельные токены, а батчи из нескольких идущих подряд токенов, их векторные представления усредняются на входе, а на выходе применяется модифицированная функция потерь.
Никакого отбора по смыслу, частоте или содержанию нет - деление чисто механическое, по позиции в тексте.
Внутри бвтча порядок токенов отбрасывается. Модель не учится предсказывать, какой токен стоит на какой конкретной позиции в ближайшем будущем, - только то, какие токены вообще там встречаются.
Размер батча - один из двух ключевых параметров метода. Оптимальное значение растёт вместе с размером модели: для 270 млн параметров оно лежало в диапазоне от 3 до 8 токенов, а для 10 млрд равнялось 16
Оставшуюся часть обучения модель переводят на обычный режим предсказания следующего токена. По словам Nous Research, готовая модель на инференсе ничем не отличается от обученной стандартным способом - архитектура, оптимизатор, токенизатор или набор данных не изменяются.
Метод протестили на моделях 4-х размеров: 270 млн, 600 млн и 3 млрд параметров, а также на 10 миллиардной MoE.
В самом крупном эксперименте модель с TST достигла более низкого значения лосса, чем сопоставимая по вычислениям базовая модель, примерно за 40% времени и показала лучшие результаты на тестах HellaSwag, ARC и MMLU.
TST расходует обучающие данные быстрее обычного, поскольку модель переваривает больше текста. Если обучающих данных мало, метод становится контрпродуктивным.
@ai_machinelearning_big_data
#AI #ML #LLM #Pertrain #TST #NousResearch
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤩65👏29❤21🤔14👍10🔥7👨💻5
This media is not supported in your browser
VIEW IN TELEGRAM
😁89👨💻34👍20🔥6👏5🤣4❤1🤝1🤗1
Суть задачи простая: есть
n точек на плоскости. Нужно понять, сколько пар точек могут находиться ровно на расстоянии 1 друг от друга.Долгое время считалось, что почти оптимальный ответ дают конструкции, похожие на квадратную решётку. Модель OpenAI показала, что это неверно.
Она построила бесконечное семейство конфигураций, где таких пар получается заметно больше, чем ожидалось. То есть была опровергнута не мелкая техническая деталь, а известная гипотеза, вокруг которой десятилетиями строились оценки.
Модель связала задачу о точках на плоскости с алгебраической теорией чисел.
В доказательстве используются решётки Минковского (способ превратить числа из алгебраической теории чисел в точки в обычном евклидовом пространстве), элементы нормы один и pro-3 башни числовых полей. Это инструменты из другой части математики, и именно их перенос в геометрию дал результат.
Нога Алон из Принстона отметил, что ответ оказался неожиданным, а применённые методы выглядят элегантно и нетривиально.
При этом доказательство не даёт нового «чисто геометрического» метода, на который многие надеялись. Гипотеза опровергнута, но сама структура задачи стала ещё интереснее.
Задачу сформулировал ИИ, решение сгенерировала внутренняя модель OpenAI, первичная проверка тоже прошла через автоматический ИИ-пайплайн. После этого люди проверили детали, улучшили изложение и довели работу до публикации.
Модель сама нашла неочевидную связь между разными областями математики и получила результат по открытой задаче высокого уровня.
Оригинал: https://openai.com/index/model-disproves-discrete-geometry-conjecture/
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥112👍57🤩42❤24👏16🥱4🤔2😁1🙏1🤗1
Media is too big
VIEW IN TELEGRAM
Компании совместно внедрили технологию водяных знаков SynthID в изображения, создаваемые через ChatGPT, Codex и корпоративные API.
Решение дополняет криптографические подписи стандарта C2PA, которые теряются при конвертации форматов или сохранении скриншотов. SynthID встраивает невидимые маркеры на уровне пикселей и метка сохраняется после обработки и сжатия графики.
Для проверки контента OpenAI запустила превью веб-инструмента. Система анализирует загруженные файлы на наличие метаданных C2PA и скрытых маркеров SynthID, определяя генеративное происхождение изображения.
openai.com
Anthropic добавила механизм проверки этических ограничений в процессе генерации ответа Claude. Обновление разработано после консультаций с философами и теологами для доработки базовой конституции модели и снижения склонности к сикофантии.
Инструмент реализован как внешняя функция - модель вызывает ее во время формирования ответа, чтобы получить напоминание о заданных ограничениях.
На внутренних тестах Claude начал самостоятельно обращаться к инструменту перед выполнением потенциально опасных команд, фиксируя конфликт интересов. Интеграция дополнительного шага в цикл вывода снизила количество некорректных действий LLM.
anthropic.com
Третье поколение моделей для генерации аудио построено на базе архитектуры с семантико-акустическим автоэнкодером и состоит из 4 вариаций. Small SFX, Small и Medium) опубликованы на Hugging Face. Флагманская Large (2,7 млрд параметров) доступна только через API и по корпоративной лицензии.
Модель Medium (1,4 млрд параметров) генерирует трек длиной более 6 минут за 1,31 секунды на GPU H200. Версии Small (459 млн параметров) оптимизированы для локального запуска на смартфонах и ПК. Помимо генерации доступны инпэйнт отдельных фрагментов, бесшовное продление треков и файн-тюнинг с помощью LoRA.
Модели обучались на лицензионных данных, коммерческое использование создаваемого аудио легально в рамках лицензии.
stability.ai
Китайский техногигант представил мультимодальную модель синхронного перевода Qwen3.5-LiveTranslate на базе архитектуры Qwen3.5-Omni. Система понимает текст на 60 языках и генерирует речь на 29.
Модель учитывает визуальный контекст видеоряда в реальном времени для разрешения семантических неоднозначностей в речи. Встроено клонирование голоса: нейросеть генерирует перевод с сохранением тембра и интонации оригинального спикера.
Для обработки аудио с сильным акцентом или фоновым шумом добавлен механизм ключевых слов, который позволяет передавать в поток перевода жестко заданные специфические термины, имена и названия брендов.
Демоверсия доступна на платформе Qwen Omni. Релиз API в облаке Alibaba Cloud ожидается в ближайшее время.
qwen.ai
Таможня КНР прекратила выдачу разрешений на импорт видеокарт NVIDIA RTX 5090 D v2. Легальные поставки и продажи устройств остановлены.
NVIDIA разработала эту модель специально для китайского рынка, чтобы вписаться в экспортные ограничения США. Ради соответствия требованиям компания урезала VRAM графического ускорителя с 32 до 24 ГБ.
Поскольку карта создавалась исключительно для Китая, официальный сбыт закрыт. Ожидается, что уже произведенные партии попадут на черный рынок или будут модифицированы местными ИИ-компаниями под свои задачи.
Самым мощным решением NVIDIA, доступным китайским пользователям, остается RTX 5080, а локальные чипы пока уступают флагманам американской компании в производительности.
hkepc.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍53❤22🎉14🤔13👌3🔥1
Почему в ML смена прикладной области не означает смену профессии
Когда ML-инженер приходит в новый проект, он может переживать, что потеряет накопленную экспертизу из-за другого контекста задач. Однако опыт выпускницы ШАДа Даримы Мылзеновой показывает, что этот страх не оправдан: она успела поработать в медицине, нефтянке, сфере синтеза речи и финтехе, сохранив единый рабочий инструментарий.
Выбрали главное из ее недавнего интервью для 8бит.
🟡 У задач из разных проектов одинаковые методы решения
В ML меняется только физический смысл данных, поэтому наработанный инструментарий можно последовательно переносить в разные сферы, в которых заинтересован инженер.
🟡 Байесовская гибкость как рабочая установка
В начале карьеры Дариме казалось, что модели почти всемогущие. Потом пришло осознание, что все зависит от объема и разнообразия данных. Затем появились LLM — и то, что вчера было невозможным, вдруг заработало. Поэтому Дарима руководствуется принципом «байесовской гибкости»: у нее есть априорное представление о границах ML, а новые наблюдения его корректируют.
🟡 Главный урок от работы в стартапе — не технический
Стартап становится отличной проверкой сил: задачи здесь меняются быстро, и нужно уметь мгновенно включаться в незнакомый контекст. В такие моменты выручает подход, сформированный Даримой в ШАДе, — «все можно понять, если сесть и разобраться». Однако без устойчивой бизнес-модели проекта работать тяжело даже профессионалу. Неопределенность быстро ведет к выгоранию, поэтому Дарима сделала выбор в пользу корпоративной среды.
📌 Полное интервью
@ai_machinelearning_big_data
#ML #Interview #ШАД #Career
Когда ML-инженер приходит в новый проект, он может переживать, что потеряет накопленную экспертизу из-за другого контекста задач. Однако опыт выпускницы ШАДа Даримы Мылзеновой показывает, что этот страх не оправдан: она успела поработать в медицине, нефтянке, сфере синтеза речи и финтехе, сохранив единый рабочий инструментарий.
Выбрали главное из ее недавнего интервью для 8бит.
В ML меняется только физический смысл данных, поэтому наработанный инструментарий можно последовательно переносить в разные сферы, в которых заинтересован инженер.
В начале карьеры Дариме казалось, что модели почти всемогущие. Потом пришло осознание, что все зависит от объема и разнообразия данных. Затем появились LLM — и то, что вчера было невозможным, вдруг заработало. Поэтому Дарима руководствуется принципом «байесовской гибкости»: у нее есть априорное представление о границах ML, а новые наблюдения его корректируют.
Стартап становится отличной проверкой сил: задачи здесь меняются быстро, и нужно уметь мгновенно включаться в незнакомый контекст. В такие моменты выручает подход, сформированный Даримой в ШАДе, — «все можно понять, если сесть и разобраться». Однако без устойчивой бизнес-модели проекта работать тяжело даже профессионалу. Неопределенность быстро ведет к выгоранию, поэтому Дарима сделала выбор в пользу корпоративной среды.
@ai_machinelearning_big_data
#ML #Interview #ШАД #Career
Please open Telegram to view this post
VIEW IN TELEGRAM
👍70👏18❤13🤔10😁6🎉5🔥2🤬1🥱1🤓1
Китайская компания приступила к разработке инструмента, который будет конкурировать с Claude Code от Anthropic, Codex от OpenAI и редактором Cursor. Об этом сообщил в объявлении о найме сотрудник компании Дели Чэн в соцсети X.
Согласно вакансиям, в Пекине формируется новая команда под названием Harness, которая займётся разработкой продукта с рабочим названием DeepSeek Code.
DeepSeek ищет менеджера продукта и R&D инженера. От обоих кандидатов требуется опыт работы с Claude Code, Cursor, Codex или GitHub Copilot.
Менеджер продукта возьмёт на себя дорожную карту, анализ обратной связи и развитие сообщества пользователей.
В числе обязательных компетенций: понимание агентных циклов, протокола MCP, многоагентных систем и инженерии контекста, а также практический опыт вайб-кодинга.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍85🤓38🔥25🎉10❤9👨💻7👏4
30 мая — день открытых дверей Школы естественных наук ЦУ
Новая программа ШЕН «ИИ в биотехе» реализуется совместно с инженерной школой и факультетом биоинженерии и биоинформатики МГУ, а также индустриальными партнерами: Genotek и BIOCAD.
Она идеально подойдет для тех, кто хочет применять математику, код и машинное обучение в биологии и медицине.
Что будет на мероприятии:
— Покажем, как ИИ применяется в биотехе: от анализа геномов до дизайна лекарств;
— Расскажем о продуктовом подходе в высшем образовании, новом наборе и грантовом конкурсе 2026;
— Подробно расскажем про магистратуру: курсы, преподаватели, формат обучения.
Получи грант в день мероприятия!
В день открытых дверей будет действовать «One-day-offer» — 30 мая можно будет пройти собеседование и получить решение о гранте.
Расписание дня открытых дверей:
15:30–17:00 — основная программа
17:00–19:00 — собеседования и one-day-offer
Место проведения: кампус Центрального университета
Хочешь узнать все о Школе естественных наук и поступить в магистратуру с грантом в тот же день? Приходи!
Регистрация на день открытых дверей по ссылке
Новая программа ШЕН «ИИ в биотехе» реализуется совместно с инженерной школой и факультетом биоинженерии и биоинформатики МГУ, а также индустриальными партнерами: Genotek и BIOCAD.
Она идеально подойдет для тех, кто хочет применять математику, код и машинное обучение в биологии и медицине.
Что будет на мероприятии:
— Покажем, как ИИ применяется в биотехе: от анализа геномов до дизайна лекарств;
— Расскажем о продуктовом подходе в высшем образовании, новом наборе и грантовом конкурсе 2026;
— Подробно расскажем про магистратуру: курсы, преподаватели, формат обучения.
Получи грант в день мероприятия!
В день открытых дверей будет действовать «One-day-offer» — 30 мая можно будет пройти собеседование и получить решение о гранте.
Расписание дня открытых дверей:
15:30–17:00 — основная программа
17:00–19:00 — собеседования и one-day-offer
Место проведения: кампус Центрального университета
Хочешь узнать все о Школе естественных наук и поступить в магистратуру с грантом в тот же день? Приходи!
Регистрация на день открытых дверей по ссылке
1🎉28👍13🔥5❤4👏3🤩2
Модель 35 часов работала автономно.
Сделала 1158 обращений к инструментам. И ускорила один проект в 10 раз - конкретно attention-ядро (это часть, которая отвечает за «внимание» внутри нейросети).
Модель просто долго и упорно крутила один и тот же цикл: скомпилировать → замерить, где тормозит → переписать. И так по кругу, пока не стало быстрее.
Одна чётко поставленная задача - главный критерий успеха.
Qwen утверждает, что агентные способности модели могут обобщаться из разнообразных тренировочных сред примерно так же, как языковые способности обобщаются из разнообразного текста. То есть модель учится не просто отвечать, а переносить паттерны действий между задачами, инструментами и средами.
📖 Blog: https://qwen.ai/blog?id=qwen3.7
✅ Qwen Studio: https://chat.qwen.ai/?models=qwen3.7-max
⚡️ API：https://modelstudio.console.alibabacloud.com/ap-southeast-1?tab=doc#/doc/?type=model&url=2840914_2&modelId=qwen3.7-max&serviceSite=international
@ai_machinelearning_big_data
#qwen
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍97❤35👏24🔥18🤔8🎉5🤣3❤🔥1🤩1
Если вам интересен соревновательный ML — у Яндекса скоро завершается регистрация на Yandex ML Challenge.
Формат довольно приятный: длинный онлайн-тур без жёсткого тайминга на несколько часов. Можно спокойно подумать над решениями и потестить разные подходы.
Из задач:
— LLM / foundation models
— CV
— RL
— оптимизация нейросетей
Старт — 21 мая. На всё дают 11 дней и 40 сабмитов на каждую задачу.
Топ-100 участников попадут в очный финал на Young Con в Москве.
Победителю — 1 млн рублей, топ-15 получат устройства от Яндекса.
В целом выглядит как хороший повод проверить себя на актуальных ML-задачах и посмотреть, что делают другие участники.
Регистрация ещё открыта.
Формат довольно приятный: длинный онлайн-тур без жёсткого тайминга на несколько часов. Можно спокойно подумать над решениями и потестить разные подходы.
Из задач:
— LLM / foundation models
— CV
— RL
— оптимизация нейросетей
Старт — 21 мая. На всё дают 11 дней и 40 сабмитов на каждую задачу.
Топ-100 участников попадут в очный финал на Young Con в Москве.
Победителю — 1 млн рублей, топ-15 получат устройства от Яндекса.
В целом выглядит как хороший повод проверить себя на актуальных ML-задачах и посмотреть, что делают другие участники.
Регистрация ещё открыта.
1👍31💯12🥱10❤7👏5🤣4
Команда из MIT показала, что непрерывная диффузия для текста может быть не просто теоретической выкладкой на бумаге - модель на 105M параметров по их замерам бьёт более крупные (~170M) дискретные и непрерывные DLMs, тратя на порядок меньше данных на обучение и меньше шагов на генерацию.
В отличие от картинок и видео, где диффузионки рулят, с текстом всегда была беда из-за дискретности токенов. В ресёрче популярны Diffusion Language Models, а непрерывные подходы буксовали.
ELF предлагает пересобрать архитектуру так, чтобы непрерывная диффузия наконец поехала.
Идея методики в том, чтобы модель перестала мучить дискретные токены на каждом шаге денойзинга:
В дискретных моделях CFG был малоизучен и работал заметно хуже, а здесь нормально рулит балансом качества и разнообразия генерации.
Это пруф-оф-концепт. Самая большая протестированная модель ELF-L содержит всего 652M параметров.
Внутри тестового диапазона (105M → 652M) скейлинг работает и улучшает метрики, но как поведёт себя метод на 7B–70B - неизвестно.
Так что, если под рукой есть пара свободных кластеров H100 и интерес попробовать что-то новое - код открыт, метод описан, можно смело заниматься. Доступны и тестовые чекпоинты из пейпера.
@ai_machinelearning_big_data
#AI #ML #Diffusion #ELF #MIT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤓24❤23👍13🔥8👏7🗿1