Мультимодальные LLM объединяют усилия: автомодель на все руки?
Последние годы принесли прорыв в мультимодальных моделях понимания и генерации изображений. Они развивались параллельно: модели понимания используют авторегрессию, а генераторы картинок – диффузию. Чтобы создать модель, способную и понимать, и генерировать, необходимо преодолеть эту архитектурную дилемму.
Статья «Unified Multimodal Understanding and Generation Models» анализирует попытки объединения подходов. Авторы классифицируют модели на диффузионные, авторегрессивные и гибридные. Рассматриваются ключевые проблемы: токенизация изображений, кросс-модальное внимание, подбор датасетов.
Направление только развивается, но объединение понимания и генерации в одной модели – путь к действительно универсальным мультимодальным системам. Возможно, скоро появятся LLM, способные не только понимать запросы, но и сразу создавать изображения.
P.S. Интересно, когда такие модели станут частью нашего повседневного инструментария?
Статья
Последние годы принесли прорыв в мультимодальных моделях понимания и генерации изображений. Они развивались параллельно: модели понимания используют авторегрессию, а генераторы картинок – диффузию. Чтобы создать модель, способную и понимать, и генерировать, необходимо преодолеть эту архитектурную дилемму.
Статья «Unified Multimodal Understanding and Generation Models» анализирует попытки объединения подходов. Авторы классифицируют модели на диффузионные, авторегрессивные и гибридные. Рассматриваются ключевые проблемы: токенизация изображений, кросс-модальное внимание, подбор датасетов.
Направление только развивается, но объединение понимания и генерации в одной модели – путь к действительно универсальным мультимодальным системам. Возможно, скоро появятся LLM, способные не только понимать запросы, но и сразу создавать изображения.
P.S. Интересно, когда такие модели станут частью нашего повседневного инструментария?
Статья
# Как научить LLM искать без реального поисковика?
Большие языковые модели обладают обширными знаниями, но они статичны и не обновляются в реальном времени. Для получения актуальной информации обычно используются методы RAG с обращением к внешним источникам, что требует сложной настройки и значительных затрат на API-вызовы.
Авторы "ZEROSEARCH" предлагают революционный подход: обучать LLM симулировать поиск, генерируя как релевантные, так и нерелевантные документы по запросу. Это устраняет затраты на API и позволяет контролировать качество выдачи.
Они также внедряют механизм "curriculum rollout", постепенно усложняя задачи и ухудшая качество симулируемых документов для обучения работе с шумными данными.
Результаты впечатляют: даже модель с 3 миллиардами параметров эффективно учится поиску без обращения к реальным поисковикам.
Этот подход развивает идеи ReSearch и DeepResearcher, но превосходит их, устраняя зависимость от реальных поисковых систем и снижая затраты на обучение.
Статья
Большие языковые модели обладают обширными знаниями, но они статичны и не обновляются в реальном времени. Для получения актуальной информации обычно используются методы RAG с обращением к внешним источникам, что требует сложной настройки и значительных затрат на API-вызовы.
Авторы "ZEROSEARCH" предлагают революционный подход: обучать LLM симулировать поиск, генерируя как релевантные, так и нерелевантные документы по запросу. Это устраняет затраты на API и позволяет контролировать качество выдачи.
Они также внедряют механизм "curriculum rollout", постепенно усложняя задачи и ухудшая качество симулируемых документов для обучения работе с шумными данными.
Результаты впечатляют: даже модель с 3 миллиардами параметров эффективно учится поиску без обращения к реальным поисковикам.
Этот подход развивает идеи ReSearch и DeepResearcher, но превосходит их, устраняя зависимость от реальных поисковых систем и снижая затраты на обучение.
Статья
Как шагнуть от мультимодальных LLM к истинно универсальному разуму?
Недавняя статья подводит итоги развития мультимодальных моделей. Сначала были модели, отдельно обрабатывающие текст и изображения. Затем появились большие языковые модели с мультимодальными возможностями (MLLM), понимающие изображения и отвечающие на вопросы.
Однако их мышление ограничено текстовым пространством. В статье предложена концепция "естественных" мультимодальных моделей (N-LMRMs), нативно объединяющих понимание, генерацию и рассуждение во всех модальностях: текст, изображения, аудио, видео.
Это шаг к созданию систем, способных не только видеть и говорить, но и понимать мир, учиться из опыта и применять знания в новых ситуациях.
Это вызывает технические сложности: единые представления данных, межмодальная интеграция и обучение на огромных объёмах информации. Но возможно, скоро мы увидим такие модели в действии.
Статья
Недавняя статья подводит итоги развития мультимодальных моделей. Сначала были модели, отдельно обрабатывающие текст и изображения. Затем появились большие языковые модели с мультимодальными возможностями (MLLM), понимающие изображения и отвечающие на вопросы.
Однако их мышление ограничено текстовым пространством. В статье предложена концепция "естественных" мультимодальных моделей (N-LMRMs), нативно объединяющих понимание, генерацию и рассуждение во всех модальностях: текст, изображения, аудио, видео.
Это шаг к созданию систем, способных не только видеть и говорить, но и понимать мир, учиться из опыта и применять знания в новых ситуациях.
Это вызывает технические сложности: единые представления данных, межмодальная интеграция и обучение на огромных объёмах информации. Но возможно, скоро мы увидим такие модели в действии.
Статья
Как оценить способности мультимодальных моделей на пути к AGI?
Авторы предложили **General-Level** — пятиуровневую систему классификации мультимодальных генералистов, основанную на их способности сохранять синергию между пониманием, генерацией и взаимодействием модальностей. Настоящий прогресс в AGI — это модели, где знания из одной области улучшают результаты в другой.
Также они представили **General-Bench** — обширный бенчмарк для оценки таких моделей по широкому спектру задач, модальностей и доменов. Интересно, что даже продвинутые модели, как GPT-4V и GPT-4o, не достигают верхних уровней в их системе оценки. Это показывает, что впереди еще много работы по созданию настоящих мультимодальных генералистов.
Пора задуматься о том, как усилить синергию между модальностями, чтобы приблизиться к истинному AGI.
Статья
Авторы предложили **General-Level** — пятиуровневую систему классификации мультимодальных генералистов, основанную на их способности сохранять синергию между пониманием, генерацией и взаимодействием модальностей. Настоящий прогресс в AGI — это модели, где знания из одной области улучшают результаты в другой.
Также они представили **General-Bench** — обширный бенчмарк для оценки таких моделей по широкому спектру задач, модальностей и доменов. Интересно, что даже продвинутые модели, как GPT-4V и GPT-4o, не достигают верхних уровней в их системе оценки. Это показывает, что впереди еще много работы по созданию настоящих мультимодальных генералистов.
Пора задуматься о том, как усилить синергию между модальностями, чтобы приблизиться к истинному AGI.
Статья
А вы думали, что генерация изображений уже достигла пика?
Существующие модели Flow Matching генерируют качественные изображения, но плохо справляются со сложными сценами с несколькими объектами. Авторы "Flow-GRPO" решили эту проблему, применив онлайн обучение с подкреплением (RL) к Flow Matching моделям.
Раньше RL применяли только к диффузионным моделям. Исследователи столкнулись с вызовами: как обучать детерминированные модели без стохастичности и как ускорить генерацию.
Их решения: преобразование ODE процесса в стохастический SDE и сокращение шагов денойзинга. В результате, Flow-GRPO значительно повысил точность на задачах генерации сложных сцен.
Точность Stable Diffusion 3.5 Medium на GenEval выросла с 63% до 95%, обойдя GPT-4o, без ухудшения качества изображения.
Flow-GRPO открывает новые горизонты для улучшения генеративных моделей с помощью онлайн RL.
Статья
Существующие модели Flow Matching генерируют качественные изображения, но плохо справляются со сложными сценами с несколькими объектами. Авторы "Flow-GRPO" решили эту проблему, применив онлайн обучение с подкреплением (RL) к Flow Matching моделям.
Раньше RL применяли только к диффузионным моделям. Исследователи столкнулись с вызовами: как обучать детерминированные модели без стохастичности и как ускорить генерацию.
Их решения: преобразование ODE процесса в стохастический SDE и сокращение шагов денойзинга. В результате, Flow-GRPO значительно повысил точность на задачах генерации сложных сцен.
Точность Stable Diffusion 3.5 Medium на GenEval выросла с 63% до 95%, обойдя GPT-4o, без ухудшения качества изображения.
Flow-GRPO открывает новые горизонты для улучшения генеративных моделей с помощью онлайн RL.
Статья
BLIP3-o: Единая мультимодальная модель от Salesforce
Представьте модель, которая одинаково хорошо понимает и генерирует изображения.
Исследователи Salesforce создали BLIP3-o — новую SOTA модель, объединяющую понимание и генерацию изображений в единой архитектуре.
Ключевая идея — использование CLIP-эмбеддингов и flow matching вместо VAE и MSE, что улучшило эффективность обучения, качество и разнообразие генерации.
Они обнаружили: последовательное обучение (сначала понимание, затем генерация) эффективнее совместного. Модель хорошо адаптируется к стилю GPT-4 и лучше учится на синтетических изображениях, чем на реальных!
BLIP3-o показала отличные результаты на бенчмарках и стала доступна с открытым кодом и обучающими датасетами. Будущее, вероятно, за такими унифицированными моделями.
Ждём продолжения исследований и, возможно, скоро увидим модели, способные понимать, генерировать и редактировать изображения.
Статья
Представьте модель, которая одинаково хорошо понимает и генерирует изображения.
Исследователи Salesforce создали BLIP3-o — новую SOTA модель, объединяющую понимание и генерацию изображений в единой архитектуре.
Ключевая идея — использование CLIP-эмбеддингов и flow matching вместо VAE и MSE, что улучшило эффективность обучения, качество и разнообразие генерации.
Они обнаружили: последовательное обучение (сначала понимание, затем генерация) эффективнее совместного. Модель хорошо адаптируется к стилю GPT-4 и лучше учится на синтетических изображениях, чем на реальных!
BLIP3-o показала отличные результаты на бенчмарках и стала доступна с открытым кодом и обучающими датасетами. Будущее, вероятно, за такими унифицированными моделями.
Ждём продолжения исследований и, возможно, скоро увидим модели, способные понимать, генерировать и редактировать изображения.
Статья
Как научить CLIP видеть каждый пиксель: DeCLIP разделяет и властвует
Вы замечали, что CLIP отлично справляется с определением того, что изображено на картинке, но при точном распознавании объектов на уровне пикселей он "слепнет"? Проблема в том, как CLIP распределяет внимание.
Авторы DeCLIP придумали способ улучшить CLIP для детектирования и сегментации без дополнительной разметки. Они "расщепили" механизм внимания на "контент" и "контекст". "Контент" отвечает за распознавание местных деталей, а "контекст" — за пространственную согласованность.
Они обучили эти части по отдельности: для "контента" использовали самодистилляцию CLIP, а для "контекста" — модели вроде DINO или SAM. В результате DeCLIP значительно повысил способность CLIP видеть объекты в деталях и понимать их взаимосвязи.
Теперь CLIP не только видит общий смысл, но и разбирается в деталях — вот что значит разделяй и властвуй!
Статья
Вы замечали, что CLIP отлично справляется с определением того, что изображено на картинке, но при точном распознавании объектов на уровне пикселей он "слепнет"? Проблема в том, как CLIP распределяет внимание.
Авторы DeCLIP придумали способ улучшить CLIP для детектирования и сегментации без дополнительной разметки. Они "расщепили" механизм внимания на "контент" и "контекст". "Контент" отвечает за распознавание местных деталей, а "контекст" — за пространственную согласованность.
Они обучили эти части по отдельности: для "контента" использовали самодистилляцию CLIP, а для "контекста" — модели вроде DINO или SAM. В результате DeCLIP значительно повысил способность CLIP видеть объекты в деталях и понимать их взаимосвязи.
Теперь CLIP не только видит общий смысл, но и разбирается в деталях — вот что значит разделяй и властвуй!
Статья
*Как 7B языковая модель догнала GPT-4 в понимании таблиц?*
Табличное мышление всегда было сложной задачей для LLM: требуется понимать текст и работать с структурированными данными. Авторы новой статьи решили эту проблему через масштабирование при инференсе и обучение с подкреплением с проверяемыми наградами (RLVR).
Их модель Table-R1 на базе Qwen2.5-7B показывает впечатляющие результаты в задачах рассуждения над таблицами, достигая качества GPT-4.1 и DeepSeek R1, несмотря на всего 7B параметров.
С помощью RLVR модель осваивает пошаговое рассуждение и специфические для таблиц навыки: семантическое понимание, извлечение информации и арифметику. Это важный прогресс в обучении LLM работе со структурированными данными.
Будущее за моделями, которые умеют не только говорить, но и точно считать!
Статья
Табличное мышление всегда было сложной задачей для LLM: требуется понимать текст и работать с структурированными данными. Авторы новой статьи решили эту проблему через масштабирование при инференсе и обучение с подкреплением с проверяемыми наградами (RLVR).
Их модель Table-R1 на базе Qwen2.5-7B показывает впечатляющие результаты в задачах рассуждения над таблицами, достигая качества GPT-4.1 и DeepSeek R1, несмотря на всего 7B параметров.
С помощью RLVR модель осваивает пошаговое рассуждение и специфические для таблиц навыки: семантическое понимание, извлечение информации и арифметику. Это важный прогресс в обучении LLM работе со структурированными данными.
Будущее за моделями, которые умеют не только говорить, но и точно считать!
Статья
Spatial-MLLM: учим LLM видеть 3D мир без 3D данных
Задумывались, почему LLM отлично понимают текст, но плохо ориентируются в пространстве? Обученные на текстах и изображениях, они не воспринимают 3D сцену из 2D видео.
В статье "Spatial-MLLM" предложен метод улучшения пространственного интеллекта видеомоделей без дополнительных 3D данных. Ключевое решение — двойной энкодер: один извлекает семантику из видео, другой — структурную информацию, инициализированный из модели визуальной геометрии. Они объединяются через коннектор, позволяя LLM рассуждать о пространстве на основе только 2D видео.
Также разработана стратегия выборки информативных кадров при ограниченном входе.
Результаты впечатляют: Spatial-MLLM лидирует в задачах пространственного понимания без 3D данных, приближая LLM к человеческому восприятию мира.
Статья
Задумывались, почему LLM отлично понимают текст, но плохо ориентируются в пространстве? Обученные на текстах и изображениях, они не воспринимают 3D сцену из 2D видео.
В статье "Spatial-MLLM" предложен метод улучшения пространственного интеллекта видеомоделей без дополнительных 3D данных. Ключевое решение — двойной энкодер: один извлекает семантику из видео, другой — структурную информацию, инициализированный из модели визуальной геометрии. Они объединяются через коннектор, позволяя LLM рассуждать о пространстве на основе только 2D видео.
Также разработана стратегия выборки информативных кадров при ограниченном входе.
Результаты впечатляют: Spatial-MLLM лидирует в задачах пространственного понимания без 3D данных, приближая LLM к человеческому восприятию мира.
Статья
**Почему большие мультимодальные модели слабо справляются с пониманием AI-видео?**
Вы замечали, что AI-сгенерированные видео иногда выглядят странно: объекты исчезают, появляются лишние руки, нарушаются законы физики. Что произойдет, если попросить мультимодальные модели (MLLM) проанализировать такие видео?
В новой статье представлен бенчмарк VF-EVAL для оценки способностей MLLM анализировать AI-видео. Исследователи выяснили, что современные MLLM плохо справляются с обнаружением ошибок, логикой и пониманием несоответствий между заданием и видео.
Оказалось, что открытые модели могут работать не хуже проприетарных при правильном обучении. В эксперименте REPROMPT авторы сравнили обратную связь от MLLM и людей при создании промптов. Вывод: настройка MLLM под человеческие предпочтения может значительно улучшить качество AI-видео.
В целом, MLLM пока слабо понимают особенности AI-видео, но имеют потенциал для улучшений через специализированные бенчмарки и обучение.
Статья
Вы замечали, что AI-сгенерированные видео иногда выглядят странно: объекты исчезают, появляются лишние руки, нарушаются законы физики. Что произойдет, если попросить мультимодальные модели (MLLM) проанализировать такие видео?
В новой статье представлен бенчмарк VF-EVAL для оценки способностей MLLM анализировать AI-видео. Исследователи выяснили, что современные MLLM плохо справляются с обнаружением ошибок, логикой и пониманием несоответствий между заданием и видео.
Оказалось, что открытые модели могут работать не хуже проприетарных при правильном обучении. В эксперименте REPROMPT авторы сравнили обратную связь от MLLM и людей при создании промптов. Вывод: настройка MLLM под человеческие предпочтения может значительно улучшить качество AI-видео.
В целом, MLLM пока слабо понимают особенности AI-видео, но имеют потенциал для улучшений через специализированные бенчмарки и обучение.
Статья
**Могут ли LLM рассуждать над таблицами? Inference-Time Scaling в действии!**
Недавно LLM улучшили способности к рассуждению благодаря inference-time scaling, позволяющему "думать" перед ответом. Применение этого подхода к табличному рассуждению оставалось проблемой из-за структурированной природы данных.
В новой статье представлены результаты применения inference-time scaling к табличному рассуждению через два подхода:
- **Table-R1-SFT**: модель, дообученная на примерах рассуждений от передовых LLM.
- **Table-R1-Zero**: модель, обученная с помощью RLVR (reinforcement learning with verifiable rewards).
Эти 7B-параметровые модели достигли впечатляющих результатов, порой сравнимых с GPT-4.1. Особенно интересен подход RLVR, позволяющий моделям самостоятельно находить эффективные стратегии рассуждения.
Это первая работа, успешно применяющая inference-time scaling в области структурированного рассуждения, что важно для анализа данных и систем поддержки принятия решений.
Статья
Недавно LLM улучшили способности к рассуждению благодаря inference-time scaling, позволяющему "думать" перед ответом. Применение этого подхода к табличному рассуждению оставалось проблемой из-за структурированной природы данных.
В новой статье представлены результаты применения inference-time scaling к табличному рассуждению через два подхода:
- **Table-R1-SFT**: модель, дообученная на примерах рассуждений от передовых LLM.
- **Table-R1-Zero**: модель, обученная с помощью RLVR (reinforcement learning with verifiable rewards).
Эти 7B-параметровые модели достигли впечатляющих результатов, порой сравнимых с GPT-4.1. Особенно интересен подход RLVR, позволяющий моделям самостоятельно находить эффективные стратегии рассуждения.
Это первая работа, успешно применяющая inference-time scaling в области структурированного рассуждения, что важно для анализа данных и систем поддержки принятия решений.
Статья
LLM прекрасно учатся даже на ошибках: шумные награды не мешают им рассуждать
Мы привыкли думать, что для обучения языковых моделей нужны точные награды. Но оказалось, что даже если 40% наград в RLHF случайно перевернуть, модели всё равно существенно улучшаются в сложных задачах!
В новой работе исследователи показали, что LLM способны эффективно обучаться при значительном шуме в наградах. Например, Qwen-2.5-7B повысила результат на MATH-500 с 5% до 72%, несмотря на шум.
Это значит, что модели ценят не столько правильный ответ, сколько полезные шаблоны рассуждений. Авторы продемонстрировали, что, поощряя модели за использование определённых фраз, связанных с логическим мышлением, можно добиться аналогичного эффекта без проверки ответов.
Эта идея открывает возможности для обучения LLM в реальных условиях, где идеально точных наград сложно достичь. Главное — стимулировать модели размышлять, и они научатся сами.
Статья
Мы привыкли думать, что для обучения языковых моделей нужны точные награды. Но оказалось, что даже если 40% наград в RLHF случайно перевернуть, модели всё равно существенно улучшаются в сложных задачах!
В новой работе исследователи показали, что LLM способны эффективно обучаться при значительном шуме в наградах. Например, Qwen-2.5-7B повысила результат на MATH-500 с 5% до 72%, несмотря на шум.
Это значит, что модели ценят не столько правильный ответ, сколько полезные шаблоны рассуждений. Авторы продемонстрировали, что, поощряя модели за использование определённых фраз, связанных с логическим мышлением, можно добиться аналогичного эффекта без проверки ответов.
Эта идея открывает возможности для обучения LLM в реальных условиях, где идеально точных наград сложно достичь. Главное — стимулировать модели размышлять, и они научатся сами.
Статья
Spatial-MLLM: Учим языковые модели понимать 3D-сцены из 2D-видео
Заметили, что современные мультимодальные языковые модели (MLLM) плохо понимают 3D-сцены и не могут эффективно рассуждать о пространственных отношениях без явных 3D-данных?
В работе "Spatial-MLLM" предложен метод, улучшающий пространственное понимание MLLM, используя только 2D-видео. Ключевая идея - объединение 2D-визуального энкодера с "пространственным" энкодером из предобученной геометрической модели через лёгкий коннектор, сливающий семантические и структурные признаки.
Авторы также разработали стратегию выбора информативных кадров для эффективного использования ограниченного числа изображений.
Spatial-MLLM достигает впечатляющих результатов в задачах пространственного понимания без 3D-данных.
Ждём влияния этого метода на развитие мультимодальных моделей в робототехнике и AR.
Статья
Заметили, что современные мультимодальные языковые модели (MLLM) плохо понимают 3D-сцены и не могут эффективно рассуждать о пространственных отношениях без явных 3D-данных?
В работе "Spatial-MLLM" предложен метод, улучшающий пространственное понимание MLLM, используя только 2D-видео. Ключевая идея - объединение 2D-визуального энкодера с "пространственным" энкодером из предобученной геометрической модели через лёгкий коннектор, сливающий семантические и структурные признаки.
Авторы также разработали стратегию выбора информативных кадров для эффективного использования ограниченного числа изображений.
Spatial-MLLM достигает впечатляющих результатов в задачах пространственного понимания без 3D-данных.
Ждём влияния этого метода на развитие мультимодальных моделей в робототехнике и AR.
Статья
**ALPHA ONE: Как научить большие модели сначала думать медленно, а потом быстро?**
Большие модели рассуждений решают сложные задачи, замедляя мышление. Но можно ли улучшить их эффективность, управляя этим процессом?
Авторы предлагают метод ALPHA ONE (α1), позволяющий модульно контролировать скорость мышления модели. Введя параметр αmoment, они задают момент переключения с медленного мышления на быстрое по расписанию. Это улучшает качество рассуждений и сокращает число токенов.
В отличие от людей, думающих сначала быстро, модели показывают лучшие результаты, начиная медленно и ускоряясь позже. Этот подход помогает избежать "зависания" и избыточного размышления.
ALPHA ONE не требует дополнительного обучения и применяется при инференсе. В экспериментах метод превзошёл существующие подходы на нескольких бенчмарках.
P.S. Статья впечатляет, хотя жаль, что авторы не сослались на наши исследования в области модификации процесса мышления моделей.
Статья
Большие модели рассуждений решают сложные задачи, замедляя мышление. Но можно ли улучшить их эффективность, управляя этим процессом?
Авторы предлагают метод ALPHA ONE (α1), позволяющий модульно контролировать скорость мышления модели. Введя параметр αmoment, они задают момент переключения с медленного мышления на быстрое по расписанию. Это улучшает качество рассуждений и сокращает число токенов.
В отличие от людей, думающих сначала быстро, модели показывают лучшие результаты, начиная медленно и ускоряясь позже. Этот подход помогает избежать "зависания" и избыточного размышления.
ALPHA ONE не требует дополнительного обучения и применяется при инференсе. В экспериментах метод превзошёл существующие подходы на нескольких бенчмарках.
P.S. Статья впечатляет, хотя жаль, что авторы не сослались на наши исследования в области модификации процесса мышления моделей.
Статья
ProRL: как длительный RL действительно расширяет возможности LLM
Многие задаются вопросом: может ли обучение с подкреплением (RL) расширить способности языковых моделей, или оно лишь улучшает извлечение известных решений? Авторы новой статьи представили ProRL — подход для длительного обучения с подкреплением, позволяющий моделям приобретать новые навыки рассуждения. Обученная модель Nemotron-Research-Reasoning-Qwen-1.5B превзошла базовую версию в задачах математики, кодирования, логических головоломках. Обнаружилось, что RL особенно эффективен в областях, где модель изначально слаба. Это опровергает прежние исследования, утверждавшие, что RL не расширяет границы мышления LLM. Длительное RL формирует новые паттерны рассуждения, подтверждая возможность развития новых способностей через продолжительное обучение.
Статья
Многие задаются вопросом: может ли обучение с подкреплением (RL) расширить способности языковых моделей, или оно лишь улучшает извлечение известных решений? Авторы новой статьи представили ProRL — подход для длительного обучения с подкреплением, позволяющий моделям приобретать новые навыки рассуждения. Обученная модель Nemotron-Research-Reasoning-Qwen-1.5B превзошла базовую версию в задачах математики, кодирования, логических головоломках. Обнаружилось, что RL особенно эффективен в областях, где модель изначально слаба. Это опровергает прежние исследования, утверждавшие, что RL не расширяет границы мышления LLM. Длительное RL формирует новые паттерны рассуждения, подтверждая возможность развития новых способностей через продолжительное обучение.
Статья
HARDTESTS: когда LLM учатся программировать лучше человека
Думаете, большие языковые модели (LLM) ещё далеко не дотягивают до лучших программистов? Авторы новой работы представили метод HARDTESTGEN для генерации высококачественных тестовых случаев по задачам программирования и создали датасет HARDTESTS с 47 тысячами задач! Они выяснили, что качество тестов значительно влияет на обучение LLM: модели начинают решать сложные задачи, где раньше спотыкались. Оказывается, что не только объём данных важен, но и их глубина. Теперь LLM могут конкурировать с участниками олимпиад по программированию, и это впечатляет.
Похоже, скоро нам придётся просить у них помощи с задачами на Codeforces. Или, может, уже пора задуматься о смене профессии?
Статья
Думаете, большие языковые модели (LLM) ещё далеко не дотягивают до лучших программистов? Авторы новой работы представили метод HARDTESTGEN для генерации высококачественных тестовых случаев по задачам программирования и создали датасет HARDTESTS с 47 тысячами задач! Они выяснили, что качество тестов значительно влияет на обучение LLM: модели начинают решать сложные задачи, где раньше спотыкались. Оказывается, что не только объём данных важен, но и их глубина. Теперь LLM могут конкурировать с участниками олимпиад по программированию, и это впечатляет.
Похоже, скоро нам придётся просить у них помощи с задачами на Codeforces. Или, может, уже пора задуматься о смене профессии?
Статья
Меньше значит больше: как 20% токенов в LLM делают всю работу?
При обучении LLM с помощью RLVR можно существенно ускорить процесс, фокусируясь лишь на 20% "важных" токенов. Авторы исследования заметили, что в цепочках рассуждений большинство токенов имеют низкую энтропию и продолжают текущую мысль, а малое число токенов с высокой энтропией отвечают за принятие решений — "развилки".
Предложенный метод обновляет градиенты только для высокоэнтропийных "вилочных" токенов, игнорируя остальные. Результат: ускоренное обучение при повышенном качестве рассуждений, особенно на больших моделях.
Подход экономит вычислительные ресурсы и подчеркивает важность понимания механизмов генерации ответов. Это может найти применение и в других областях, требующих ускорения обучения без потери качества.
Статья
При обучении LLM с помощью RLVR можно существенно ускорить процесс, фокусируясь лишь на 20% "важных" токенов. Авторы исследования заметили, что в цепочках рассуждений большинство токенов имеют низкую энтропию и продолжают текущую мысль, а малое число токенов с высокой энтропией отвечают за принятие решений — "развилки".
Предложенный метод обновляет градиенты только для высокоэнтропийных "вилочных" токенов, игнорируя остальные. Результат: ускоренное обучение при повышенном качестве рассуждений, особенно на больших моделях.
Подход экономит вычислительные ресурсы и подчеркивает важность понимания механизмов генерации ответов. Это может найти применение и в других областях, требующих ускорения обучения без потери качества.
Статья
**Как ускорить обучение LLM и сэкономить память? Встречайте SGG!**
Популярные оптимизаторы вроде Adam настраивают скорость обучения для каждого параметра отдельно, но требуют огромной памяти для хранения статистик. Методы PEFT типа LoRA уменьшают число обучаемых параметров, но могут снижать качество модели.
Авторы новой работы предложили подход SGG (Scaling with Gradient Grouping). Вместо хранения статистик для каждого параметра они динамически группируют параметры по схожести градиентов и настраивают скорости обучения для групп. Это балансирует адаптивность и эффективность.
Эксперименты показали, что SGG ускоряет сходимость, улучшает качество моделей и снижает потребление памяти. При этом не требуется менять архитектуру модели или процесс обучения.
Может, будущее обучения LLM за такими оптимизаторами?
Статья
Популярные оптимизаторы вроде Adam настраивают скорость обучения для каждого параметра отдельно, но требуют огромной памяти для хранения статистик. Методы PEFT типа LoRA уменьшают число обучаемых параметров, но могут снижать качество модели.
Авторы новой работы предложили подход SGG (Scaling with Gradient Grouping). Вместо хранения статистик для каждого параметра они динамически группируют параметры по схожести градиентов и настраивают скорости обучения для групп. Это балансирует адаптивность и эффективность.
Эксперименты показали, что SGG ускоряет сходимость, улучшает качество моделей и снижает потребление памяти. При этом не требуется менять архитектуру модели или процесс обучения.
Может, будущее обучения LLM за такими оптимизаторами?
Статья
UniWorld: единая модель для восприятия и манипуляции изображениями
Все стремятся создать модели, умеющие и понимать, и генерировать изображения. Но объединить задачи восприятия и манипуляции в одной модели оказалось непросто. Модели на основе VAE часто сталкиваются с проблемами при совмещении этих задач.
Авторы UniWorld заметили, что GPT-4 Image, вероятно, использует семантические энкодеры вместо VAE для извлечения признаков, и подтвердили эту гипотезу экспериментами. На этом основании они создали UniWorld — модель, сочетающую предобученные мультимодальные большие модели для авторегрессивного понимания и высокоразрешающие контрастивные семантические энкодеры для извлечения визуальных признаков.
Результат впечатляет: UniWorld, обученная всего на 2,7 млн примеров, превосходит модели, тренированные на сотнях миллионов данных, и успешно решает задачи как восприятия, так и манипуляции. Это первая открытая модель с такими всеобъемлющими возможностями.
Статья
Все стремятся создать модели, умеющие и понимать, и генерировать изображения. Но объединить задачи восприятия и манипуляции в одной модели оказалось непросто. Модели на основе VAE часто сталкиваются с проблемами при совмещении этих задач.
Авторы UniWorld заметили, что GPT-4 Image, вероятно, использует семантические энкодеры вместо VAE для извлечения признаков, и подтвердили эту гипотезу экспериментами. На этом основании они создали UniWorld — модель, сочетающую предобученные мультимодальные большие модели для авторегрессивного понимания и высокоразрешающие контрастивные семантические энкодеры для извлечения визуальных признаков.
Результат впечатляет: UniWorld, обученная всего на 2,7 млн примеров, превосходит модели, тренированные на сотнях миллионов данных, и успешно решает задачи как восприятия, так и манипуляции. Это первая открытая модель с такими всеобъемлющими возможностями.
Статья
VS-BENCH: проверка VLM на стратегическое мышление в многоагентной среде
Оказывается, Vision Language Models (VLMs) умеют не только описывать картинки, но и принимать стратегические решения в играх с другими агентами. Авторы новой статьи представили VS-BENCH — бенчмарк для оценки стратегического мышления VLM в многоагентных средах.
VS-BENCH включает восемь игр: кооперативные (Hanabi, Overcooked), конкурентные (Breakthrough, Kuhn Poker, Atari Pong) и смешанные (Coin Dilemma, Monster Hunt, Battle of the Colors). Тестирование 14 передовых VLM показало: хотя модели демонстрируют начальные способности к стратегическому мышлению, до людей им далеко.
Примечательно, что некоторые open-source модели в определенных играх не уступают коммерческим. Это указывает на потенциал открытых решений в области многоагентного обучения. Ждем новых исследований в этой захватывающей области!
Статья
Оказывается, Vision Language Models (VLMs) умеют не только описывать картинки, но и принимать стратегические решения в играх с другими агентами. Авторы новой статьи представили VS-BENCH — бенчмарк для оценки стратегического мышления VLM в многоагентных средах.
VS-BENCH включает восемь игр: кооперативные (Hanabi, Overcooked), конкурентные (Breakthrough, Kuhn Poker, Atari Pong) и смешанные (Coin Dilemma, Monster Hunt, Battle of the Colors). Тестирование 14 передовых VLM показало: хотя модели демонстрируют начальные способности к стратегическому мышлению, до людей им далеко.
Примечательно, что некоторые open-source модели в определенных играх не уступают коммерческим. Это указывает на потенциал открытых решений в области многоагентного обучения. Ждем новых исследований в этой захватывающей области!
Статья