SigLIP 2: Мультиязычный CLIP от Google—модель, которая понимает 100 языков!
Google выпустила SigLIP 2 — продолжение CLIP и SigLIP, но теперь с поддержкой более 100 языков. Модель понимает не только английский, но и русский, китайский и даже суахили.
SigLIP 2 улучшила классификацию и поиск изображений по тексту, а также задачи локализации и сегментации благодаря добавлению самосупервизии и декодера. Она обрабатывает изображения в оригинальном соотношении сторон и поддерживает переменное разрешение.
И самое приятное: даже маленькие версии модели стали умнее и быстрее благодаря методам дистилляции.
Может быть, это шаг к созданию универсальной модели компьютерного зрения? Поживём — увидим!
Статья
Google выпустила SigLIP 2 — продолжение CLIP и SigLIP, но теперь с поддержкой более 100 языков. Модель понимает не только английский, но и русский, китайский и даже суахили.
SigLIP 2 улучшила классификацию и поиск изображений по тексту, а также задачи локализации и сегментации благодаря добавлению самосупервизии и декодера. Она обрабатывает изображения в оригинальном соотношении сторон и поддерживает переменное разрешение.
И самое приятное: даже маленькие версии модели стали умнее и быстрее благодаря методам дистилляции.
Может быть, это шаг к созданию универсальной модели компьютерного зрения? Поживём — увидим!
Статья
Секретная формула S∗: улучшаем генерацию кода без дообучения!
Можно значительно повысить качество генерации кода LLM, просто изменив инференс. В новой статье предлагают гибридный метод масштабирования вычислений на этапе инференса, названный S∗. Он сочетает параллельное и последовательное масштабирование: сначала генерируется несколько вариантов решения, затем каждый дорабатывается через итеративную отладку с использованием публичных тестов.
Но главное — новый способ выбора лучшего решения. Вместо голосования или оценок LLM авторы предлагают адаптивную генерацию тестовых входных данных для отличия правильного кода от неверного. Это существенно повышает точность выбора корректного решения.
Эксперименты показывают, что S∗ значительно улучшает производительность на популярных бенчмарках генерации кода, превосходя существующие методы масштабирования инференса, такие как majority voting и self-debugging.
P.S. Возможно, это новый шаг к улучшению генерации кода без изменения моделей!
Статья
Можно значительно повысить качество генерации кода LLM, просто изменив инференс. В новой статье предлагают гибридный метод масштабирования вычислений на этапе инференса, названный S∗. Он сочетает параллельное и последовательное масштабирование: сначала генерируется несколько вариантов решения, затем каждый дорабатывается через итеративную отладку с использованием публичных тестов.
Но главное — новый способ выбора лучшего решения. Вместо голосования или оценок LLM авторы предлагают адаптивную генерацию тестовых входных данных для отличия правильного кода от неверного. Это существенно повышает точность выбора корректного решения.
Эксперименты показывают, что S∗ значительно улучшает производительность на популярных бенчмарках генерации кода, превосходя существующие методы масштабирования инференса, такие как majority voting и self-debugging.
P.S. Возможно, это новый шаг к улучшению генерации кода без изменения моделей!
Статья
Как научить языковые модели понимать, что сейчас не 2005 год?
Большие языковые модели (LLM) отлично справляются с фактами, но часто "застревают во времени", путая события разных лет. Исследователи обнаружили, что внутри LLM существуют особые "темпоральные головы" в трансформерах — участки модели, ответственные за обработку временной информации. Проведя анализ и "отключая" эти головы, они заметили, что модель теряет способность правильно отвечать на вопросы, связанные со временем, но сохраняет прочие знания. Это открытие не только помогает понять, как LLM обрабатывают меняющиеся факты, но и открывает пути для улучшения их работы с актуальной информацией. Возможно, скоро сможем обучать модели понимать, кто президент в текущем году, без полной перетренировки!
Статья
Большие языковые модели (LLM) отлично справляются с фактами, но часто "застревают во времени", путая события разных лет. Исследователи обнаружили, что внутри LLM существуют особые "темпоральные головы" в трансформерах — участки модели, ответственные за обработку временной информации. Проведя анализ и "отключая" эти головы, они заметили, что модель теряет способность правильно отвечать на вопросы, связанные со временем, но сохраняет прочие знания. Это открытие не только помогает понять, как LLM обрабатывают меняющиеся факты, но и открывает пути для улучшения их работы с актуальной информацией. Возможно, скоро сможем обучать модели понимать, кто президент в текущем году, без полной перетренировки!
Статья
Как научить маленькие языковые модели думать глубоко без больших затрат?
Большие модели вроде GPT-4 впечатляют своими способностями к рассуждению, но их обучение требует огромных ресурсов. А что если мы хотим, чтобы маленькие модели тоже умели глубоко мыслить без суперкомпьютеров? Новая статья предлагает простой метод — обучить модели самим себя проверять и исправлять (самопроверка и самокоррекция). Вместо копирования мыслей больших моделей, они учат маленькие LLM находить ошибки в своих решениях и исправлять их. И всё это с минимальным количеством данных (всего 3 тысячи примеров) и без больших вычислительных затрат.
Результаты впечатляют: модель Qwen2.5-math-7B повысила точность на MATH500 с 51% до 81.6%, обойдя аналоги, обученные на больших данных. Такой подход позволяет моделям лучше справляться со сложными задачами, уделяя им больше внимания.
Похоже, что будущее LLM не только в увеличении размеров моделей, но и в обучении их умным стратегиям мышления.
Статья
Большие модели вроде GPT-4 впечатляют своими способностями к рассуждению, но их обучение требует огромных ресурсов. А что если мы хотим, чтобы маленькие модели тоже умели глубоко мыслить без суперкомпьютеров? Новая статья предлагает простой метод — обучить модели самим себя проверять и исправлять (самопроверка и самокоррекция). Вместо копирования мыслей больших моделей, они учат маленькие LLM находить ошибки в своих решениях и исправлять их. И всё это с минимальным количеством данных (всего 3 тысячи примеров) и без больших вычислительных затрат.
Результаты впечатляют: модель Qwen2.5-math-7B повысила точность на MATH500 с 51% до 81.6%, обойдя аналоги, обученные на больших данных. Такой подход позволяет моделям лучше справляться со сложными задачами, уделяя им больше внимания.
Похоже, что будущее LLM не только в увеличении размеров моделей, но и в обучении их умным стратегиям мышления.
Статья
Могут ли современные VLM увидеть мир глазами другого?
Исследователи проверили способность визуально-языковых моделей (VLM) принимать визуальную перспективу других — ключевой навык теории разума. На основе тестов визуального принятия перспективы (VPT) они создали 144 задачи и протестировали модели GPT-4, Claude 3 и Llama.
Результаты показали, что модели хорошо понимают сцены и распознают объекты, но испытывают трудности с пространственным мышлением и полностью проваливают задачи VPT. Они не могут определить, что видит другой наблюдатель, и не способны представить сцену с чужой точки зрения.
Это указывает на фундаментальное ограничение VLM: отсутствие механизмов для геометрических преобразований и рассуждений в чужой системе отсчета. Для применения в робототехнике и автономном вождении критично научить модели "понимать" пространство и визуальные перспективы других.
Статья
Исследователи проверили способность визуально-языковых моделей (VLM) принимать визуальную перспективу других — ключевой навык теории разума. На основе тестов визуального принятия перспективы (VPT) они создали 144 задачи и протестировали модели GPT-4, Claude 3 и Llama.
Результаты показали, что модели хорошо понимают сцены и распознают объекты, но испытывают трудности с пространственным мышлением и полностью проваливают задачи VPT. Они не могут определить, что видит другой наблюдатель, и не способны представить сцену с чужой точки зрения.
Это указывает на фундаментальное ограничение VLM: отсутствие механизмов для геометрических преобразований и рассуждений в чужой системе отсчета. Для применения в робототехнике и автономном вождении критично научить модели "понимать" пространство и визуальные перспективы других.
Статья
Мультимодальные LLM объединяют усилия: автомодель на все руки?
Последние годы принесли прорыв в мультимодальных моделях понимания и генерации изображений. Они развивались параллельно: модели понимания используют авторегрессию, а генераторы картинок – диффузию. Чтобы создать модель, способную и понимать, и генерировать, необходимо преодолеть эту архитектурную дилемму.
Статья «Unified Multimodal Understanding and Generation Models» анализирует попытки объединения подходов. Авторы классифицируют модели на диффузионные, авторегрессивные и гибридные. Рассматриваются ключевые проблемы: токенизация изображений, кросс-модальное внимание, подбор датасетов.
Направление только развивается, но объединение понимания и генерации в одной модели – путь к действительно универсальным мультимодальным системам. Возможно, скоро появятся LLM, способные не только понимать запросы, но и сразу создавать изображения.
P.S. Интересно, когда такие модели станут частью нашего повседневного инструментария?
Статья
Последние годы принесли прорыв в мультимодальных моделях понимания и генерации изображений. Они развивались параллельно: модели понимания используют авторегрессию, а генераторы картинок – диффузию. Чтобы создать модель, способную и понимать, и генерировать, необходимо преодолеть эту архитектурную дилемму.
Статья «Unified Multimodal Understanding and Generation Models» анализирует попытки объединения подходов. Авторы классифицируют модели на диффузионные, авторегрессивные и гибридные. Рассматриваются ключевые проблемы: токенизация изображений, кросс-модальное внимание, подбор датасетов.
Направление только развивается, но объединение понимания и генерации в одной модели – путь к действительно универсальным мультимодальным системам. Возможно, скоро появятся LLM, способные не только понимать запросы, но и сразу создавать изображения.
P.S. Интересно, когда такие модели станут частью нашего повседневного инструментария?
Статья
# Как научить LLM искать без реального поисковика?
Большие языковые модели обладают обширными знаниями, но они статичны и не обновляются в реальном времени. Для получения актуальной информации обычно используются методы RAG с обращением к внешним источникам, что требует сложной настройки и значительных затрат на API-вызовы.
Авторы "ZEROSEARCH" предлагают революционный подход: обучать LLM симулировать поиск, генерируя как релевантные, так и нерелевантные документы по запросу. Это устраняет затраты на API и позволяет контролировать качество выдачи.
Они также внедряют механизм "curriculum rollout", постепенно усложняя задачи и ухудшая качество симулируемых документов для обучения работе с шумными данными.
Результаты впечатляют: даже модель с 3 миллиардами параметров эффективно учится поиску без обращения к реальным поисковикам.
Этот подход развивает идеи ReSearch и DeepResearcher, но превосходит их, устраняя зависимость от реальных поисковых систем и снижая затраты на обучение.
Статья
Большие языковые модели обладают обширными знаниями, но они статичны и не обновляются в реальном времени. Для получения актуальной информации обычно используются методы RAG с обращением к внешним источникам, что требует сложной настройки и значительных затрат на API-вызовы.
Авторы "ZEROSEARCH" предлагают революционный подход: обучать LLM симулировать поиск, генерируя как релевантные, так и нерелевантные документы по запросу. Это устраняет затраты на API и позволяет контролировать качество выдачи.
Они также внедряют механизм "curriculum rollout", постепенно усложняя задачи и ухудшая качество симулируемых документов для обучения работе с шумными данными.
Результаты впечатляют: даже модель с 3 миллиардами параметров эффективно учится поиску без обращения к реальным поисковикам.
Этот подход развивает идеи ReSearch и DeepResearcher, но превосходит их, устраняя зависимость от реальных поисковых систем и снижая затраты на обучение.
Статья
Как шагнуть от мультимодальных LLM к истинно универсальному разуму?
Недавняя статья подводит итоги развития мультимодальных моделей. Сначала были модели, отдельно обрабатывающие текст и изображения. Затем появились большие языковые модели с мультимодальными возможностями (MLLM), понимающие изображения и отвечающие на вопросы.
Однако их мышление ограничено текстовым пространством. В статье предложена концепция "естественных" мультимодальных моделей (N-LMRMs), нативно объединяющих понимание, генерацию и рассуждение во всех модальностях: текст, изображения, аудио, видео.
Это шаг к созданию систем, способных не только видеть и говорить, но и понимать мир, учиться из опыта и применять знания в новых ситуациях.
Это вызывает технические сложности: единые представления данных, межмодальная интеграция и обучение на огромных объёмах информации. Но возможно, скоро мы увидим такие модели в действии.
Статья
Недавняя статья подводит итоги развития мультимодальных моделей. Сначала были модели, отдельно обрабатывающие текст и изображения. Затем появились большие языковые модели с мультимодальными возможностями (MLLM), понимающие изображения и отвечающие на вопросы.
Однако их мышление ограничено текстовым пространством. В статье предложена концепция "естественных" мультимодальных моделей (N-LMRMs), нативно объединяющих понимание, генерацию и рассуждение во всех модальностях: текст, изображения, аудио, видео.
Это шаг к созданию систем, способных не только видеть и говорить, но и понимать мир, учиться из опыта и применять знания в новых ситуациях.
Это вызывает технические сложности: единые представления данных, межмодальная интеграция и обучение на огромных объёмах информации. Но возможно, скоро мы увидим такие модели в действии.
Статья
Как оценить способности мультимодальных моделей на пути к AGI?
Авторы предложили **General-Level** — пятиуровневую систему классификации мультимодальных генералистов, основанную на их способности сохранять синергию между пониманием, генерацией и взаимодействием модальностей. Настоящий прогресс в AGI — это модели, где знания из одной области улучшают результаты в другой.
Также они представили **General-Bench** — обширный бенчмарк для оценки таких моделей по широкому спектру задач, модальностей и доменов. Интересно, что даже продвинутые модели, как GPT-4V и GPT-4o, не достигают верхних уровней в их системе оценки. Это показывает, что впереди еще много работы по созданию настоящих мультимодальных генералистов.
Пора задуматься о том, как усилить синергию между модальностями, чтобы приблизиться к истинному AGI.
Статья
Авторы предложили **General-Level** — пятиуровневую систему классификации мультимодальных генералистов, основанную на их способности сохранять синергию между пониманием, генерацией и взаимодействием модальностей. Настоящий прогресс в AGI — это модели, где знания из одной области улучшают результаты в другой.
Также они представили **General-Bench** — обширный бенчмарк для оценки таких моделей по широкому спектру задач, модальностей и доменов. Интересно, что даже продвинутые модели, как GPT-4V и GPT-4o, не достигают верхних уровней в их системе оценки. Это показывает, что впереди еще много работы по созданию настоящих мультимодальных генералистов.
Пора задуматься о том, как усилить синергию между модальностями, чтобы приблизиться к истинному AGI.
Статья
А вы думали, что генерация изображений уже достигла пика?
Существующие модели Flow Matching генерируют качественные изображения, но плохо справляются со сложными сценами с несколькими объектами. Авторы "Flow-GRPO" решили эту проблему, применив онлайн обучение с подкреплением (RL) к Flow Matching моделям.
Раньше RL применяли только к диффузионным моделям. Исследователи столкнулись с вызовами: как обучать детерминированные модели без стохастичности и как ускорить генерацию.
Их решения: преобразование ODE процесса в стохастический SDE и сокращение шагов денойзинга. В результате, Flow-GRPO значительно повысил точность на задачах генерации сложных сцен.
Точность Stable Diffusion 3.5 Medium на GenEval выросла с 63% до 95%, обойдя GPT-4o, без ухудшения качества изображения.
Flow-GRPO открывает новые горизонты для улучшения генеративных моделей с помощью онлайн RL.
Статья
Существующие модели Flow Matching генерируют качественные изображения, но плохо справляются со сложными сценами с несколькими объектами. Авторы "Flow-GRPO" решили эту проблему, применив онлайн обучение с подкреплением (RL) к Flow Matching моделям.
Раньше RL применяли только к диффузионным моделям. Исследователи столкнулись с вызовами: как обучать детерминированные модели без стохастичности и как ускорить генерацию.
Их решения: преобразование ODE процесса в стохастический SDE и сокращение шагов денойзинга. В результате, Flow-GRPO значительно повысил точность на задачах генерации сложных сцен.
Точность Stable Diffusion 3.5 Medium на GenEval выросла с 63% до 95%, обойдя GPT-4o, без ухудшения качества изображения.
Flow-GRPO открывает новые горизонты для улучшения генеративных моделей с помощью онлайн RL.
Статья
BLIP3-o: Единая мультимодальная модель от Salesforce
Представьте модель, которая одинаково хорошо понимает и генерирует изображения.
Исследователи Salesforce создали BLIP3-o — новую SOTA модель, объединяющую понимание и генерацию изображений в единой архитектуре.
Ключевая идея — использование CLIP-эмбеддингов и flow matching вместо VAE и MSE, что улучшило эффективность обучения, качество и разнообразие генерации.
Они обнаружили: последовательное обучение (сначала понимание, затем генерация) эффективнее совместного. Модель хорошо адаптируется к стилю GPT-4 и лучше учится на синтетических изображениях, чем на реальных!
BLIP3-o показала отличные результаты на бенчмарках и стала доступна с открытым кодом и обучающими датасетами. Будущее, вероятно, за такими унифицированными моделями.
Ждём продолжения исследований и, возможно, скоро увидим модели, способные понимать, генерировать и редактировать изображения.
Статья
Представьте модель, которая одинаково хорошо понимает и генерирует изображения.
Исследователи Salesforce создали BLIP3-o — новую SOTA модель, объединяющую понимание и генерацию изображений в единой архитектуре.
Ключевая идея — использование CLIP-эмбеддингов и flow matching вместо VAE и MSE, что улучшило эффективность обучения, качество и разнообразие генерации.
Они обнаружили: последовательное обучение (сначала понимание, затем генерация) эффективнее совместного. Модель хорошо адаптируется к стилю GPT-4 и лучше учится на синтетических изображениях, чем на реальных!
BLIP3-o показала отличные результаты на бенчмарках и стала доступна с открытым кодом и обучающими датасетами. Будущее, вероятно, за такими унифицированными моделями.
Ждём продолжения исследований и, возможно, скоро увидим модели, способные понимать, генерировать и редактировать изображения.
Статья
Как научить CLIP видеть каждый пиксель: DeCLIP разделяет и властвует
Вы замечали, что CLIP отлично справляется с определением того, что изображено на картинке, но при точном распознавании объектов на уровне пикселей он "слепнет"? Проблема в том, как CLIP распределяет внимание.
Авторы DeCLIP придумали способ улучшить CLIP для детектирования и сегментации без дополнительной разметки. Они "расщепили" механизм внимания на "контент" и "контекст". "Контент" отвечает за распознавание местных деталей, а "контекст" — за пространственную согласованность.
Они обучили эти части по отдельности: для "контента" использовали самодистилляцию CLIP, а для "контекста" — модели вроде DINO или SAM. В результате DeCLIP значительно повысил способность CLIP видеть объекты в деталях и понимать их взаимосвязи.
Теперь CLIP не только видит общий смысл, но и разбирается в деталях — вот что значит разделяй и властвуй!
Статья
Вы замечали, что CLIP отлично справляется с определением того, что изображено на картинке, но при точном распознавании объектов на уровне пикселей он "слепнет"? Проблема в том, как CLIP распределяет внимание.
Авторы DeCLIP придумали способ улучшить CLIP для детектирования и сегментации без дополнительной разметки. Они "расщепили" механизм внимания на "контент" и "контекст". "Контент" отвечает за распознавание местных деталей, а "контекст" — за пространственную согласованность.
Они обучили эти части по отдельности: для "контента" использовали самодистилляцию CLIP, а для "контекста" — модели вроде DINO или SAM. В результате DeCLIP значительно повысил способность CLIP видеть объекты в деталях и понимать их взаимосвязи.
Теперь CLIP не только видит общий смысл, но и разбирается в деталях — вот что значит разделяй и властвуй!
Статья
*Как 7B языковая модель догнала GPT-4 в понимании таблиц?*
Табличное мышление всегда было сложной задачей для LLM: требуется понимать текст и работать с структурированными данными. Авторы новой статьи решили эту проблему через масштабирование при инференсе и обучение с подкреплением с проверяемыми наградами (RLVR).
Их модель Table-R1 на базе Qwen2.5-7B показывает впечатляющие результаты в задачах рассуждения над таблицами, достигая качества GPT-4.1 и DeepSeek R1, несмотря на всего 7B параметров.
С помощью RLVR модель осваивает пошаговое рассуждение и специфические для таблиц навыки: семантическое понимание, извлечение информации и арифметику. Это важный прогресс в обучении LLM работе со структурированными данными.
Будущее за моделями, которые умеют не только говорить, но и точно считать!
Статья
Табличное мышление всегда было сложной задачей для LLM: требуется понимать текст и работать с структурированными данными. Авторы новой статьи решили эту проблему через масштабирование при инференсе и обучение с подкреплением с проверяемыми наградами (RLVR).
Их модель Table-R1 на базе Qwen2.5-7B показывает впечатляющие результаты в задачах рассуждения над таблицами, достигая качества GPT-4.1 и DeepSeek R1, несмотря на всего 7B параметров.
С помощью RLVR модель осваивает пошаговое рассуждение и специфические для таблиц навыки: семантическое понимание, извлечение информации и арифметику. Это важный прогресс в обучении LLM работе со структурированными данными.
Будущее за моделями, которые умеют не только говорить, но и точно считать!
Статья
Spatial-MLLM: учим LLM видеть 3D мир без 3D данных
Задумывались, почему LLM отлично понимают текст, но плохо ориентируются в пространстве? Обученные на текстах и изображениях, они не воспринимают 3D сцену из 2D видео.
В статье "Spatial-MLLM" предложен метод улучшения пространственного интеллекта видеомоделей без дополнительных 3D данных. Ключевое решение — двойной энкодер: один извлекает семантику из видео, другой — структурную информацию, инициализированный из модели визуальной геометрии. Они объединяются через коннектор, позволяя LLM рассуждать о пространстве на основе только 2D видео.
Также разработана стратегия выборки информативных кадров при ограниченном входе.
Результаты впечатляют: Spatial-MLLM лидирует в задачах пространственного понимания без 3D данных, приближая LLM к человеческому восприятию мира.
Статья
Задумывались, почему LLM отлично понимают текст, но плохо ориентируются в пространстве? Обученные на текстах и изображениях, они не воспринимают 3D сцену из 2D видео.
В статье "Spatial-MLLM" предложен метод улучшения пространственного интеллекта видеомоделей без дополнительных 3D данных. Ключевое решение — двойной энкодер: один извлекает семантику из видео, другой — структурную информацию, инициализированный из модели визуальной геометрии. Они объединяются через коннектор, позволяя LLM рассуждать о пространстве на основе только 2D видео.
Также разработана стратегия выборки информативных кадров при ограниченном входе.
Результаты впечатляют: Spatial-MLLM лидирует в задачах пространственного понимания без 3D данных, приближая LLM к человеческому восприятию мира.
Статья
**Почему большие мультимодальные модели слабо справляются с пониманием AI-видео?**
Вы замечали, что AI-сгенерированные видео иногда выглядят странно: объекты исчезают, появляются лишние руки, нарушаются законы физики. Что произойдет, если попросить мультимодальные модели (MLLM) проанализировать такие видео?
В новой статье представлен бенчмарк VF-EVAL для оценки способностей MLLM анализировать AI-видео. Исследователи выяснили, что современные MLLM плохо справляются с обнаружением ошибок, логикой и пониманием несоответствий между заданием и видео.
Оказалось, что открытые модели могут работать не хуже проприетарных при правильном обучении. В эксперименте REPROMPT авторы сравнили обратную связь от MLLM и людей при создании промптов. Вывод: настройка MLLM под человеческие предпочтения может значительно улучшить качество AI-видео.
В целом, MLLM пока слабо понимают особенности AI-видео, но имеют потенциал для улучшений через специализированные бенчмарки и обучение.
Статья
Вы замечали, что AI-сгенерированные видео иногда выглядят странно: объекты исчезают, появляются лишние руки, нарушаются законы физики. Что произойдет, если попросить мультимодальные модели (MLLM) проанализировать такие видео?
В новой статье представлен бенчмарк VF-EVAL для оценки способностей MLLM анализировать AI-видео. Исследователи выяснили, что современные MLLM плохо справляются с обнаружением ошибок, логикой и пониманием несоответствий между заданием и видео.
Оказалось, что открытые модели могут работать не хуже проприетарных при правильном обучении. В эксперименте REPROMPT авторы сравнили обратную связь от MLLM и людей при создании промптов. Вывод: настройка MLLM под человеческие предпочтения может значительно улучшить качество AI-видео.
В целом, MLLM пока слабо понимают особенности AI-видео, но имеют потенциал для улучшений через специализированные бенчмарки и обучение.
Статья
**Могут ли LLM рассуждать над таблицами? Inference-Time Scaling в действии!**
Недавно LLM улучшили способности к рассуждению благодаря inference-time scaling, позволяющему "думать" перед ответом. Применение этого подхода к табличному рассуждению оставалось проблемой из-за структурированной природы данных.
В новой статье представлены результаты применения inference-time scaling к табличному рассуждению через два подхода:
- **Table-R1-SFT**: модель, дообученная на примерах рассуждений от передовых LLM.
- **Table-R1-Zero**: модель, обученная с помощью RLVR (reinforcement learning with verifiable rewards).
Эти 7B-параметровые модели достигли впечатляющих результатов, порой сравнимых с GPT-4.1. Особенно интересен подход RLVR, позволяющий моделям самостоятельно находить эффективные стратегии рассуждения.
Это первая работа, успешно применяющая inference-time scaling в области структурированного рассуждения, что важно для анализа данных и систем поддержки принятия решений.
Статья
Недавно LLM улучшили способности к рассуждению благодаря inference-time scaling, позволяющему "думать" перед ответом. Применение этого подхода к табличному рассуждению оставалось проблемой из-за структурированной природы данных.
В новой статье представлены результаты применения inference-time scaling к табличному рассуждению через два подхода:
- **Table-R1-SFT**: модель, дообученная на примерах рассуждений от передовых LLM.
- **Table-R1-Zero**: модель, обученная с помощью RLVR (reinforcement learning with verifiable rewards).
Эти 7B-параметровые модели достигли впечатляющих результатов, порой сравнимых с GPT-4.1. Особенно интересен подход RLVR, позволяющий моделям самостоятельно находить эффективные стратегии рассуждения.
Это первая работа, успешно применяющая inference-time scaling в области структурированного рассуждения, что важно для анализа данных и систем поддержки принятия решений.
Статья
LLM прекрасно учатся даже на ошибках: шумные награды не мешают им рассуждать
Мы привыкли думать, что для обучения языковых моделей нужны точные награды. Но оказалось, что даже если 40% наград в RLHF случайно перевернуть, модели всё равно существенно улучшаются в сложных задачах!
В новой работе исследователи показали, что LLM способны эффективно обучаться при значительном шуме в наградах. Например, Qwen-2.5-7B повысила результат на MATH-500 с 5% до 72%, несмотря на шум.
Это значит, что модели ценят не столько правильный ответ, сколько полезные шаблоны рассуждений. Авторы продемонстрировали, что, поощряя модели за использование определённых фраз, связанных с логическим мышлением, можно добиться аналогичного эффекта без проверки ответов.
Эта идея открывает возможности для обучения LLM в реальных условиях, где идеально точных наград сложно достичь. Главное — стимулировать модели размышлять, и они научатся сами.
Статья
Мы привыкли думать, что для обучения языковых моделей нужны точные награды. Но оказалось, что даже если 40% наград в RLHF случайно перевернуть, модели всё равно существенно улучшаются в сложных задачах!
В новой работе исследователи показали, что LLM способны эффективно обучаться при значительном шуме в наградах. Например, Qwen-2.5-7B повысила результат на MATH-500 с 5% до 72%, несмотря на шум.
Это значит, что модели ценят не столько правильный ответ, сколько полезные шаблоны рассуждений. Авторы продемонстрировали, что, поощряя модели за использование определённых фраз, связанных с логическим мышлением, можно добиться аналогичного эффекта без проверки ответов.
Эта идея открывает возможности для обучения LLM в реальных условиях, где идеально точных наград сложно достичь. Главное — стимулировать модели размышлять, и они научатся сами.
Статья
Spatial-MLLM: Учим языковые модели понимать 3D-сцены из 2D-видео
Заметили, что современные мультимодальные языковые модели (MLLM) плохо понимают 3D-сцены и не могут эффективно рассуждать о пространственных отношениях без явных 3D-данных?
В работе "Spatial-MLLM" предложен метод, улучшающий пространственное понимание MLLM, используя только 2D-видео. Ключевая идея - объединение 2D-визуального энкодера с "пространственным" энкодером из предобученной геометрической модели через лёгкий коннектор, сливающий семантические и структурные признаки.
Авторы также разработали стратегию выбора информативных кадров для эффективного использования ограниченного числа изображений.
Spatial-MLLM достигает впечатляющих результатов в задачах пространственного понимания без 3D-данных.
Ждём влияния этого метода на развитие мультимодальных моделей в робототехнике и AR.
Статья
Заметили, что современные мультимодальные языковые модели (MLLM) плохо понимают 3D-сцены и не могут эффективно рассуждать о пространственных отношениях без явных 3D-данных?
В работе "Spatial-MLLM" предложен метод, улучшающий пространственное понимание MLLM, используя только 2D-видео. Ключевая идея - объединение 2D-визуального энкодера с "пространственным" энкодером из предобученной геометрической модели через лёгкий коннектор, сливающий семантические и структурные признаки.
Авторы также разработали стратегию выбора информативных кадров для эффективного использования ограниченного числа изображений.
Spatial-MLLM достигает впечатляющих результатов в задачах пространственного понимания без 3D-данных.
Ждём влияния этого метода на развитие мультимодальных моделей в робототехнике и AR.
Статья
**ALPHA ONE: Как научить большие модели сначала думать медленно, а потом быстро?**
Большие модели рассуждений решают сложные задачи, замедляя мышление. Но можно ли улучшить их эффективность, управляя этим процессом?
Авторы предлагают метод ALPHA ONE (α1), позволяющий модульно контролировать скорость мышления модели. Введя параметр αmoment, они задают момент переключения с медленного мышления на быстрое по расписанию. Это улучшает качество рассуждений и сокращает число токенов.
В отличие от людей, думающих сначала быстро, модели показывают лучшие результаты, начиная медленно и ускоряясь позже. Этот подход помогает избежать "зависания" и избыточного размышления.
ALPHA ONE не требует дополнительного обучения и применяется при инференсе. В экспериментах метод превзошёл существующие подходы на нескольких бенчмарках.
P.S. Статья впечатляет, хотя жаль, что авторы не сослались на наши исследования в области модификации процесса мышления моделей.
Статья
Большие модели рассуждений решают сложные задачи, замедляя мышление. Но можно ли улучшить их эффективность, управляя этим процессом?
Авторы предлагают метод ALPHA ONE (α1), позволяющий модульно контролировать скорость мышления модели. Введя параметр αmoment, они задают момент переключения с медленного мышления на быстрое по расписанию. Это улучшает качество рассуждений и сокращает число токенов.
В отличие от людей, думающих сначала быстро, модели показывают лучшие результаты, начиная медленно и ускоряясь позже. Этот подход помогает избежать "зависания" и избыточного размышления.
ALPHA ONE не требует дополнительного обучения и применяется при инференсе. В экспериментах метод превзошёл существующие подходы на нескольких бенчмарках.
P.S. Статья впечатляет, хотя жаль, что авторы не сослались на наши исследования в области модификации процесса мышления моделей.
Статья
ProRL: как длительный RL действительно расширяет возможности LLM
Многие задаются вопросом: может ли обучение с подкреплением (RL) расширить способности языковых моделей, или оно лишь улучшает извлечение известных решений? Авторы новой статьи представили ProRL — подход для длительного обучения с подкреплением, позволяющий моделям приобретать новые навыки рассуждения. Обученная модель Nemotron-Research-Reasoning-Qwen-1.5B превзошла базовую версию в задачах математики, кодирования, логических головоломках. Обнаружилось, что RL особенно эффективен в областях, где модель изначально слаба. Это опровергает прежние исследования, утверждавшие, что RL не расширяет границы мышления LLM. Длительное RL формирует новые паттерны рассуждения, подтверждая возможность развития новых способностей через продолжительное обучение.
Статья
Многие задаются вопросом: может ли обучение с подкреплением (RL) расширить способности языковых моделей, или оно лишь улучшает извлечение известных решений? Авторы новой статьи представили ProRL — подход для длительного обучения с подкреплением, позволяющий моделям приобретать новые навыки рассуждения. Обученная модель Nemotron-Research-Reasoning-Qwen-1.5B превзошла базовую версию в задачах математики, кодирования, логических головоломках. Обнаружилось, что RL особенно эффективен в областях, где модель изначально слаба. Это опровергает прежние исследования, утверждавшие, что RL не расширяет границы мышления LLM. Длительное RL формирует новые паттерны рассуждения, подтверждая возможность развития новых способностей через продолжительное обучение.
Статья