*Как 7B языковая модель догнала GPT-4 в понимании таблиц?*
Табличное мышление всегда было сложной задачей для LLM: требуется понимать текст и работать с структурированными данными. Авторы новой статьи решили эту проблему через масштабирование при инференсе и обучение с подкреплением с проверяемыми наградами (RLVR).
Их модель Table-R1 на базе Qwen2.5-7B показывает впечатляющие результаты в задачах рассуждения над таблицами, достигая качества GPT-4.1 и DeepSeek R1, несмотря на всего 7B параметров.
С помощью RLVR модель осваивает пошаговое рассуждение и специфические для таблиц навыки: семантическое понимание, извлечение информации и арифметику. Это важный прогресс в обучении LLM работе со структурированными данными.
Будущее за моделями, которые умеют не только говорить, но и точно считать!
Статья
Табличное мышление всегда было сложной задачей для LLM: требуется понимать текст и работать с структурированными данными. Авторы новой статьи решили эту проблему через масштабирование при инференсе и обучение с подкреплением с проверяемыми наградами (RLVR).
Их модель Table-R1 на базе Qwen2.5-7B показывает впечатляющие результаты в задачах рассуждения над таблицами, достигая качества GPT-4.1 и DeepSeek R1, несмотря на всего 7B параметров.
С помощью RLVR модель осваивает пошаговое рассуждение и специфические для таблиц навыки: семантическое понимание, извлечение информации и арифметику. Это важный прогресс в обучении LLM работе со структурированными данными.
Будущее за моделями, которые умеют не только говорить, но и точно считать!
Статья
Spatial-MLLM: учим LLM видеть 3D мир без 3D данных
Задумывались, почему LLM отлично понимают текст, но плохо ориентируются в пространстве? Обученные на текстах и изображениях, они не воспринимают 3D сцену из 2D видео.
В статье "Spatial-MLLM" предложен метод улучшения пространственного интеллекта видеомоделей без дополнительных 3D данных. Ключевое решение — двойной энкодер: один извлекает семантику из видео, другой — структурную информацию, инициализированный из модели визуальной геометрии. Они объединяются через коннектор, позволяя LLM рассуждать о пространстве на основе только 2D видео.
Также разработана стратегия выборки информативных кадров при ограниченном входе.
Результаты впечатляют: Spatial-MLLM лидирует в задачах пространственного понимания без 3D данных, приближая LLM к человеческому восприятию мира.
Статья
Задумывались, почему LLM отлично понимают текст, но плохо ориентируются в пространстве? Обученные на текстах и изображениях, они не воспринимают 3D сцену из 2D видео.
В статье "Spatial-MLLM" предложен метод улучшения пространственного интеллекта видеомоделей без дополнительных 3D данных. Ключевое решение — двойной энкодер: один извлекает семантику из видео, другой — структурную информацию, инициализированный из модели визуальной геометрии. Они объединяются через коннектор, позволяя LLM рассуждать о пространстве на основе только 2D видео.
Также разработана стратегия выборки информативных кадров при ограниченном входе.
Результаты впечатляют: Spatial-MLLM лидирует в задачах пространственного понимания без 3D данных, приближая LLM к человеческому восприятию мира.
Статья
**Почему большие мультимодальные модели слабо справляются с пониманием AI-видео?**
Вы замечали, что AI-сгенерированные видео иногда выглядят странно: объекты исчезают, появляются лишние руки, нарушаются законы физики. Что произойдет, если попросить мультимодальные модели (MLLM) проанализировать такие видео?
В новой статье представлен бенчмарк VF-EVAL для оценки способностей MLLM анализировать AI-видео. Исследователи выяснили, что современные MLLM плохо справляются с обнаружением ошибок, логикой и пониманием несоответствий между заданием и видео.
Оказалось, что открытые модели могут работать не хуже проприетарных при правильном обучении. В эксперименте REPROMPT авторы сравнили обратную связь от MLLM и людей при создании промптов. Вывод: настройка MLLM под человеческие предпочтения может значительно улучшить качество AI-видео.
В целом, MLLM пока слабо понимают особенности AI-видео, но имеют потенциал для улучшений через специализированные бенчмарки и обучение.
Статья
Вы замечали, что AI-сгенерированные видео иногда выглядят странно: объекты исчезают, появляются лишние руки, нарушаются законы физики. Что произойдет, если попросить мультимодальные модели (MLLM) проанализировать такие видео?
В новой статье представлен бенчмарк VF-EVAL для оценки способностей MLLM анализировать AI-видео. Исследователи выяснили, что современные MLLM плохо справляются с обнаружением ошибок, логикой и пониманием несоответствий между заданием и видео.
Оказалось, что открытые модели могут работать не хуже проприетарных при правильном обучении. В эксперименте REPROMPT авторы сравнили обратную связь от MLLM и людей при создании промптов. Вывод: настройка MLLM под человеческие предпочтения может значительно улучшить качество AI-видео.
В целом, MLLM пока слабо понимают особенности AI-видео, но имеют потенциал для улучшений через специализированные бенчмарки и обучение.
Статья
**Могут ли LLM рассуждать над таблицами? Inference-Time Scaling в действии!**
Недавно LLM улучшили способности к рассуждению благодаря inference-time scaling, позволяющему "думать" перед ответом. Применение этого подхода к табличному рассуждению оставалось проблемой из-за структурированной природы данных.
В новой статье представлены результаты применения inference-time scaling к табличному рассуждению через два подхода:
- **Table-R1-SFT**: модель, дообученная на примерах рассуждений от передовых LLM.
- **Table-R1-Zero**: модель, обученная с помощью RLVR (reinforcement learning with verifiable rewards).
Эти 7B-параметровые модели достигли впечатляющих результатов, порой сравнимых с GPT-4.1. Особенно интересен подход RLVR, позволяющий моделям самостоятельно находить эффективные стратегии рассуждения.
Это первая работа, успешно применяющая inference-time scaling в области структурированного рассуждения, что важно для анализа данных и систем поддержки принятия решений.
Статья
Недавно LLM улучшили способности к рассуждению благодаря inference-time scaling, позволяющему "думать" перед ответом. Применение этого подхода к табличному рассуждению оставалось проблемой из-за структурированной природы данных.
В новой статье представлены результаты применения inference-time scaling к табличному рассуждению через два подхода:
- **Table-R1-SFT**: модель, дообученная на примерах рассуждений от передовых LLM.
- **Table-R1-Zero**: модель, обученная с помощью RLVR (reinforcement learning with verifiable rewards).
Эти 7B-параметровые модели достигли впечатляющих результатов, порой сравнимых с GPT-4.1. Особенно интересен подход RLVR, позволяющий моделям самостоятельно находить эффективные стратегии рассуждения.
Это первая работа, успешно применяющая inference-time scaling в области структурированного рассуждения, что важно для анализа данных и систем поддержки принятия решений.
Статья
LLM прекрасно учатся даже на ошибках: шумные награды не мешают им рассуждать
Мы привыкли думать, что для обучения языковых моделей нужны точные награды. Но оказалось, что даже если 40% наград в RLHF случайно перевернуть, модели всё равно существенно улучшаются в сложных задачах!
В новой работе исследователи показали, что LLM способны эффективно обучаться при значительном шуме в наградах. Например, Qwen-2.5-7B повысила результат на MATH-500 с 5% до 72%, несмотря на шум.
Это значит, что модели ценят не столько правильный ответ, сколько полезные шаблоны рассуждений. Авторы продемонстрировали, что, поощряя модели за использование определённых фраз, связанных с логическим мышлением, можно добиться аналогичного эффекта без проверки ответов.
Эта идея открывает возможности для обучения LLM в реальных условиях, где идеально точных наград сложно достичь. Главное — стимулировать модели размышлять, и они научатся сами.
Статья
Мы привыкли думать, что для обучения языковых моделей нужны точные награды. Но оказалось, что даже если 40% наград в RLHF случайно перевернуть, модели всё равно существенно улучшаются в сложных задачах!
В новой работе исследователи показали, что LLM способны эффективно обучаться при значительном шуме в наградах. Например, Qwen-2.5-7B повысила результат на MATH-500 с 5% до 72%, несмотря на шум.
Это значит, что модели ценят не столько правильный ответ, сколько полезные шаблоны рассуждений. Авторы продемонстрировали, что, поощряя модели за использование определённых фраз, связанных с логическим мышлением, можно добиться аналогичного эффекта без проверки ответов.
Эта идея открывает возможности для обучения LLM в реальных условиях, где идеально точных наград сложно достичь. Главное — стимулировать модели размышлять, и они научатся сами.
Статья
Spatial-MLLM: Учим языковые модели понимать 3D-сцены из 2D-видео
Заметили, что современные мультимодальные языковые модели (MLLM) плохо понимают 3D-сцены и не могут эффективно рассуждать о пространственных отношениях без явных 3D-данных?
В работе "Spatial-MLLM" предложен метод, улучшающий пространственное понимание MLLM, используя только 2D-видео. Ключевая идея - объединение 2D-визуального энкодера с "пространственным" энкодером из предобученной геометрической модели через лёгкий коннектор, сливающий семантические и структурные признаки.
Авторы также разработали стратегию выбора информативных кадров для эффективного использования ограниченного числа изображений.
Spatial-MLLM достигает впечатляющих результатов в задачах пространственного понимания без 3D-данных.
Ждём влияния этого метода на развитие мультимодальных моделей в робототехнике и AR.
Статья
Заметили, что современные мультимодальные языковые модели (MLLM) плохо понимают 3D-сцены и не могут эффективно рассуждать о пространственных отношениях без явных 3D-данных?
В работе "Spatial-MLLM" предложен метод, улучшающий пространственное понимание MLLM, используя только 2D-видео. Ключевая идея - объединение 2D-визуального энкодера с "пространственным" энкодером из предобученной геометрической модели через лёгкий коннектор, сливающий семантические и структурные признаки.
Авторы также разработали стратегию выбора информативных кадров для эффективного использования ограниченного числа изображений.
Spatial-MLLM достигает впечатляющих результатов в задачах пространственного понимания без 3D-данных.
Ждём влияния этого метода на развитие мультимодальных моделей в робототехнике и AR.
Статья
**ALPHA ONE: Как научить большие модели сначала думать медленно, а потом быстро?**
Большие модели рассуждений решают сложные задачи, замедляя мышление. Но можно ли улучшить их эффективность, управляя этим процессом?
Авторы предлагают метод ALPHA ONE (α1), позволяющий модульно контролировать скорость мышления модели. Введя параметр αmoment, они задают момент переключения с медленного мышления на быстрое по расписанию. Это улучшает качество рассуждений и сокращает число токенов.
В отличие от людей, думающих сначала быстро, модели показывают лучшие результаты, начиная медленно и ускоряясь позже. Этот подход помогает избежать "зависания" и избыточного размышления.
ALPHA ONE не требует дополнительного обучения и применяется при инференсе. В экспериментах метод превзошёл существующие подходы на нескольких бенчмарках.
P.S. Статья впечатляет, хотя жаль, что авторы не сослались на наши исследования в области модификации процесса мышления моделей.
Статья
Большие модели рассуждений решают сложные задачи, замедляя мышление. Но можно ли улучшить их эффективность, управляя этим процессом?
Авторы предлагают метод ALPHA ONE (α1), позволяющий модульно контролировать скорость мышления модели. Введя параметр αmoment, они задают момент переключения с медленного мышления на быстрое по расписанию. Это улучшает качество рассуждений и сокращает число токенов.
В отличие от людей, думающих сначала быстро, модели показывают лучшие результаты, начиная медленно и ускоряясь позже. Этот подход помогает избежать "зависания" и избыточного размышления.
ALPHA ONE не требует дополнительного обучения и применяется при инференсе. В экспериментах метод превзошёл существующие подходы на нескольких бенчмарках.
P.S. Статья впечатляет, хотя жаль, что авторы не сослались на наши исследования в области модификации процесса мышления моделей.
Статья
ProRL: как длительный RL действительно расширяет возможности LLM
Многие задаются вопросом: может ли обучение с подкреплением (RL) расширить способности языковых моделей, или оно лишь улучшает извлечение известных решений? Авторы новой статьи представили ProRL — подход для длительного обучения с подкреплением, позволяющий моделям приобретать новые навыки рассуждения. Обученная модель Nemotron-Research-Reasoning-Qwen-1.5B превзошла базовую версию в задачах математики, кодирования, логических головоломках. Обнаружилось, что RL особенно эффективен в областях, где модель изначально слаба. Это опровергает прежние исследования, утверждавшие, что RL не расширяет границы мышления LLM. Длительное RL формирует новые паттерны рассуждения, подтверждая возможность развития новых способностей через продолжительное обучение.
Статья
Многие задаются вопросом: может ли обучение с подкреплением (RL) расширить способности языковых моделей, или оно лишь улучшает извлечение известных решений? Авторы новой статьи представили ProRL — подход для длительного обучения с подкреплением, позволяющий моделям приобретать новые навыки рассуждения. Обученная модель Nemotron-Research-Reasoning-Qwen-1.5B превзошла базовую версию в задачах математики, кодирования, логических головоломках. Обнаружилось, что RL особенно эффективен в областях, где модель изначально слаба. Это опровергает прежние исследования, утверждавшие, что RL не расширяет границы мышления LLM. Длительное RL формирует новые паттерны рассуждения, подтверждая возможность развития новых способностей через продолжительное обучение.
Статья
HARDTESTS: когда LLM учатся программировать лучше человека
Думаете, большие языковые модели (LLM) ещё далеко не дотягивают до лучших программистов? Авторы новой работы представили метод HARDTESTGEN для генерации высококачественных тестовых случаев по задачам программирования и создали датасет HARDTESTS с 47 тысячами задач! Они выяснили, что качество тестов значительно влияет на обучение LLM: модели начинают решать сложные задачи, где раньше спотыкались. Оказывается, что не только объём данных важен, но и их глубина. Теперь LLM могут конкурировать с участниками олимпиад по программированию, и это впечатляет.
Похоже, скоро нам придётся просить у них помощи с задачами на Codeforces. Или, может, уже пора задуматься о смене профессии?
Статья
Думаете, большие языковые модели (LLM) ещё далеко не дотягивают до лучших программистов? Авторы новой работы представили метод HARDTESTGEN для генерации высококачественных тестовых случаев по задачам программирования и создали датасет HARDTESTS с 47 тысячами задач! Они выяснили, что качество тестов значительно влияет на обучение LLM: модели начинают решать сложные задачи, где раньше спотыкались. Оказывается, что не только объём данных важен, но и их глубина. Теперь LLM могут конкурировать с участниками олимпиад по программированию, и это впечатляет.
Похоже, скоро нам придётся просить у них помощи с задачами на Codeforces. Или, может, уже пора задуматься о смене профессии?
Статья
Меньше значит больше: как 20% токенов в LLM делают всю работу?
При обучении LLM с помощью RLVR можно существенно ускорить процесс, фокусируясь лишь на 20% "важных" токенов. Авторы исследования заметили, что в цепочках рассуждений большинство токенов имеют низкую энтропию и продолжают текущую мысль, а малое число токенов с высокой энтропией отвечают за принятие решений — "развилки".
Предложенный метод обновляет градиенты только для высокоэнтропийных "вилочных" токенов, игнорируя остальные. Результат: ускоренное обучение при повышенном качестве рассуждений, особенно на больших моделях.
Подход экономит вычислительные ресурсы и подчеркивает важность понимания механизмов генерации ответов. Это может найти применение и в других областях, требующих ускорения обучения без потери качества.
Статья
При обучении LLM с помощью RLVR можно существенно ускорить процесс, фокусируясь лишь на 20% "важных" токенов. Авторы исследования заметили, что в цепочках рассуждений большинство токенов имеют низкую энтропию и продолжают текущую мысль, а малое число токенов с высокой энтропией отвечают за принятие решений — "развилки".
Предложенный метод обновляет градиенты только для высокоэнтропийных "вилочных" токенов, игнорируя остальные. Результат: ускоренное обучение при повышенном качестве рассуждений, особенно на больших моделях.
Подход экономит вычислительные ресурсы и подчеркивает важность понимания механизмов генерации ответов. Это может найти применение и в других областях, требующих ускорения обучения без потери качества.
Статья
**Как ускорить обучение LLM и сэкономить память? Встречайте SGG!**
Популярные оптимизаторы вроде Adam настраивают скорость обучения для каждого параметра отдельно, но требуют огромной памяти для хранения статистик. Методы PEFT типа LoRA уменьшают число обучаемых параметров, но могут снижать качество модели.
Авторы новой работы предложили подход SGG (Scaling with Gradient Grouping). Вместо хранения статистик для каждого параметра они динамически группируют параметры по схожести градиентов и настраивают скорости обучения для групп. Это балансирует адаптивность и эффективность.
Эксперименты показали, что SGG ускоряет сходимость, улучшает качество моделей и снижает потребление памяти. При этом не требуется менять архитектуру модели или процесс обучения.
Может, будущее обучения LLM за такими оптимизаторами?
Статья
Популярные оптимизаторы вроде Adam настраивают скорость обучения для каждого параметра отдельно, но требуют огромной памяти для хранения статистик. Методы PEFT типа LoRA уменьшают число обучаемых параметров, но могут снижать качество модели.
Авторы новой работы предложили подход SGG (Scaling with Gradient Grouping). Вместо хранения статистик для каждого параметра они динамически группируют параметры по схожести градиентов и настраивают скорости обучения для групп. Это балансирует адаптивность и эффективность.
Эксперименты показали, что SGG ускоряет сходимость, улучшает качество моделей и снижает потребление памяти. При этом не требуется менять архитектуру модели или процесс обучения.
Может, будущее обучения LLM за такими оптимизаторами?
Статья
UniWorld: единая модель для восприятия и манипуляции изображениями
Все стремятся создать модели, умеющие и понимать, и генерировать изображения. Но объединить задачи восприятия и манипуляции в одной модели оказалось непросто. Модели на основе VAE часто сталкиваются с проблемами при совмещении этих задач.
Авторы UniWorld заметили, что GPT-4 Image, вероятно, использует семантические энкодеры вместо VAE для извлечения признаков, и подтвердили эту гипотезу экспериментами. На этом основании они создали UniWorld — модель, сочетающую предобученные мультимодальные большие модели для авторегрессивного понимания и высокоразрешающие контрастивные семантические энкодеры для извлечения визуальных признаков.
Результат впечатляет: UniWorld, обученная всего на 2,7 млн примеров, превосходит модели, тренированные на сотнях миллионов данных, и успешно решает задачи как восприятия, так и манипуляции. Это первая открытая модель с такими всеобъемлющими возможностями.
Статья
Все стремятся создать модели, умеющие и понимать, и генерировать изображения. Но объединить задачи восприятия и манипуляции в одной модели оказалось непросто. Модели на основе VAE часто сталкиваются с проблемами при совмещении этих задач.
Авторы UniWorld заметили, что GPT-4 Image, вероятно, использует семантические энкодеры вместо VAE для извлечения признаков, и подтвердили эту гипотезу экспериментами. На этом основании они создали UniWorld — модель, сочетающую предобученные мультимодальные большие модели для авторегрессивного понимания и высокоразрешающие контрастивные семантические энкодеры для извлечения визуальных признаков.
Результат впечатляет: UniWorld, обученная всего на 2,7 млн примеров, превосходит модели, тренированные на сотнях миллионов данных, и успешно решает задачи как восприятия, так и манипуляции. Это первая открытая модель с такими всеобъемлющими возможностями.
Статья
VS-BENCH: проверка VLM на стратегическое мышление в многоагентной среде
Оказывается, Vision Language Models (VLMs) умеют не только описывать картинки, но и принимать стратегические решения в играх с другими агентами. Авторы новой статьи представили VS-BENCH — бенчмарк для оценки стратегического мышления VLM в многоагентных средах.
VS-BENCH включает восемь игр: кооперативные (Hanabi, Overcooked), конкурентные (Breakthrough, Kuhn Poker, Atari Pong) и смешанные (Coin Dilemma, Monster Hunt, Battle of the Colors). Тестирование 14 передовых VLM показало: хотя модели демонстрируют начальные способности к стратегическому мышлению, до людей им далеко.
Примечательно, что некоторые open-source модели в определенных играх не уступают коммерческим. Это указывает на потенциал открытых решений в области многоагентного обучения. Ждем новых исследований в этой захватывающей области!
Статья
Оказывается, Vision Language Models (VLMs) умеют не только описывать картинки, но и принимать стратегические решения в играх с другими агентами. Авторы новой статьи представили VS-BENCH — бенчмарк для оценки стратегического мышления VLM в многоагентных средах.
VS-BENCH включает восемь игр: кооперативные (Hanabi, Overcooked), конкурентные (Breakthrough, Kuhn Poker, Atari Pong) и смешанные (Coin Dilemma, Monster Hunt, Battle of the Colors). Тестирование 14 передовых VLM показало: хотя модели демонстрируют начальные способности к стратегическому мышлению, до людей им далеко.
Примечательно, что некоторые open-source модели в определенных играх не уступают коммерческим. Это указывает на потенциал открытых решений в области многоагентного обучения. Ждем новых исследований в этой захватывающей области!
Статья
VeBrain: делаем роботов умнее, объединив понимание и действия
Замечали, как современные большие мультимодальные языковые модели (MLLMs) достигают впечатляющих результатов в компьютерном зрении и языковых задачах? Следующий шаг — научить роботов не только видеть и понимать мир, но и взаимодействовать с ним, объединяя восприятие, пространственное мышление и управление в одной модели.
Проблема в том, что существующие MLLM плохо совмещают эти способности. Авторы представляют VeBrain — систему, формулирующую управление роботом как текстовые задачи (определение ключевых точек, распознавание действий). Это позволяет объединить обучение разных навыков без конфликтов.
Они также создали VeBrain-600k — обширный датасет с инструкциями для обучения. В результате VeBrain превосходит существующие подходы, успешно сочетая понимание, пространственное мышление и управление роботами.
Скоро наши роботы станут еще умнее благодаря таким разработкам!
Статья
Замечали, как современные большие мультимодальные языковые модели (MLLMs) достигают впечатляющих результатов в компьютерном зрении и языковых задачах? Следующий шаг — научить роботов не только видеть и понимать мир, но и взаимодействовать с ним, объединяя восприятие, пространственное мышление и управление в одной модели.
Проблема в том, что существующие MLLM плохо совмещают эти способности. Авторы представляют VeBrain — систему, формулирующую управление роботом как текстовые задачи (определение ключевых точек, распознавание действий). Это позволяет объединить обучение разных навыков без конфликтов.
Они также создали VeBrain-600k — обширный датасет с инструкциями для обучения. В результате VeBrain превосходит существующие подходы, успешно сочетая понимание, пространственное мышление и управление роботами.
Скоро наши роботы станут еще умнее благодаря таким разработкам!
Статья
Как Xiaomi выжали максимум из VLM в 7 миллиардов параметров
MiMo-VL-7B от Xiaomi — новая открытая мультимодальная языковая модель, которая уделывает более крупные аналоги. Они смогли натренировать компактную модель с 7B параметров, достигающую state-of-the-art результатов среди открытых VLM.
Ключ к успеху — умное обучение. Разработчики использовали четыре стадии предобучения с разнообразными данными, включая синтетические reasoning-данные с длинным Chain-of-Thought. Это позволило модели освоить сложные логические задачи.
Затем они применили смешанное он-полисное RL (MORL), объединяя RLHF и RL с проверяемыми наградами (RLVR), чтобы еще больше улучшить модель.
Интересно, что при добавлении reasoning-данных модель продолжала улучшаться без признаков насыщения. Также они отметили, что он-полисный RL превосходит обычный GRPO.
MiMo-VL-7B доказывает, что с правильным подходом можно создать компактные, но мощные VLM, способные конкурировать с крупными моделями.
Статья
MiMo-VL-7B от Xiaomi — новая открытая мультимодальная языковая модель, которая уделывает более крупные аналоги. Они смогли натренировать компактную модель с 7B параметров, достигающую state-of-the-art результатов среди открытых VLM.
Ключ к успеху — умное обучение. Разработчики использовали четыре стадии предобучения с разнообразными данными, включая синтетические reasoning-данные с длинным Chain-of-Thought. Это позволило модели освоить сложные логические задачи.
Затем они применили смешанное он-полисное RL (MORL), объединяя RLHF и RL с проверяемыми наградами (RLVR), чтобы еще больше улучшить модель.
Интересно, что при добавлении reasoning-данных модель продолжала улучшаться без признаков насыщения. Также они отметили, что он-полисный RL превосходит обычный GRPO.
MiMo-VL-7B доказывает, что с правильным подходом можно создать компактные, но мощные VLM, способные конкурировать с крупными моделями.
Статья
Как оценивать длинные контексты в LLM, используя вымышленные биографии?
Все знают, что длинные контексты в LLM — дело важное. Но как их правильно тестировать? Существующие бенчмарки либо дороги и неуправляемы (натуральные данные), либо слишком упрощены (синтетические задачи типа "иголка в стоге сена"). Авторы предлагают LongBioBench — новый бенчмарк, где и "иголка", и "стог сена" состоят из вымышленных биографий. Это позволяет создавать связный и контролируемый контекст для испытаний.
Выяснилось, что LLM хорошо находят нужную информацию в длинном тексте, но испытывают трудности с числовыми рассуждениями и планированием, когда контекст разрастается. А если контекст несвязный, модели могут находить обходные пути и решать задачи нечестно.
LongBioBench помогает глубже понять поведение моделей на длинных контекстах и выявить их реальные ограничения. Возможно, это шаг к тому, чтобы LLM научились лучше работать с огромными объемами текста.
Статья
Все знают, что длинные контексты в LLM — дело важное. Но как их правильно тестировать? Существующие бенчмарки либо дороги и неуправляемы (натуральные данные), либо слишком упрощены (синтетические задачи типа "иголка в стоге сена"). Авторы предлагают LongBioBench — новый бенчмарк, где и "иголка", и "стог сена" состоят из вымышленных биографий. Это позволяет создавать связный и контролируемый контекст для испытаний.
Выяснилось, что LLM хорошо находят нужную информацию в длинном тексте, но испытывают трудности с числовыми рассуждениями и планированием, когда контекст разрастается. А если контекст несвязный, модели могут находить обходные пути и решать задачи нечестно.
LongBioBench помогает глубже понять поведение моделей на длинных контекстах и выявить их реальные ограничения. Возможно, это шаг к тому, чтобы LLM научились лучше работать с огромными объемами текста.
Статья
Как научить языковую модель писать романы? Знакомьтесь с SuperWriter-Agent!
Генерация длинных текстов всегда была проблемой для LLM: логика распадается, связность теряется. SuperWriter-Agent – новый подход, учащий модели писать большие тексты поэтапно, как люди.
Идея проста: разбить процесс на три стадии – планирование, написание и редактирование. Сначала модель планирует структуру текста, затем пишет его по частям, а в конце редактирует и улучшает.
Это напоминает подходы Re3 или LongWriter, но здесь всё интегрировано в единое агентное решение, и модель учится "думать" перед написанием.
Результаты впечатляют: тексты становятся более связными и логичными. Это может быть шагом к тому, чтобы модели писали книги или научные статьи.
Возможно, скоро LLM действительно смогут заменить писателей? Будем следить за развитием SuperWriter-Agent!
Статья
Генерация длинных текстов всегда была проблемой для LLM: логика распадается, связность теряется. SuperWriter-Agent – новый подход, учащий модели писать большие тексты поэтапно, как люди.
Идея проста: разбить процесс на три стадии – планирование, написание и редактирование. Сначала модель планирует структуру текста, затем пишет его по частям, а в конце редактирует и улучшает.
Это напоминает подходы Re3 или LongWriter, но здесь всё интегрировано в единое агентное решение, и модель учится "думать" перед написанием.
Результаты впечатляют: тексты становятся более связными и логичными. Это может быть шагом к тому, чтобы модели писали книги или научные статьи.
Возможно, скоро LLM действительно смогут заменить писателей? Будем следить за развитием SuperWriter-Agent!
Статья
RoboRefer: учим VLM точно понимать пространственные инструкции для роботов
Чтобы роботы эффективно взаимодействовали с окружающей средой, им нужно не только распознавать объекты, но и точно понимать пространственные инструкции. RoboRefer — это 3D-aware Vision-Language Model, сочетающая одноступенчатое пространственное понимание с многоступенчатым рассуждением.
Модель использует двухэтапное обучение: сначала тонкая настройка через SFT на новом датасете RefSpatial (2,5 млн примеров) с детальными пространственными заданиями. Затем применяется RFT с метриками, чувствительными к процессам рассуждения.
RoboRefer превзошла другие модели, включая GPT-4, в задачах пространственного реферирования. Модель точно предсказывает точки размещения и может использоваться для навигации и манипуляций в реальных роботах.
P.S. Возможно, это важный шаг к более интеллектуальным роботам в будущем.
Статья
Чтобы роботы эффективно взаимодействовали с окружающей средой, им нужно не только распознавать объекты, но и точно понимать пространственные инструкции. RoboRefer — это 3D-aware Vision-Language Model, сочетающая одноступенчатое пространственное понимание с многоступенчатым рассуждением.
Модель использует двухэтапное обучение: сначала тонкая настройка через SFT на новом датасете RefSpatial (2,5 млн примеров) с детальными пространственными заданиями. Затем применяется RFT с метриками, чувствительными к процессам рассуждения.
RoboRefer превзошла другие модели, включая GPT-4, в задачах пространственного реферирования. Модель точно предсказывает точки размещения и может использоваться для навигации и манипуляций в реальных роботах.
P.S. Возможно, это важный шаг к более интеллектуальным роботам в будущем.
Статья
Автоэнкодеры научились понимать любые данные с помощью flow-моделей!
Автоэнкодеры — основа современного машинного обучения, но структурирование их латентных пространств остаётся сложной задачей при целевом распределении, заданном только выборками.
В новой работе предлагается использовать предобученную flow-модель как приоритетное распределение для выравнивания латентного пространства. Flow-модель обучается на целевом распределении, затем минимизируется функция выравнивания для соответствия латентных представлений этому распределению.
Метод позволяет выровнять латентное пространство с любым распределением без явного расчёта сложных функций правдоподобия, улучшая интерпретируемость.
Эксперименты подтвердили эффективность подхода на различных задачах, включая генерацию изображений на ImageNet.
Этот метод открывает путь к более гибким моделям представления данных.
Статья
Автоэнкодеры — основа современного машинного обучения, но структурирование их латентных пространств остаётся сложной задачей при целевом распределении, заданном только выборками.
В новой работе предлагается использовать предобученную flow-модель как приоритетное распределение для выравнивания латентного пространства. Flow-модель обучается на целевом распределении, затем минимизируется функция выравнивания для соответствия латентных представлений этому распределению.
Метод позволяет выровнять латентное пространство с любым распределением без явного расчёта сложных функций правдоподобия, улучшая интерпретируемость.
Эксперименты подтвердили эффективность подхода на различных задачах, включая генерацию изображений на ImageNet.
Этот метод открывает путь к более гибким моделям представления данных.
Статья
**Как ComfyUI-Copilot меняет правила игры в AI-генерации контента**
Пробовали разобраться в ComfyUI? Этот инструмент для разработки AI-воркфлоу мощный, но не всегда дружелюбный к новичкам. Здесь помогает ComfyUI-Copilot — LLM-ассистент, упрощающий навигацию по ComfyUI.
Копилот автоматически генерирует рабочие процессы по вашему описанию, рекомендует узлы и модели, отвечает на вопросы и помогает с оптимизацией. Благодаря базе знаний с 7 000 узлов, 62 000 моделей и 9 000 воркфлоу, он предлагает актуальные решения.
Результаты впечатляют: высокая точность рекомендаций и положительные отзывы. Проект собрал более 1,6 тыс. звёзд на GitHub и привлёк 19 000 пользователей из 22 стран. ComfyUI-Copilot — первый открытый проект, делающий работу с ComfyUI доступнее.
Ждём новых функций, которые ещё больше облегчат создание AI-контента!
Статья
Пробовали разобраться в ComfyUI? Этот инструмент для разработки AI-воркфлоу мощный, но не всегда дружелюбный к новичкам. Здесь помогает ComfyUI-Copilot — LLM-ассистент, упрощающий навигацию по ComfyUI.
Копилот автоматически генерирует рабочие процессы по вашему описанию, рекомендует узлы и модели, отвечает на вопросы и помогает с оптимизацией. Благодаря базе знаний с 7 000 узлов, 62 000 моделей и 9 000 воркфлоу, он предлагает актуальные решения.
Результаты впечатляют: высокая точность рекомендаций и положительные отзывы. Проект собрал более 1,6 тыс. звёзд на GitHub и привлёк 19 000 пользователей из 22 стран. ComfyUI-Copilot — первый открытый проект, делающий работу с ComfyUI доступнее.
Ждём новых функций, которые ещё больше облегчат создание AI-контента!
Статья