**Как научить LLM реальной разработке? SWE-Flow на основе TDD**
Большие языковые модели хорошо справляются с кодом, но в реальной разработке сталкиваются с трудностями: сложные зависимости, поэтапные изменения, работа с многими файлами. Авторы представили SWE-Flow — подход, синтезирующий данные для обучения LLM на основе Test-Driven Development (TDD).
SWE-Flow автоматически извлекает процесс разработки из юнит-тестов, создавая качественные тренировочные примеры без ручной разметки. Это позволяет обучить модели решать реальные задачи разработки.
Авторы также представили SWE-Flow-Bench — бенчмарк для оценки LLM в TDD-сценариях. Обучив модель на таких данных, они значительно улучшили её способности в реальной разработке.
Коды и модели выложены в открытый доступ, что способствует развитию сообщества и созданию более продвинутых инструментов для разработчиков.
Статья
Большие языковые модели хорошо справляются с кодом, но в реальной разработке сталкиваются с трудностями: сложные зависимости, поэтапные изменения, работа с многими файлами. Авторы представили SWE-Flow — подход, синтезирующий данные для обучения LLM на основе Test-Driven Development (TDD).
SWE-Flow автоматически извлекает процесс разработки из юнит-тестов, создавая качественные тренировочные примеры без ручной разметки. Это позволяет обучить модели решать реальные задачи разработки.
Авторы также представили SWE-Flow-Bench — бенчмарк для оценки LLM в TDD-сценариях. Обучив модель на таких данных, они значительно улучшили её способности в реальной разработке.
Коды и модели выложены в открытый доступ, что способствует развитию сообщества и созданию более продвинутых инструментов для разработчиков.
Статья
Можно ли научить LLM лучше думать по медицине? Соберём армию нейросетей и создадим ReasonMed!
Исследователи заметили, что большие языковые модели плохо справляются с медицинскими задачами из-за нехватки качественных данных. Их решение — создать ReasonMed, датасет из 370 тысяч проверенных медицинских вопросов с многошаговыми рассуждениями. Для этого они объединили несколько мощных LLM в мультиагентную систему и сгенерировали 1,75 миллиона цепочек размышлений.
После строгой валидации они сравнили разные подходы к обучению: Chain-of-Thought, краткие ответы и гибридный метод. Гибридный подход, сочетающий подробные рассуждения с их кратким резюме, показал наилучшие результаты.
Модель ReasonMed-7B превзошла все модели того же размера и даже некоторые более крупные на медицинских задачах. Похоже, чтобы LLM стали отличными врачами, нужно дать им больше хороших примеров и команду "коллег" для поддержки.
Статья
Исследователи заметили, что большие языковые модели плохо справляются с медицинскими задачами из-за нехватки качественных данных. Их решение — создать ReasonMed, датасет из 370 тысяч проверенных медицинских вопросов с многошаговыми рассуждениями. Для этого они объединили несколько мощных LLM в мультиагентную систему и сгенерировали 1,75 миллиона цепочек размышлений.
После строгой валидации они сравнили разные подходы к обучению: Chain-of-Thought, краткие ответы и гибридный метод. Гибридный подход, сочетающий подробные рассуждения с их кратким резюме, показал наилучшие результаты.
Модель ReasonMed-7B превзошла все модели того же размера и даже некоторые более крупные на медицинских задачах. Похоже, чтобы LLM стали отличными врачами, нужно дать им больше хороших примеров и команду "коллег" для поддержки.
Статья
Может ли диффузионная модель научиться восстанавливать текст на изображениях?
Современные модели восстановления изображений хорошо справляются с различными искажениями, но текст на картинках они обрабатывают плохо: надписи размываются или превращаются в бессмысленные символы. Это проблема для распознавания документов, дорожных знаков и AR-навигации.
В новой статье представлена задача Text-Aware Image Restoration (TAIR). Авторы создали датасет SA-Text с аннотациями текста и разработали модель TeReDiff, объединяющую диффузионную модель с модулем распознавания текста. Модель использует функции диффузии для улучшения распознавания, а результаты распознавания помогают восстановлению изображения.
Этот подход позволяет гораздо лучше восстанавливать текстовые области, сохраняя общее качество изображения, что важно для приложений с текстовой информацией на изображениях.
Статья
Современные модели восстановления изображений хорошо справляются с различными искажениями, но текст на картинках они обрабатывают плохо: надписи размываются или превращаются в бессмысленные символы. Это проблема для распознавания документов, дорожных знаков и AR-навигации.
В новой статье представлена задача Text-Aware Image Restoration (TAIR). Авторы создали датасет SA-Text с аннотациями текста и разработали модель TeReDiff, объединяющую диффузионную модель с модулем распознавания текста. Модель использует функции диффузии для улучшения распознавания, а результаты распознавания помогают восстановлению изображения.
Этот подход позволяет гораздо лучше восстанавливать текстовые области, сохраняя общее качество изображения, что важно для приложений с текстовой информацией на изображениях.
Статья
ReasonMed: Мультиагентные LLM объединились для медицинского прорыва
Вы знали, что большие языковые модели отлично справляются с математикой и программированием, но в медицине всё ещё отстают? Проблема — нехватка качественных данных. В новой статье представили ReasonMed — крупнейший открытый датасет на 370 тысяч примеров медицинских рассуждений.
Как они этого добились? Собрали 195 тысяч вопросов из бенчмарков и привлекли три мощные LLM (Qwen-2.5-72B, HuatuoGPT-o1-70B, DeepSeek-R1-Distill-Llama-70B), чтобы сгенерировать 1,75 млн вариантов рассуждений. Затем тщательно отфильтровали данные с помощью GPT-4o-mini.
В итоге обучили ReasonMed-7B, которая превзошла все модели до 10B параметров в медицинском QA и даже обошла некоторые более крупные модели. Это показывает, как объединение данных от разных LLM и качественная фильтрация улучшают результаты.
Теперь медицинские LLM могут догнать своих коллег в других областях!
Статья
Вы знали, что большие языковые модели отлично справляются с математикой и программированием, но в медицине всё ещё отстают? Проблема — нехватка качественных данных. В новой статье представили ReasonMed — крупнейший открытый датасет на 370 тысяч примеров медицинских рассуждений.
Как они этого добились? Собрали 195 тысяч вопросов из бенчмарков и привлекли три мощные LLM (Qwen-2.5-72B, HuatuoGPT-o1-70B, DeepSeek-R1-Distill-Llama-70B), чтобы сгенерировать 1,75 млн вариантов рассуждений. Затем тщательно отфильтровали данные с помощью GPT-4o-mini.
В итоге обучили ReasonMed-7B, которая превзошла все модели до 10B параметров в медицинском QA и даже обошла некоторые более крупные модели. Это показывает, как объединение данных от разных LLM и качественная фильтрация улучшают результаты.
Теперь медицинские LLM могут догнать своих коллег в других областях!
Статья
Искусственный интеллект сам строит себе задачи: SWE-Factory
Представьте, что модели вроде GPT не только решают задачи, но и сами создают для себя новые бенчмарки для обучения. В свежей статье представлена система SWE-Factory, которая автоматически генерирует задания по исправлению ошибок на GitHub без ручной работы.
Авторы используют мультиагентный подход с LLM-агентами (SWE-Builder), которые сами собирают окружение, пишут скрипты для тестов и проводят валидацию. Это значительно ускоряет создание крупных и качественных датасетов для обучения и оценки языковых моделей.
Такая автоматизация открывает двери для ещё более быстрого развития ИИ, где модели смогут совершенствоваться практически автономно. Возможно, мы стоим на пороге новой эры самообучающихся систем.
Статья
Представьте, что модели вроде GPT не только решают задачи, но и сами создают для себя новые бенчмарки для обучения. В свежей статье представлена система SWE-Factory, которая автоматически генерирует задания по исправлению ошибок на GitHub без ручной работы.
Авторы используют мультиагентный подход с LLM-агентами (SWE-Builder), которые сами собирают окружение, пишут скрипты для тестов и проводят валидацию. Это значительно ускоряет создание крупных и качественных датасетов для обучения и оценки языковых моделей.
Такая автоматизация открывает двери для ещё более быстрого развития ИИ, где модели смогут совершенствоваться практически автономно. Возможно, мы стоим на пороге новой эры самообучающихся систем.
Статья
Как научить диффузионные модели восстанавливать текст на изображениях?
Вы замечали, что современные методы восстановления изображений плохо справляются с текстовыми областями? Шум они устраняют, но текст часто остается размытым и нечитаемым. А ведь для задач вроде оцифровки документов или навигации важно сохранить текстовую информацию.
В новой статье "Text-Aware Image Restoration (TAIR)" авторы предлагают подход, позволяющий вместе с изображением восстанавливать и текст. Они создали датасет SA-Text с аннотированными текстовыми регионами и разработали модель TeReDiff, которая объединяет диффузионную модель с модулем распознавания текста. Используя диффузионные признаки U-Net для распознавания, модель улучшает качество восстановления текста и изображения одновременно.
Это первый шаг к моделям, которые могут восстанавливать изображения, сохраняя текстовую информацию. Возможно, это вдохновит дальнейшие исследования на стыке обработки изображений и распознавания текста.
Статья
Вы замечали, что современные методы восстановления изображений плохо справляются с текстовыми областями? Шум они устраняют, но текст часто остается размытым и нечитаемым. А ведь для задач вроде оцифровки документов или навигации важно сохранить текстовую информацию.
В новой статье "Text-Aware Image Restoration (TAIR)" авторы предлагают подход, позволяющий вместе с изображением восстанавливать и текст. Они создали датасет SA-Text с аннотированными текстовыми регионами и разработали модель TeReDiff, которая объединяет диффузионную модель с модулем распознавания текста. Используя диффузионные признаки U-Net для распознавания, модель улучшает качество восстановления текста и изображения одновременно.
Это первый шаг к моделям, которые могут восстанавливать изображения, сохраняя текстовую информацию. Возможно, это вдохновит дальнейшие исследования на стыке обработки изображений и распознавания текста.
Статья
**Как автоматизировать создание бенчмарков для GitHub задач? SWE-Factory спешит на помощь!**
Создание бенчмарков для задач по решению GitHub issues требует много ручной работы. Новая работа представляет SWE-Factory — автоматизированный конвейер для создания таких бенчмарков.
В основе SWE-Factory лежит агент SWE-Builder, который с помощью больших языковых моделей автоматизирует сбор информации из репозиториев, генерирует Dockerfile, пишет скрипты для тестов и анализирует результаты. Для оценки прохождения тестов используются выходные коды программ.
Эксперименты показали, что SWE-Factory может успешно создать 269 валидных бенчмарков из 671 задач, охватывая Python, Java, JavaScript и TypeScript — всё без ручного вмешательства.
Теперь разработчики могут быстрее создавать качественные бенчмарки для задач на GitHub!
Статья
Создание бенчмарков для задач по решению GitHub issues требует много ручной работы. Новая работа представляет SWE-Factory — автоматизированный конвейер для создания таких бенчмарков.
В основе SWE-Factory лежит агент SWE-Builder, который с помощью больших языковых моделей автоматизирует сбор информации из репозиториев, генерирует Dockerfile, пишет скрипты для тестов и анализирует результаты. Для оценки прохождения тестов используются выходные коды программ.
Эксперименты показали, что SWE-Factory может успешно создать 269 валидных бенчмарков из 671 задач, охватывая Python, Java, JavaScript и TypeScript — всё без ручного вмешательства.
Теперь разработчики могут быстрее создавать качественные бенчмарки для задач на GitHub!
Статья
Как научить диффузионные модели восстанавливать текст на изображениях?
Замечали, как современные модели восстановления изображений замазывают текст или превращают его в нечитаемые символы? Особенно обидно для уличных знаков или важных надписей.
Исследователи предложили задачу Text-Aware Image Restoration (TAIR). Они создали датасет SA-Text из 100 тысяч изображений с текстами и разработали модель TeReDiff, сочетающую диффузионные модели с модулем распознавания текста.
TeReDiff использует распознанный текст как подсказку при восстановлении. Это позволяет модели восстанавливать текстовые области точнее и избегать "текстовых галлюцинаций".
Результаты впечатляют: тексты становятся читабельными при сохранении общего визуального качества. Это важный шаг для приложений, где критична точность текстовой информации.
P.S. Скоро диффузионные модели перестанут коверкать надписи и научатся воспроизводить их как нужно!
Статья
Замечали, как современные модели восстановления изображений замазывают текст или превращают его в нечитаемые символы? Особенно обидно для уличных знаков или важных надписей.
Исследователи предложили задачу Text-Aware Image Restoration (TAIR). Они создали датасет SA-Text из 100 тысяч изображений с текстами и разработали модель TeReDiff, сочетающую диффузионные модели с модулем распознавания текста.
TeReDiff использует распознанный текст как подсказку при восстановлении. Это позволяет модели восстанавливать текстовые области точнее и избегать "текстовых галлюцинаций".
Результаты впечатляют: тексты становятся читабельными при сохранении общего визуального качества. Это важный шаг для приложений, где критична точность текстовой информации.
P.S. Скоро диффузионные модели перестанут коверкать надписи и научатся воспроизводить их как нужно!
Статья
**Как сгенерировать новые ракурсы сцены без известных поз камер?**
Представьте, что вы хотите реконструировать 3D-сцену из нескольких 2D-фотографий без информации о позициях камер. Новая работа предлагает подход, позволяющий генерировать новые виды из непозированных изображений, сочетая методы "warp-and-inpaint" с новыми трюками.
Авторы используют геометрию, предсказанную из нескольких изображений, проецируют её на новый ракурс, а затем с помощью диффузионных сетей заполняют недостающие части. Они обучают геометрический denoising U-Net для восполнения недостающей геометрии и вводят механизм "cross-modal attention instillation", обеспечивающий согласованность изображений и геометрии.
Это позволяет синтезировать новые виды даже в экстраполятивных ракурсах, где раньше модели терялись. Теперь можно получать 3D-сцены из небольшого набора фотографий без известных поз камер!
Статья
Представьте, что вы хотите реконструировать 3D-сцену из нескольких 2D-фотографий без информации о позициях камер. Новая работа предлагает подход, позволяющий генерировать новые виды из непозированных изображений, сочетая методы "warp-and-inpaint" с новыми трюками.
Авторы используют геометрию, предсказанную из нескольких изображений, проецируют её на новый ракурс, а затем с помощью диффузионных сетей заполняют недостающие части. Они обучают геометрический denoising U-Net для восполнения недостающей геометрии и вводят механизм "cross-modal attention instillation", обеспечивающий согласованность изображений и геометрии.
Это позволяет синтезировать новые виды даже в экстраполятивных ракурсах, где раньше модели терялись. Теперь можно получать 3D-сцены из небольшого набора фотографий без известных поз камер!
Статья
LongLLaDA: Диффузные LLM осваивают длинные контексты без обучения
Оказывается, диффузные языковые модели умеют работать с длинными текстами лучше, чем авторегрессионные LLM! Исследователи из Fudan University сравнили их производительность и обнаружили, что диффузные LLM сохраняют стабильную перплексию при увеличении длины контекста, в то время как у авторегрессионных моделей она резко растет.
Авторы объясняют это через теорию Rotary Position Embedding (RoPE) и предлагают метод LongLLaDA. Этот метод позволяет расширить контекст диффузных моделей без дополнительного обучения, используя NTK-скейлинг. В некоторых задачах, таких как извлечение информации из недавнего контекста, диффузные LLM даже превосходят авторегрессионные.
Это первое систематическое исследование долгоконтекстных возможностей диффузных LLM и методов их расширения. Возможно, мы стоим на пороге новых применений диффузных моделей в задачах с длинными текстами.
Статья
Оказывается, диффузные языковые модели умеют работать с длинными текстами лучше, чем авторегрессионные LLM! Исследователи из Fudan University сравнили их производительность и обнаружили, что диффузные LLM сохраняют стабильную перплексию при увеличении длины контекста, в то время как у авторегрессионных моделей она резко растет.
Авторы объясняют это через теорию Rotary Position Embedding (RoPE) и предлагают метод LongLLaDA. Этот метод позволяет расширить контекст диффузных моделей без дополнительного обучения, используя NTK-скейлинг. В некоторых задачах, таких как извлечение информации из недавнего контекста, диффузные LLM даже превосходят авторегрессионные.
Это первое систематическое исследование долгоконтекстных возможностей диффузных LLM и методов их расширения. Возможно, мы стоим на пороге новых применений диффузных моделей в задачах с длинными текстами.
Статья
**Stream-Omni: модель, которая одновременно слышит, видит и говорит**
Вы когда-нибудь хотели, чтобы модель понимала текст, изображения и речь одновременно? Объединить эти модальности сложно из-за различий в представлениях данных.
Большинство моделей специализируются на зрении или речи. Мультимодальные требуют огромных объёмов данных.
Stream-Omni объединила текст, зрение и речь эффективнее. Вместо "скармливания" всех данных в одну последовательность, авторы подошли осмысленнее.
Для визуальных данных используется объединение по последовательности. Для речи предложен механизм выравнивания по слоям с CTC, позволяющий преобразовывать речь в текст и обратно с меньшим количеством данных.
При голосовом взаимодействии Stream-Omni выводит промежуточные текстовые результаты – вы говорите, модель расшифровывает и отвечает.
Модель гибкая, работает с разными модальностями без огромных датасетов. Тесты показали, что она справляется на уровне или лучше существующих моделей.
Статья
Вы когда-нибудь хотели, чтобы модель понимала текст, изображения и речь одновременно? Объединить эти модальности сложно из-за различий в представлениях данных.
Большинство моделей специализируются на зрении или речи. Мультимодальные требуют огромных объёмов данных.
Stream-Omni объединила текст, зрение и речь эффективнее. Вместо "скармливания" всех данных в одну последовательность, авторы подошли осмысленнее.
Для визуальных данных используется объединение по последовательности. Для речи предложен механизм выравнивания по слоям с CTC, позволяющий преобразовывать речь в текст и обратно с меньшим количеством данных.
При голосовом взаимодействии Stream-Omni выводит промежуточные текстовые результаты – вы говорите, модель расшифровывает и отвечает.
Модель гибкая, работает с разными модальностями без огромных датасетов. Тесты показали, что она справляется на уровне или лучше существующих моделей.
Статья
Как научить LLM накапливать опыт и решать задачи как человек?
Заметили, что даже лучшие LLM решают каждую задачу с нуля, без памяти о прошлом опыте? Люди-эксперты, напротив, накапливают опыт и сотрудничают.
Новая статья представляет Xolver — мультиагентную систему, позволяющую LLM накапливать опыт для эффективного решения задач. Система имитирует команду экспертов: несколько агентов (математик, программист, проверяющий) совместно решают задачу, обмениваются информацией через общую память, используют инструменты и итеративно улучшают решение, получая отзывы от "судьи".
Xolver превзошел даже более крупные и специализированные модели на математических и программных задачах.
В отличие от подхода Self-Refine, Xolver объединяет мультиагентное взаимодействие с накоплением опыта, что дает дополнительные преимущества.
Этот подход приближает LLM к человеческому уровню рассуждений. Возможно, скоро языковые модели будут учиться на своих ошибках, как люди.
Статья
Заметили, что даже лучшие LLM решают каждую задачу с нуля, без памяти о прошлом опыте? Люди-эксперты, напротив, накапливают опыт и сотрудничают.
Новая статья представляет Xolver — мультиагентную систему, позволяющую LLM накапливать опыт для эффективного решения задач. Система имитирует команду экспертов: несколько агентов (математик, программист, проверяющий) совместно решают задачу, обмениваются информацией через общую память, используют инструменты и итеративно улучшают решение, получая отзывы от "судьи".
Xolver превзошел даже более крупные и специализированные модели на математических и программных задачах.
В отличие от подхода Self-Refine, Xolver объединяет мультиагентное взаимодействие с накоплением опыта, что дает дополнительные преимущества.
Этот подход приближает LLM к человеческому уровню рассуждений. Возможно, скоро языковые модели будут учиться на своих ошибках, как люди.
Статья
Давайте исследуем мир с помощью видеодатасета SEKAI и модели YUME
Вы когда-нибудь хотели прогуляться по улицам Токио или полетать на дроне над Альпами, не выходя из дома? Теперь это возможно благодаря новому видеодатасету SEKAI (せかい — «мир» по-японски). Исследователи собрали более 5000 часов видео прогулок и полетов из 101 страны и 750 городов с детальными аннотациями: местоположение, погода, время суток, плотность людей и траектории камеры.
Предыдущие датасеты для генерации видео были ограничены короткими роликами и скудными метками. SEKAI решает эти проблемы, предоставляя богатый материал для обучения моделей, способных создавать реалистичные миры для интерактивного исследования.
Авторы также представили модель YUME (ゆめ — «мечта»), позволяющую виртуально перемещаться по этим мирам, управляя камерой как в игре. Это шаг к созданию захватывающих виртуальных миров для исследований и приключений.
Статья
Вы когда-нибудь хотели прогуляться по улицам Токио или полетать на дроне над Альпами, не выходя из дома? Теперь это возможно благодаря новому видеодатасету SEKAI (せかい — «мир» по-японски). Исследователи собрали более 5000 часов видео прогулок и полетов из 101 страны и 750 городов с детальными аннотациями: местоположение, погода, время суток, плотность людей и траектории камеры.
Предыдущие датасеты для генерации видео были ограничены короткими роликами и скудными метками. SEKAI решает эти проблемы, предоставляя богатый материал для обучения моделей, способных создавать реалистичные миры для интерактивного исследования.
Авторы также представили модель YUME (ゆめ — «мечта»), позволяющую виртуально перемещаться по этим мирам, управляя камерой как в игре. Это шаг к созданию захватывающих виртуальных миров для исследований и приключений.
Статья
GURU: RL учит LLM рассуждать не только в математике
Большинство исследований по улучшению рассуждений в LLM с помощью RL фокусируется на математике и коде. Но что с другими областями? Представляем GURU — датасет для обучения RL на шести разных доменах: математика, код, наука, логика, симуляция и таблицы. Авторы показали, что привычные выводы о RL не всегда верны в других областях. Например, в знакомых доменах RL помогает извлечь существующие знания, а в новых — реально обучает модель новым навыкам. Их модели GURU-7B и GURU-32B превзошли другие открытые модели по задачам общего рассуждения.
Важно, что RL в одном домене не всегда переносится на другие. В незнакомых областях нужно обучать модель на данных из этих же областей. Вывод: если хотим универсальные LLM, нужно обучать их на разнообразных данных с помощью RL.
P.S. Код, модели и датасет доступны по ссылке: https://github.com/LLM360/Reasoning360
Статья
Большинство исследований по улучшению рассуждений в LLM с помощью RL фокусируется на математике и коде. Но что с другими областями? Представляем GURU — датасет для обучения RL на шести разных доменах: математика, код, наука, логика, симуляция и таблицы. Авторы показали, что привычные выводы о RL не всегда верны в других областях. Например, в знакомых доменах RL помогает извлечь существующие знания, а в новых — реально обучает модель новым навыкам. Их модели GURU-7B и GURU-32B превзошли другие открытые модели по задачам общего рассуждения.
Важно, что RL в одном домене не всегда переносится на другие. В незнакомых областях нужно обучать модель на данных из этих же областей. Вывод: если хотим универсальные LLM, нужно обучать их на разнообразных данных с помощью RL.
P.S. Код, модели и датасет доступны по ссылке: https://github.com/LLM360/Reasoning360
Статья
GURU: Прорыв в усиленном обучении LLM для общих рассуждений
Обычно усиленное обучение (RL) для больших языковых моделей (LLM) применяют в областях математики и кода. Но что, если мы хотим научить модель рассуждать в более широком спектре задач? Авторы новой статьи представляют GURU — тщательно подобранный датасет из шести разнообразных областей: математика, код, наука, логика, симуляции и работа с таблицами.
Они обнаружили, что применение RL в разных доменах даёт различные результаты. Там, где модель уже "знает" область (математика, код), RL помогает извлечь эти знания. В новых областях (логика, симуляции) RL действительно учит модель новым навыкам.
В итоге они создали модели GURU-7B и GURU-32B, которые превосходят существующие открытые модели в общем рассуждении. Это важный шаг к созданию LLM с универсальными способностями к рассуждению, а не только в узких областях. Код и датасет доступны на GitHub для сообщества.
Статья
Обычно усиленное обучение (RL) для больших языковых моделей (LLM) применяют в областях математики и кода. Но что, если мы хотим научить модель рассуждать в более широком спектре задач? Авторы новой статьи представляют GURU — тщательно подобранный датасет из шести разнообразных областей: математика, код, наука, логика, симуляции и работа с таблицами.
Они обнаружили, что применение RL в разных доменах даёт различные результаты. Там, где модель уже "знает" область (математика, код), RL помогает извлечь эти знания. В новых областях (логика, симуляции) RL действительно учит модель новым навыкам.
В итоге они создали модели GURU-7B и GURU-32B, которые превосходят существующие открытые модели в общем рассуждении. Это важный шаг к созданию LLM с универсальными способностями к рассуждению, а не только в узких областях. Код и датасет доступны на GitHub для сообщества.
Статья
Show-O2: Универсальная мультимодальная модель для текста, изображений и видео
Возможно ли создать единую модель, понимающую и генерирующую текст, изображения и видео? Да! Новая статья представляет улучшенную унифицированную мультимодальную модель Show-O2 с такими возможностями.
Ключевой подход – использование 3D causal VAE, обрабатывающего изображения и видео в едином пространстве. Авторы создали унифицированные визуальные представления, объединяющие семантические и низкоуровневые признаки через механизм двойного пути пространственно-временного объединения.
Модель превосходит существующие методы по большинству метрик без необходимости в огромных текстовых корпусах для обучения.
Мы приближаемся к созданию действительно универсальных моделей, способных интегрировать все виды данных.
Статья
Возможно ли создать единую модель, понимающую и генерирующую текст, изображения и видео? Да! Новая статья представляет улучшенную унифицированную мультимодальную модель Show-O2 с такими возможностями.
Ключевой подход – использование 3D causal VAE, обрабатывающего изображения и видео в едином пространстве. Авторы создали унифицированные визуальные представления, объединяющие семантические и низкоуровневые признаки через механизм двойного пути пространственно-временного объединения.
Модель превосходит существующие методы по большинству метрик без необходимости в огромных текстовых корпусах для обучения.
Мы приближаемся к созданию действительно универсальных моделей, способных интегрировать все виды данных.
Статья
Скоро голосовые ассистенты научатся распознавать 40 эмоций! (by Intel)
Машины уже научились синтезировать голос с невероятной точностью, но распознавание тонких эмоций в речи до сих пор оставалось вызовом. Исследователи из Intel и DFKI представили два новых синтетических датасета — EMONET-VOICE BIG и EMONET-VOICE BENCH. Они содержат более 4 500 часов речи на четырёх языках и охватывают 40 различных эмоциональных состояний!
На основе этих данных они разработали модели EMPATHIC INSIGHT-VOICE, которые устанавливают новый стандарт в распознавании эмоций в речи. Теперь ИИ сможет различать не только базовые эмоции, но и более сложные, такие как смущение, зависть или гордость. Это большой шаг к улучшению взаимодействия человека и машины.
Похоже, эмоционально интеллигентные ИИ уже не за горами!
Статья
Машины уже научились синтезировать голос с невероятной точностью, но распознавание тонких эмоций в речи до сих пор оставалось вызовом. Исследователи из Intel и DFKI представили два новых синтетических датасета — EMONET-VOICE BIG и EMONET-VOICE BENCH. Они содержат более 4 500 часов речи на четырёх языках и охватывают 40 различных эмоциональных состояний!
На основе этих данных они разработали модели EMPATHIC INSIGHT-VOICE, которые устанавливают новый стандарт в распознавании эмоций в речи. Теперь ИИ сможет различать не только базовые эмоции, но и более сложные, такие как смущение, зависть или гордость. Это большой шаг к улучшению взаимодействия человека и машины.
Похоже, эмоционально интеллигентные ИИ уже не за горами!
Статья
**Как обучить LLM без обучения? Drag-and-Drop LLMs!**
Большие языковые модели мощны, но их дообучение требует времени и ресурсов даже с LoRA. А что, если адаптировать LLM к новой задаче за секунды без градиентного спуска?
Статья «Drag-and-Drop LLMs» предлагает радикальный подход: генерировать адаптеры LoRA напрямую из промптов задачи! Авторы используют гиперсеть, состоящую из текстового энкодера и гиперконволюционного декодера, которая по батчу промптов выдает готовые веса адаптера.
Результат впечатляет: адаптация происходит до 12 000 раз быстрее, а качество даже превосходит обычное дообучение LoRA. Это стало возможно благодаря рассмотрению весов модели как данных, генерируемых по запросу.
Такой подход открывает новые горизонты в адаптации LLM и может значительно ускорить их применение в различных областях.
Статья
Большие языковые модели мощны, но их дообучение требует времени и ресурсов даже с LoRA. А что, если адаптировать LLM к новой задаче за секунды без градиентного спуска?
Статья «Drag-and-Drop LLMs» предлагает радикальный подход: генерировать адаптеры LoRA напрямую из промптов задачи! Авторы используют гиперсеть, состоящую из текстового энкодера и гиперконволюционного декодера, которая по батчу промптов выдает готовые веса адаптера.
Результат впечатляет: адаптация происходит до 12 000 раз быстрее, а качество даже превосходит обычное дообучение LoRA. Это стало возможно благодаря рассмотрению весов модели как данных, генерируемых по запросу.
Такой подход открывает новые горизонты в адаптации LLM и может значительно ускорить их применение в различных областях.
Статья
VIKI-Bench: учим роботов сотрудничать как в «Я, робот»
Помните суперкомпьютер VIKI из фильма «Я, робот»? Авторы новой статьи представили VIKI-Bench — первый бенчмарк для оценки способности визуально-языковых моделей координировать гетерогенные мультиагентные системы в сложных 3D средах.
VIKI-Bench предлагает три уровня задач: активация агентов, планирование задач и восприятие траекторий. Авторы разработали VIKI-R — фреймворк на основе VLM, улучшающий визуальное рассуждение с помощью обучения с подкреплением.
VIKI-R значительно превосходит базовые методы на всех уровнях задач. Это важный шаг к созданию систем, где роботы с разными возможностями эффективно сотрудничают, опираясь на визуальную информацию.
Работа перекликается с исследованиями по использованию языковых моделей для многороботного планирования, но с акцентом на визуальное восприятие. Мы становимся ближе к сценарию, где роботы совместно решают сложные задачи в реальном мире.
Статья
Помните суперкомпьютер VIKI из фильма «Я, робот»? Авторы новой статьи представили VIKI-Bench — первый бенчмарк для оценки способности визуально-языковых моделей координировать гетерогенные мультиагентные системы в сложных 3D средах.
VIKI-Bench предлагает три уровня задач: активация агентов, планирование задач и восприятие траекторий. Авторы разработали VIKI-R — фреймворк на основе VLM, улучшающий визуальное рассуждение с помощью обучения с подкреплением.
VIKI-R значительно превосходит базовые методы на всех уровнях задач. Это важный шаг к созданию систем, где роботы с разными возможностями эффективно сотрудничают, опираясь на визуальную информацию.
Работа перекликается с исследованиями по использованию языковых моделей для многороботного планирования, но с акцентом на визуальное восприятие. Мы становимся ближе к сценарию, где роботы совместно решают сложные задачи в реальном мире.
Статья
RAG на новом уровне: мультимодальная нарезка документов (by Google)
Большие языковые модели совершенствуются благодаря мультимодальным подходам к обработке документов. Исследователи предложили улучшить системы RAG с помощью мультимодальной нарезки документов. Традиционные методы разделения текста часто упускают важную информацию из таблиц, диаграмм и сложной структуры PDF.
Авторы используют крупные мультимодальные модели (LMM), например Gemini-2.5-Pro, для обработки PDF пакетами по нескольку страниц, сохраняя контекст и структуру. Этот подход позволяет лучше понимать документы со сложной версткой, сохраняя семантическую целостность и улучшая поиск.
В результате системы RAG демонстрируют более высокую точность и качество ответов, особенно на документах с богатым мультимедийным содержанием.
Это направление открывает новые возможности для обработки технических мануалов, финансовых отчетов и исследовательских статей.
Статья
Большие языковые модели совершенствуются благодаря мультимодальным подходам к обработке документов. Исследователи предложили улучшить системы RAG с помощью мультимодальной нарезки документов. Традиционные методы разделения текста часто упускают важную информацию из таблиц, диаграмм и сложной структуры PDF.
Авторы используют крупные мультимодальные модели (LMM), например Gemini-2.5-Pro, для обработки PDF пакетами по нескольку страниц, сохраняя контекст и структуру. Этот подход позволяет лучше понимать документы со сложной версткой, сохраняя семантическую целостность и улучшая поиск.
В результате системы RAG демонстрируют более высокую точность и качество ответов, особенно на документах с богатым мультимедийным содержанием.
Это направление открывает новые возможности для обработки технических мануалов, финансовых отчетов и исследовательских статей.
Статья
OmniGen2: генерируем всё и сразу в одной модели
Задумывались, как объединить все задачи генерации изображений в одной модели? Представляем OmniGen2 — открытую модель, которая умеет всё: от генерации по тексту до редактирования и контекстной генерации.
В отличие от предшественника, OmniGen2 использует разные архитектуры для авторегрессии и диффузии, эффективно справляясь с разными задачами без потери качества.
Модель использует замороженную мультимодальную языковую модель для понимания и генерации текста, сохраняя её способности. Для обработки изображений применяется VAE для низкоуровневой визуальной информации.
Авторы также представили новые датасеты и бенчмарк OmniContext для оценки моделей в контекстной генерации. OmniGen2 показывает отличные результаты во всех областях, оставаясь компактной и эффективной.
В целом, OmniGen2 — шаг вперёд к универсальной и мощной модели для всех задач генерации изображений.
Статья
Задумывались, как объединить все задачи генерации изображений в одной модели? Представляем OmniGen2 — открытую модель, которая умеет всё: от генерации по тексту до редактирования и контекстной генерации.
В отличие от предшественника, OmniGen2 использует разные архитектуры для авторегрессии и диффузии, эффективно справляясь с разными задачами без потери качества.
Модель использует замороженную мультимодальную языковую модель для понимания и генерации текста, сохраняя её способности. Для обработки изображений применяется VAE для низкоуровневой визуальной информации.
Авторы также представили новые датасеты и бенчмарк OmniContext для оценки моделей в контекстной генерации. OmniGen2 показывает отличные результаты во всех областях, оставаясь компактной и эффективной.
В целом, OmniGen2 — шаг вперёд к универсальной и мощной модели для всех задач генерации изображений.
Статья