RPT: как заставить модель подумать, прежде чем говорить?
Большие языковые модели (LLM) обучаются предсказывать следующий токен. Но что если заставить модель рассуждать о нем перед выдачей?
Авторы представили Reinforcement Pre-Training (RPT) — подход, сочетающий масштабируемость обучения на огромных корпусах с возможностями обучения с подкреплением. Идея в том, чтобы превратить предсказание токена в задачу рассуждения о нем. Модель получает награду за правильное рассуждение и предсказание следующего токена, используя информацию из самого корпуса.
Преимущества: нет необходимости в дорогих данных от людей (как в RLHF), риск "взлома" награды минимален, поскольку она основана на правильности предсказания. Модель учится глубже понимать текст, а не просто запоминать последовательности.
Эксперименты показывают, что RPT улучшает точность предсказания, повышает производительность на новых задачах и служит хорошей основой для дальнейшего обучения с подкреплением.
Статья
Большие языковые модели (LLM) обучаются предсказывать следующий токен. Но что если заставить модель рассуждать о нем перед выдачей?
Авторы представили Reinforcement Pre-Training (RPT) — подход, сочетающий масштабируемость обучения на огромных корпусах с возможностями обучения с подкреплением. Идея в том, чтобы превратить предсказание токена в задачу рассуждения о нем. Модель получает награду за правильное рассуждение и предсказание следующего токена, используя информацию из самого корпуса.
Преимущества: нет необходимости в дорогих данных от людей (как в RLHF), риск "взлома" награды минимален, поскольку она основана на правильности предсказания. Модель учится глубже понимать текст, а не просто запоминать последовательности.
Эксперименты показывают, что RPT улучшает точность предсказания, повышает производительность на новых задачах и служит хорошей основой для дальнейшего обучения с подкреплением.
Статья
Как запустить LLM на вашем телефоне: MiniCPM4
Вы думали, что большие языковые модели работают только на мощных серверах? Что ж, теперь их можно запускать даже на вашем телефоне!
В свежей статье про MiniCPM4 авторы показали, как создать 8-миллиардную модель, которая эффективно работает на устройствах с ограниченными ресурсами.
Как им это удалось? Они применили обучаемое разреженное внимание (InfLLM v2), позволяющее обрабатывать длинные тексты без больших затрат.
Также они разработали UltraClean — методы фильтрации данных для предобучения, что позволило обучить модель на меньшем объёме данных без потери качества.
Кроме того, специальные стратегии предобучения (ModelTunnel v2) и оптимизированные фреймворки для инференса (CPM.cu и ArkInfer) помогли достичь высокой эффективности.
В итоге, MiniCPM4 по качеству не уступает большим моделям, но может работать на вашем устройстве.
Кто знает, может скоро GPT-4 будет работать прямо на вашем холодильнике!
Статья
Вы думали, что большие языковые модели работают только на мощных серверах? Что ж, теперь их можно запускать даже на вашем телефоне!
В свежей статье про MiniCPM4 авторы показали, как создать 8-миллиардную модель, которая эффективно работает на устройствах с ограниченными ресурсами.
Как им это удалось? Они применили обучаемое разреженное внимание (InfLLM v2), позволяющее обрабатывать длинные тексты без больших затрат.
Также они разработали UltraClean — методы фильтрации данных для предобучения, что позволило обучить модель на меньшем объёме данных без потери качества.
Кроме того, специальные стратегии предобучения (ModelTunnel v2) и оптимизированные фреймворки для инференса (CPM.cu и ArkInfer) помогли достичь высокой эффективности.
В итоге, MiniCPM4 по качеству не уступает большим моделям, но может работать на вашем устройстве.
Кто знает, может скоро GPT-4 будет работать прямо на вашем холодильнике!
Статья
PlayerOne: станьте свободным авантюристом в виртуальном мире!
Мечтали ли вы свободно исследовать виртуальный мир, как реальный? "PlayerOne" делает это возможным! Теперь вы — активный участник, а не просто наблюдатель.
PlayerOne использует реальные движения человека, захваченные камерой, чтобы вы могли управлять аватаром в виртуальном мире без ограничений, в отличие от прежних методов с предопределёнными действиями. Сцена остаётся согласованной, а баланс качества и производительности соблюдён.
Основные особенности:
- Раздельный контроль частей тела (голова, руки, ноги) для точного взаимодействия.
- Совместная реконструкция сцены и кадров для непрерывной и согласованной генерации.
Авторы также разработали автоматизированный конвейер для создания датасета пар "движение-видео", что позволило обучить модель при нехватке данных.
PlayerOne — большой шаг вперёд в моделировании динамичных миров, приближая виртуальную реальность к настоящей!
Статья
Мечтали ли вы свободно исследовать виртуальный мир, как реальный? "PlayerOne" делает это возможным! Теперь вы — активный участник, а не просто наблюдатель.
PlayerOne использует реальные движения человека, захваченные камерой, чтобы вы могли управлять аватаром в виртуальном мире без ограничений, в отличие от прежних методов с предопределёнными действиями. Сцена остаётся согласованной, а баланс качества и производительности соблюдён.
Основные особенности:
- Раздельный контроль частей тела (голова, руки, ноги) для точного взаимодействия.
- Совместная реконструкция сцены и кадров для непрерывной и согласованной генерации.
Авторы также разработали автоматизированный конвейер для создания датасета пар "движение-видео", что позволило обучить модель при нехватке данных.
PlayerOne — большой шаг вперёд в моделировании динамичных миров, приближая виртуальную реальность к настоящей!
Статья
Seedance 1.0: Двуязычная генерация видео от ByteDance
ByteDance представили Seedance 1.0 — двуязычную модель генерации видео по текстовым или визуальным подсказкам на китайском и английском языках. Модель объединяет задачи T2V и I2V в одной архитектуре, обеспечивая высокое качество видео, точное следование инструкциям и плавные движения.
Seedance 1.0 использует большие объемы данных с детальными видеокапшнами, эффективную архитектуру с раздельными пространственными и временными слоями, постобучение с помощью SFT и RLHF, а также ускоренный инференс через дистилляцию и оптимизацию.
Модель поддерживает мультишотовую генерацию, создавая видеоролики с плавными переходами и разными стилями, открывая новые возможности для сложных видео-сценариев.
Seedance 1.0 планируют интегрировать в платформы Doubao и Jimeng в июне 2025 года. Похоже, будущее генерации видео по тексту уже близко!
Статья
ByteDance представили Seedance 1.0 — двуязычную модель генерации видео по текстовым или визуальным подсказкам на китайском и английском языках. Модель объединяет задачи T2V и I2V в одной архитектуре, обеспечивая высокое качество видео, точное следование инструкциям и плавные движения.
Seedance 1.0 использует большие объемы данных с детальными видеокапшнами, эффективную архитектуру с раздельными пространственными и временными слоями, постобучение с помощью SFT и RLHF, а также ускоренный инференс через дистилляцию и оптимизацию.
Модель поддерживает мультишотовую генерацию, создавая видеоролики с плавными переходами и разными стилями, открывая новые возможности для сложных видео-сценариев.
Seedance 1.0 планируют интегрировать в платформы Doubao и Jimeng в июне 2025 года. Похоже, будущее генерации видео по тексту уже близко!
Статья
**Как научить LLM реальной разработке? SWE-Flow на основе TDD**
Большие языковые модели хорошо справляются с кодом, но в реальной разработке сталкиваются с трудностями: сложные зависимости, поэтапные изменения, работа с многими файлами. Авторы представили SWE-Flow — подход, синтезирующий данные для обучения LLM на основе Test-Driven Development (TDD).
SWE-Flow автоматически извлекает процесс разработки из юнит-тестов, создавая качественные тренировочные примеры без ручной разметки. Это позволяет обучить модели решать реальные задачи разработки.
Авторы также представили SWE-Flow-Bench — бенчмарк для оценки LLM в TDD-сценариях. Обучив модель на таких данных, они значительно улучшили её способности в реальной разработке.
Коды и модели выложены в открытый доступ, что способствует развитию сообщества и созданию более продвинутых инструментов для разработчиков.
Статья
Большие языковые модели хорошо справляются с кодом, но в реальной разработке сталкиваются с трудностями: сложные зависимости, поэтапные изменения, работа с многими файлами. Авторы представили SWE-Flow — подход, синтезирующий данные для обучения LLM на основе Test-Driven Development (TDD).
SWE-Flow автоматически извлекает процесс разработки из юнит-тестов, создавая качественные тренировочные примеры без ручной разметки. Это позволяет обучить модели решать реальные задачи разработки.
Авторы также представили SWE-Flow-Bench — бенчмарк для оценки LLM в TDD-сценариях. Обучив модель на таких данных, они значительно улучшили её способности в реальной разработке.
Коды и модели выложены в открытый доступ, что способствует развитию сообщества и созданию более продвинутых инструментов для разработчиков.
Статья
Можно ли научить LLM лучше думать по медицине? Соберём армию нейросетей и создадим ReasonMed!
Исследователи заметили, что большие языковые модели плохо справляются с медицинскими задачами из-за нехватки качественных данных. Их решение — создать ReasonMed, датасет из 370 тысяч проверенных медицинских вопросов с многошаговыми рассуждениями. Для этого они объединили несколько мощных LLM в мультиагентную систему и сгенерировали 1,75 миллиона цепочек размышлений.
После строгой валидации они сравнили разные подходы к обучению: Chain-of-Thought, краткие ответы и гибридный метод. Гибридный подход, сочетающий подробные рассуждения с их кратким резюме, показал наилучшие результаты.
Модель ReasonMed-7B превзошла все модели того же размера и даже некоторые более крупные на медицинских задачах. Похоже, чтобы LLM стали отличными врачами, нужно дать им больше хороших примеров и команду "коллег" для поддержки.
Статья
Исследователи заметили, что большие языковые модели плохо справляются с медицинскими задачами из-за нехватки качественных данных. Их решение — создать ReasonMed, датасет из 370 тысяч проверенных медицинских вопросов с многошаговыми рассуждениями. Для этого они объединили несколько мощных LLM в мультиагентную систему и сгенерировали 1,75 миллиона цепочек размышлений.
После строгой валидации они сравнили разные подходы к обучению: Chain-of-Thought, краткие ответы и гибридный метод. Гибридный подход, сочетающий подробные рассуждения с их кратким резюме, показал наилучшие результаты.
Модель ReasonMed-7B превзошла все модели того же размера и даже некоторые более крупные на медицинских задачах. Похоже, чтобы LLM стали отличными врачами, нужно дать им больше хороших примеров и команду "коллег" для поддержки.
Статья
Может ли диффузионная модель научиться восстанавливать текст на изображениях?
Современные модели восстановления изображений хорошо справляются с различными искажениями, но текст на картинках они обрабатывают плохо: надписи размываются или превращаются в бессмысленные символы. Это проблема для распознавания документов, дорожных знаков и AR-навигации.
В новой статье представлена задача Text-Aware Image Restoration (TAIR). Авторы создали датасет SA-Text с аннотациями текста и разработали модель TeReDiff, объединяющую диффузионную модель с модулем распознавания текста. Модель использует функции диффузии для улучшения распознавания, а результаты распознавания помогают восстановлению изображения.
Этот подход позволяет гораздо лучше восстанавливать текстовые области, сохраняя общее качество изображения, что важно для приложений с текстовой информацией на изображениях.
Статья
Современные модели восстановления изображений хорошо справляются с различными искажениями, но текст на картинках они обрабатывают плохо: надписи размываются или превращаются в бессмысленные символы. Это проблема для распознавания документов, дорожных знаков и AR-навигации.
В новой статье представлена задача Text-Aware Image Restoration (TAIR). Авторы создали датасет SA-Text с аннотациями текста и разработали модель TeReDiff, объединяющую диффузионную модель с модулем распознавания текста. Модель использует функции диффузии для улучшения распознавания, а результаты распознавания помогают восстановлению изображения.
Этот подход позволяет гораздо лучше восстанавливать текстовые области, сохраняя общее качество изображения, что важно для приложений с текстовой информацией на изображениях.
Статья
ReasonMed: Мультиагентные LLM объединились для медицинского прорыва
Вы знали, что большие языковые модели отлично справляются с математикой и программированием, но в медицине всё ещё отстают? Проблема — нехватка качественных данных. В новой статье представили ReasonMed — крупнейший открытый датасет на 370 тысяч примеров медицинских рассуждений.
Как они этого добились? Собрали 195 тысяч вопросов из бенчмарков и привлекли три мощные LLM (Qwen-2.5-72B, HuatuoGPT-o1-70B, DeepSeek-R1-Distill-Llama-70B), чтобы сгенерировать 1,75 млн вариантов рассуждений. Затем тщательно отфильтровали данные с помощью GPT-4o-mini.
В итоге обучили ReasonMed-7B, которая превзошла все модели до 10B параметров в медицинском QA и даже обошла некоторые более крупные модели. Это показывает, как объединение данных от разных LLM и качественная фильтрация улучшают результаты.
Теперь медицинские LLM могут догнать своих коллег в других областях!
Статья
Вы знали, что большие языковые модели отлично справляются с математикой и программированием, но в медицине всё ещё отстают? Проблема — нехватка качественных данных. В новой статье представили ReasonMed — крупнейший открытый датасет на 370 тысяч примеров медицинских рассуждений.
Как они этого добились? Собрали 195 тысяч вопросов из бенчмарков и привлекли три мощные LLM (Qwen-2.5-72B, HuatuoGPT-o1-70B, DeepSeek-R1-Distill-Llama-70B), чтобы сгенерировать 1,75 млн вариантов рассуждений. Затем тщательно отфильтровали данные с помощью GPT-4o-mini.
В итоге обучили ReasonMed-7B, которая превзошла все модели до 10B параметров в медицинском QA и даже обошла некоторые более крупные модели. Это показывает, как объединение данных от разных LLM и качественная фильтрация улучшают результаты.
Теперь медицинские LLM могут догнать своих коллег в других областях!
Статья
Искусственный интеллект сам строит себе задачи: SWE-Factory
Представьте, что модели вроде GPT не только решают задачи, но и сами создают для себя новые бенчмарки для обучения. В свежей статье представлена система SWE-Factory, которая автоматически генерирует задания по исправлению ошибок на GitHub без ручной работы.
Авторы используют мультиагентный подход с LLM-агентами (SWE-Builder), которые сами собирают окружение, пишут скрипты для тестов и проводят валидацию. Это значительно ускоряет создание крупных и качественных датасетов для обучения и оценки языковых моделей.
Такая автоматизация открывает двери для ещё более быстрого развития ИИ, где модели смогут совершенствоваться практически автономно. Возможно, мы стоим на пороге новой эры самообучающихся систем.
Статья
Представьте, что модели вроде GPT не только решают задачи, но и сами создают для себя новые бенчмарки для обучения. В свежей статье представлена система SWE-Factory, которая автоматически генерирует задания по исправлению ошибок на GitHub без ручной работы.
Авторы используют мультиагентный подход с LLM-агентами (SWE-Builder), которые сами собирают окружение, пишут скрипты для тестов и проводят валидацию. Это значительно ускоряет создание крупных и качественных датасетов для обучения и оценки языковых моделей.
Такая автоматизация открывает двери для ещё более быстрого развития ИИ, где модели смогут совершенствоваться практически автономно. Возможно, мы стоим на пороге новой эры самообучающихся систем.
Статья
Как научить диффузионные модели восстанавливать текст на изображениях?
Вы замечали, что современные методы восстановления изображений плохо справляются с текстовыми областями? Шум они устраняют, но текст часто остается размытым и нечитаемым. А ведь для задач вроде оцифровки документов или навигации важно сохранить текстовую информацию.
В новой статье "Text-Aware Image Restoration (TAIR)" авторы предлагают подход, позволяющий вместе с изображением восстанавливать и текст. Они создали датасет SA-Text с аннотированными текстовыми регионами и разработали модель TeReDiff, которая объединяет диффузионную модель с модулем распознавания текста. Используя диффузионные признаки U-Net для распознавания, модель улучшает качество восстановления текста и изображения одновременно.
Это первый шаг к моделям, которые могут восстанавливать изображения, сохраняя текстовую информацию. Возможно, это вдохновит дальнейшие исследования на стыке обработки изображений и распознавания текста.
Статья
Вы замечали, что современные методы восстановления изображений плохо справляются с текстовыми областями? Шум они устраняют, но текст часто остается размытым и нечитаемым. А ведь для задач вроде оцифровки документов или навигации важно сохранить текстовую информацию.
В новой статье "Text-Aware Image Restoration (TAIR)" авторы предлагают подход, позволяющий вместе с изображением восстанавливать и текст. Они создали датасет SA-Text с аннотированными текстовыми регионами и разработали модель TeReDiff, которая объединяет диффузионную модель с модулем распознавания текста. Используя диффузионные признаки U-Net для распознавания, модель улучшает качество восстановления текста и изображения одновременно.
Это первый шаг к моделям, которые могут восстанавливать изображения, сохраняя текстовую информацию. Возможно, это вдохновит дальнейшие исследования на стыке обработки изображений и распознавания текста.
Статья
**Как автоматизировать создание бенчмарков для GitHub задач? SWE-Factory спешит на помощь!**
Создание бенчмарков для задач по решению GitHub issues требует много ручной работы. Новая работа представляет SWE-Factory — автоматизированный конвейер для создания таких бенчмарков.
В основе SWE-Factory лежит агент SWE-Builder, который с помощью больших языковых моделей автоматизирует сбор информации из репозиториев, генерирует Dockerfile, пишет скрипты для тестов и анализирует результаты. Для оценки прохождения тестов используются выходные коды программ.
Эксперименты показали, что SWE-Factory может успешно создать 269 валидных бенчмарков из 671 задач, охватывая Python, Java, JavaScript и TypeScript — всё без ручного вмешательства.
Теперь разработчики могут быстрее создавать качественные бенчмарки для задач на GitHub!
Статья
Создание бенчмарков для задач по решению GitHub issues требует много ручной работы. Новая работа представляет SWE-Factory — автоматизированный конвейер для создания таких бенчмарков.
В основе SWE-Factory лежит агент SWE-Builder, который с помощью больших языковых моделей автоматизирует сбор информации из репозиториев, генерирует Dockerfile, пишет скрипты для тестов и анализирует результаты. Для оценки прохождения тестов используются выходные коды программ.
Эксперименты показали, что SWE-Factory может успешно создать 269 валидных бенчмарков из 671 задач, охватывая Python, Java, JavaScript и TypeScript — всё без ручного вмешательства.
Теперь разработчики могут быстрее создавать качественные бенчмарки для задач на GitHub!
Статья
Как научить диффузионные модели восстанавливать текст на изображениях?
Замечали, как современные модели восстановления изображений замазывают текст или превращают его в нечитаемые символы? Особенно обидно для уличных знаков или важных надписей.
Исследователи предложили задачу Text-Aware Image Restoration (TAIR). Они создали датасет SA-Text из 100 тысяч изображений с текстами и разработали модель TeReDiff, сочетающую диффузионные модели с модулем распознавания текста.
TeReDiff использует распознанный текст как подсказку при восстановлении. Это позволяет модели восстанавливать текстовые области точнее и избегать "текстовых галлюцинаций".
Результаты впечатляют: тексты становятся читабельными при сохранении общего визуального качества. Это важный шаг для приложений, где критична точность текстовой информации.
P.S. Скоро диффузионные модели перестанут коверкать надписи и научатся воспроизводить их как нужно!
Статья
Замечали, как современные модели восстановления изображений замазывают текст или превращают его в нечитаемые символы? Особенно обидно для уличных знаков или важных надписей.
Исследователи предложили задачу Text-Aware Image Restoration (TAIR). Они создали датасет SA-Text из 100 тысяч изображений с текстами и разработали модель TeReDiff, сочетающую диффузионные модели с модулем распознавания текста.
TeReDiff использует распознанный текст как подсказку при восстановлении. Это позволяет модели восстанавливать текстовые области точнее и избегать "текстовых галлюцинаций".
Результаты впечатляют: тексты становятся читабельными при сохранении общего визуального качества. Это важный шаг для приложений, где критична точность текстовой информации.
P.S. Скоро диффузионные модели перестанут коверкать надписи и научатся воспроизводить их как нужно!
Статья
**Как сгенерировать новые ракурсы сцены без известных поз камер?**
Представьте, что вы хотите реконструировать 3D-сцену из нескольких 2D-фотографий без информации о позициях камер. Новая работа предлагает подход, позволяющий генерировать новые виды из непозированных изображений, сочетая методы "warp-and-inpaint" с новыми трюками.
Авторы используют геометрию, предсказанную из нескольких изображений, проецируют её на новый ракурс, а затем с помощью диффузионных сетей заполняют недостающие части. Они обучают геометрический denoising U-Net для восполнения недостающей геометрии и вводят механизм "cross-modal attention instillation", обеспечивающий согласованность изображений и геометрии.
Это позволяет синтезировать новые виды даже в экстраполятивных ракурсах, где раньше модели терялись. Теперь можно получать 3D-сцены из небольшого набора фотографий без известных поз камер!
Статья
Представьте, что вы хотите реконструировать 3D-сцену из нескольких 2D-фотографий без информации о позициях камер. Новая работа предлагает подход, позволяющий генерировать новые виды из непозированных изображений, сочетая методы "warp-and-inpaint" с новыми трюками.
Авторы используют геометрию, предсказанную из нескольких изображений, проецируют её на новый ракурс, а затем с помощью диффузионных сетей заполняют недостающие части. Они обучают геометрический denoising U-Net для восполнения недостающей геометрии и вводят механизм "cross-modal attention instillation", обеспечивающий согласованность изображений и геометрии.
Это позволяет синтезировать новые виды даже в экстраполятивных ракурсах, где раньше модели терялись. Теперь можно получать 3D-сцены из небольшого набора фотографий без известных поз камер!
Статья
LongLLaDA: Диффузные LLM осваивают длинные контексты без обучения
Оказывается, диффузные языковые модели умеют работать с длинными текстами лучше, чем авторегрессионные LLM! Исследователи из Fudan University сравнили их производительность и обнаружили, что диффузные LLM сохраняют стабильную перплексию при увеличении длины контекста, в то время как у авторегрессионных моделей она резко растет.
Авторы объясняют это через теорию Rotary Position Embedding (RoPE) и предлагают метод LongLLaDA. Этот метод позволяет расширить контекст диффузных моделей без дополнительного обучения, используя NTK-скейлинг. В некоторых задачах, таких как извлечение информации из недавнего контекста, диффузные LLM даже превосходят авторегрессионные.
Это первое систематическое исследование долгоконтекстных возможностей диффузных LLM и методов их расширения. Возможно, мы стоим на пороге новых применений диффузных моделей в задачах с длинными текстами.
Статья
Оказывается, диффузные языковые модели умеют работать с длинными текстами лучше, чем авторегрессионные LLM! Исследователи из Fudan University сравнили их производительность и обнаружили, что диффузные LLM сохраняют стабильную перплексию при увеличении длины контекста, в то время как у авторегрессионных моделей она резко растет.
Авторы объясняют это через теорию Rotary Position Embedding (RoPE) и предлагают метод LongLLaDA. Этот метод позволяет расширить контекст диффузных моделей без дополнительного обучения, используя NTK-скейлинг. В некоторых задачах, таких как извлечение информации из недавнего контекста, диффузные LLM даже превосходят авторегрессионные.
Это первое систематическое исследование долгоконтекстных возможностей диффузных LLM и методов их расширения. Возможно, мы стоим на пороге новых применений диффузных моделей в задачах с длинными текстами.
Статья
**Stream-Omni: модель, которая одновременно слышит, видит и говорит**
Вы когда-нибудь хотели, чтобы модель понимала текст, изображения и речь одновременно? Объединить эти модальности сложно из-за различий в представлениях данных.
Большинство моделей специализируются на зрении или речи. Мультимодальные требуют огромных объёмов данных.
Stream-Omni объединила текст, зрение и речь эффективнее. Вместо "скармливания" всех данных в одну последовательность, авторы подошли осмысленнее.
Для визуальных данных используется объединение по последовательности. Для речи предложен механизм выравнивания по слоям с CTC, позволяющий преобразовывать речь в текст и обратно с меньшим количеством данных.
При голосовом взаимодействии Stream-Omni выводит промежуточные текстовые результаты – вы говорите, модель расшифровывает и отвечает.
Модель гибкая, работает с разными модальностями без огромных датасетов. Тесты показали, что она справляется на уровне или лучше существующих моделей.
Статья
Вы когда-нибудь хотели, чтобы модель понимала текст, изображения и речь одновременно? Объединить эти модальности сложно из-за различий в представлениях данных.
Большинство моделей специализируются на зрении или речи. Мультимодальные требуют огромных объёмов данных.
Stream-Omni объединила текст, зрение и речь эффективнее. Вместо "скармливания" всех данных в одну последовательность, авторы подошли осмысленнее.
Для визуальных данных используется объединение по последовательности. Для речи предложен механизм выравнивания по слоям с CTC, позволяющий преобразовывать речь в текст и обратно с меньшим количеством данных.
При голосовом взаимодействии Stream-Omni выводит промежуточные текстовые результаты – вы говорите, модель расшифровывает и отвечает.
Модель гибкая, работает с разными модальностями без огромных датасетов. Тесты показали, что она справляется на уровне или лучше существующих моделей.
Статья
Как научить LLM накапливать опыт и решать задачи как человек?
Заметили, что даже лучшие LLM решают каждую задачу с нуля, без памяти о прошлом опыте? Люди-эксперты, напротив, накапливают опыт и сотрудничают.
Новая статья представляет Xolver — мультиагентную систему, позволяющую LLM накапливать опыт для эффективного решения задач. Система имитирует команду экспертов: несколько агентов (математик, программист, проверяющий) совместно решают задачу, обмениваются информацией через общую память, используют инструменты и итеративно улучшают решение, получая отзывы от "судьи".
Xolver превзошел даже более крупные и специализированные модели на математических и программных задачах.
В отличие от подхода Self-Refine, Xolver объединяет мультиагентное взаимодействие с накоплением опыта, что дает дополнительные преимущества.
Этот подход приближает LLM к человеческому уровню рассуждений. Возможно, скоро языковые модели будут учиться на своих ошибках, как люди.
Статья
Заметили, что даже лучшие LLM решают каждую задачу с нуля, без памяти о прошлом опыте? Люди-эксперты, напротив, накапливают опыт и сотрудничают.
Новая статья представляет Xolver — мультиагентную систему, позволяющую LLM накапливать опыт для эффективного решения задач. Система имитирует команду экспертов: несколько агентов (математик, программист, проверяющий) совместно решают задачу, обмениваются информацией через общую память, используют инструменты и итеративно улучшают решение, получая отзывы от "судьи".
Xolver превзошел даже более крупные и специализированные модели на математических и программных задачах.
В отличие от подхода Self-Refine, Xolver объединяет мультиагентное взаимодействие с накоплением опыта, что дает дополнительные преимущества.
Этот подход приближает LLM к человеческому уровню рассуждений. Возможно, скоро языковые модели будут учиться на своих ошибках, как люди.
Статья
Давайте исследуем мир с помощью видеодатасета SEKAI и модели YUME
Вы когда-нибудь хотели прогуляться по улицам Токио или полетать на дроне над Альпами, не выходя из дома? Теперь это возможно благодаря новому видеодатасету SEKAI (せかい — «мир» по-японски). Исследователи собрали более 5000 часов видео прогулок и полетов из 101 страны и 750 городов с детальными аннотациями: местоположение, погода, время суток, плотность людей и траектории камеры.
Предыдущие датасеты для генерации видео были ограничены короткими роликами и скудными метками. SEKAI решает эти проблемы, предоставляя богатый материал для обучения моделей, способных создавать реалистичные миры для интерактивного исследования.
Авторы также представили модель YUME (ゆめ — «мечта»), позволяющую виртуально перемещаться по этим мирам, управляя камерой как в игре. Это шаг к созданию захватывающих виртуальных миров для исследований и приключений.
Статья
Вы когда-нибудь хотели прогуляться по улицам Токио или полетать на дроне над Альпами, не выходя из дома? Теперь это возможно благодаря новому видеодатасету SEKAI (せかい — «мир» по-японски). Исследователи собрали более 5000 часов видео прогулок и полетов из 101 страны и 750 городов с детальными аннотациями: местоположение, погода, время суток, плотность людей и траектории камеры.
Предыдущие датасеты для генерации видео были ограничены короткими роликами и скудными метками. SEKAI решает эти проблемы, предоставляя богатый материал для обучения моделей, способных создавать реалистичные миры для интерактивного исследования.
Авторы также представили модель YUME (ゆめ — «мечта»), позволяющую виртуально перемещаться по этим мирам, управляя камерой как в игре. Это шаг к созданию захватывающих виртуальных миров для исследований и приключений.
Статья
GURU: RL учит LLM рассуждать не только в математике
Большинство исследований по улучшению рассуждений в LLM с помощью RL фокусируется на математике и коде. Но что с другими областями? Представляем GURU — датасет для обучения RL на шести разных доменах: математика, код, наука, логика, симуляция и таблицы. Авторы показали, что привычные выводы о RL не всегда верны в других областях. Например, в знакомых доменах RL помогает извлечь существующие знания, а в новых — реально обучает модель новым навыкам. Их модели GURU-7B и GURU-32B превзошли другие открытые модели по задачам общего рассуждения.
Важно, что RL в одном домене не всегда переносится на другие. В незнакомых областях нужно обучать модель на данных из этих же областей. Вывод: если хотим универсальные LLM, нужно обучать их на разнообразных данных с помощью RL.
P.S. Код, модели и датасет доступны по ссылке: https://github.com/LLM360/Reasoning360
Статья
Большинство исследований по улучшению рассуждений в LLM с помощью RL фокусируется на математике и коде. Но что с другими областями? Представляем GURU — датасет для обучения RL на шести разных доменах: математика, код, наука, логика, симуляция и таблицы. Авторы показали, что привычные выводы о RL не всегда верны в других областях. Например, в знакомых доменах RL помогает извлечь существующие знания, а в новых — реально обучает модель новым навыкам. Их модели GURU-7B и GURU-32B превзошли другие открытые модели по задачам общего рассуждения.
Важно, что RL в одном домене не всегда переносится на другие. В незнакомых областях нужно обучать модель на данных из этих же областей. Вывод: если хотим универсальные LLM, нужно обучать их на разнообразных данных с помощью RL.
P.S. Код, модели и датасет доступны по ссылке: https://github.com/LLM360/Reasoning360
Статья
GURU: Прорыв в усиленном обучении LLM для общих рассуждений
Обычно усиленное обучение (RL) для больших языковых моделей (LLM) применяют в областях математики и кода. Но что, если мы хотим научить модель рассуждать в более широком спектре задач? Авторы новой статьи представляют GURU — тщательно подобранный датасет из шести разнообразных областей: математика, код, наука, логика, симуляции и работа с таблицами.
Они обнаружили, что применение RL в разных доменах даёт различные результаты. Там, где модель уже "знает" область (математика, код), RL помогает извлечь эти знания. В новых областях (логика, симуляции) RL действительно учит модель новым навыкам.
В итоге они создали модели GURU-7B и GURU-32B, которые превосходят существующие открытые модели в общем рассуждении. Это важный шаг к созданию LLM с универсальными способностями к рассуждению, а не только в узких областях. Код и датасет доступны на GitHub для сообщества.
Статья
Обычно усиленное обучение (RL) для больших языковых моделей (LLM) применяют в областях математики и кода. Но что, если мы хотим научить модель рассуждать в более широком спектре задач? Авторы новой статьи представляют GURU — тщательно подобранный датасет из шести разнообразных областей: математика, код, наука, логика, симуляции и работа с таблицами.
Они обнаружили, что применение RL в разных доменах даёт различные результаты. Там, где модель уже "знает" область (математика, код), RL помогает извлечь эти знания. В новых областях (логика, симуляции) RL действительно учит модель новым навыкам.
В итоге они создали модели GURU-7B и GURU-32B, которые превосходят существующие открытые модели в общем рассуждении. Это важный шаг к созданию LLM с универсальными способностями к рассуждению, а не только в узких областях. Код и датасет доступны на GitHub для сообщества.
Статья
Show-O2: Универсальная мультимодальная модель для текста, изображений и видео
Возможно ли создать единую модель, понимающую и генерирующую текст, изображения и видео? Да! Новая статья представляет улучшенную унифицированную мультимодальную модель Show-O2 с такими возможностями.
Ключевой подход – использование 3D causal VAE, обрабатывающего изображения и видео в едином пространстве. Авторы создали унифицированные визуальные представления, объединяющие семантические и низкоуровневые признаки через механизм двойного пути пространственно-временного объединения.
Модель превосходит существующие методы по большинству метрик без необходимости в огромных текстовых корпусах для обучения.
Мы приближаемся к созданию действительно универсальных моделей, способных интегрировать все виды данных.
Статья
Возможно ли создать единую модель, понимающую и генерирующую текст, изображения и видео? Да! Новая статья представляет улучшенную унифицированную мультимодальную модель Show-O2 с такими возможностями.
Ключевой подход – использование 3D causal VAE, обрабатывающего изображения и видео в едином пространстве. Авторы создали унифицированные визуальные представления, объединяющие семантические и низкоуровневые признаки через механизм двойного пути пространственно-временного объединения.
Модель превосходит существующие методы по большинству метрик без необходимости в огромных текстовых корпусах для обучения.
Мы приближаемся к созданию действительно универсальных моделей, способных интегрировать все виды данных.
Статья
Скоро голосовые ассистенты научатся распознавать 40 эмоций! (by Intel)
Машины уже научились синтезировать голос с невероятной точностью, но распознавание тонких эмоций в речи до сих пор оставалось вызовом. Исследователи из Intel и DFKI представили два новых синтетических датасета — EMONET-VOICE BIG и EMONET-VOICE BENCH. Они содержат более 4 500 часов речи на четырёх языках и охватывают 40 различных эмоциональных состояний!
На основе этих данных они разработали модели EMPATHIC INSIGHT-VOICE, которые устанавливают новый стандарт в распознавании эмоций в речи. Теперь ИИ сможет различать не только базовые эмоции, но и более сложные, такие как смущение, зависть или гордость. Это большой шаг к улучшению взаимодействия человека и машины.
Похоже, эмоционально интеллигентные ИИ уже не за горами!
Статья
Машины уже научились синтезировать голос с невероятной точностью, но распознавание тонких эмоций в речи до сих пор оставалось вызовом. Исследователи из Intel и DFKI представили два новых синтетических датасета — EMONET-VOICE BIG и EMONET-VOICE BENCH. Они содержат более 4 500 часов речи на четырёх языках и охватывают 40 различных эмоциональных состояний!
На основе этих данных они разработали модели EMPATHIC INSIGHT-VOICE, которые устанавливают новый стандарт в распознавании эмоций в речи. Теперь ИИ сможет различать не только базовые эмоции, но и более сложные, такие как смущение, зависть или гордость. Это большой шаг к улучшению взаимодействия человека и машины.
Похоже, эмоционально интеллигентные ИИ уже не за горами!
Статья