Одношаговое восстановление видео: как ускорить диффузионные модели в 4 раза? (by ByteDance)
Диффузионные модели стали стандартом для восстановления изображений и видео, но их главный недостаток — медлительность из-за множества шагов генерации. Это особенно критично при обработке длинных видео в высоком разрешении.
В ByteDance предложили SeedVR2 — метод, позволяющий выполнять восстановление видео за один шаг без учителя и замороженных прайоров. Они использовали adversarial post-training для обучения большого диффузионного трансформера, внедрили адаптивное оконное внимание для работы с высокими разрешениями и улучшили функцию потерь с помощью feature matching.
Результат впечатляет: качество сравнимо или превосходит многошаговые методы, а скорость выше в 4 раза! Похоже, диффузионные модели сделали шаг вперёд в эффективности восстановления видео.
Статья
Диффузионные модели стали стандартом для восстановления изображений и видео, но их главный недостаток — медлительность из-за множества шагов генерации. Это особенно критично при обработке длинных видео в высоком разрешении.
В ByteDance предложили SeedVR2 — метод, позволяющий выполнять восстановление видео за один шаг без учителя и замороженных прайоров. Они использовали adversarial post-training для обучения большого диффузионного трансформера, внедрили адаптивное оконное внимание для работы с высокими разрешениями и улучшили функцию потерь с помощью feature matching.
Результат впечатляет: качество сравнимо или превосходит многошаговые методы, а скорость выше в 4 раза! Похоже, диффузионные модели сделали шаг вперёд в эффективности восстановления видео.
Статья
**ComfyUI-Copilot: ваш персональный помощник в мире AI-генерации**
Терялись в сложных процессах ComfyUI? Исследователи Alibaba создали ComfyUI-Copilot — мультиагентную ИИ-систему, помогающую создавать и оптимизировать рабочие процессы в ComfyUI даже новичкам. Она генерирует процессы по запросу, рекомендует ноды и модели, отвечает на вопросы.
Главное преимущество — не нужно вручную собирать сложные графы нод. Copilot подскажет нужные компоненты и их связи. Он поддерживает различные задачи: текст-картинка, видео, условную генерацию, что расширяет возможности по сравнению с прежними решениями.
Авторы создали базу знаний из 7000 нод, 62 000 моделей и 9000 рабочих процессов с постоянным обновлением. Благодаря этому Copilot предлагает актуальные передовые решения.
Система уже получила более 1,6K звезд на GitHub, привлекая 19 000 пользователей из 22 стран. Вероятно, создание сложных AI-генераций скоро станет доступно каждому.
Статья
Терялись в сложных процессах ComfyUI? Исследователи Alibaba создали ComfyUI-Copilot — мультиагентную ИИ-систему, помогающую создавать и оптимизировать рабочие процессы в ComfyUI даже новичкам. Она генерирует процессы по запросу, рекомендует ноды и модели, отвечает на вопросы.
Главное преимущество — не нужно вручную собирать сложные графы нод. Copilot подскажет нужные компоненты и их связи. Он поддерживает различные задачи: текст-картинка, видео, условную генерацию, что расширяет возможности по сравнению с прежними решениями.
Авторы создали базу знаний из 7000 нод, 62 000 моделей и 9000 рабочих процессов с постоянным обновлением. Благодаря этому Copilot предлагает актуальные передовые решения.
Система уже получила более 1,6K звезд на GitHub, привлекая 19 000 пользователей из 22 стран. Вероятно, создание сложных AI-генераций скоро станет доступно каждому.
Статья
RoboRefer: как научить роботов понимать сложные пространственные инструкции
Вы задумывались, как научить роботов понимать инструкции типа «поставь предмет между держателем для ручек и клавиатурой, выровняв с логотипом на чашке»?
Большинство моделей фокусируется на простом пространственном понимании. Как справиться с многосложными инструкциями?
RoboRefer — 3D-ориентированная Vision-Language модель для многошаговых пространственных рассуждений. Она использует энкодер глубины и двухступенчатое обучение для улучшения рассуждений.
Авторы создали датасет RefSpatial и бенчмарк RefSpatial-Bench для задач пространственного референсирования.
RoboRefer превзошёл существующие модели и эффективно управляет роботами в реальных задачах манипуляции и навигации.
P.S. Модель учится разбивать сложные задачи на шаги, приближаясь к человеческому пониманию пространства.
Статья
Вы задумывались, как научить роботов понимать инструкции типа «поставь предмет между держателем для ручек и клавиатурой, выровняв с логотипом на чашке»?
Большинство моделей фокусируется на простом пространственном понимании. Как справиться с многосложными инструкциями?
RoboRefer — 3D-ориентированная Vision-Language модель для многошаговых пространственных рассуждений. Она использует энкодер глубины и двухступенчатое обучение для улучшения рассуждений.
Авторы создали датасет RefSpatial и бенчмарк RefSpatial-Bench для задач пространственного референсирования.
RoboRefer превзошёл существующие модели и эффективно управляет роботами в реальных задачах манипуляции и навигации.
P.S. Модель учится разбивать сложные задачи на шаги, приближаясь к человеческому пониманию пространства.
Статья
**Как научить ИИ описывать звук столь же подробно, как человек?**
Задумывались, почему технологии описания аудио отстают от описания изображений? Ручная разметка аудио трудоёмка, а автоматические методы дают неточные результаты. Что если научить ИИ воспринимать звук комплексно – через зрение и слух?
В новой работе предложен подход к автоматическому описанию аудио с мультимодальными подсказками. Авторы используют специализированные модели для распознавания речи, музыки, звуков и визуальной информации. Вся эта информация объединяется с помощью LLM, генерирующей точные аудиоописания.
Результатом стал FusionAudio-1.2M – датасет из 1,2 миллиона детальных описаний аудио. Использование мультимодальных данных и LLM позволило достичь качества, близкого к ручной разметке, но автоматически и масштабно.
Теперь модели понимают аудио почти по-человечески, открывая новые возможности в аудиоанализе и мультимодальном обучении.
Статья
Задумывались, почему технологии описания аудио отстают от описания изображений? Ручная разметка аудио трудоёмка, а автоматические методы дают неточные результаты. Что если научить ИИ воспринимать звук комплексно – через зрение и слух?
В новой работе предложен подход к автоматическому описанию аудио с мультимодальными подсказками. Авторы используют специализированные модели для распознавания речи, музыки, звуков и визуальной информации. Вся эта информация объединяется с помощью LLM, генерирующей точные аудиоописания.
Результатом стал FusionAudio-1.2M – датасет из 1,2 миллиона детальных описаний аудио. Использование мультимодальных данных и LLM позволило достичь качества, близкого к ручной разметке, но автоматически и масштабно.
Теперь модели понимают аудио почти по-человечески, открывая новые возможности в аудиоанализе и мультимодальном обучении.
Статья
RPT: как заставить модель подумать, прежде чем говорить?
Большие языковые модели (LLM) обучаются предсказывать следующий токен. Но что если заставить модель рассуждать о нем перед выдачей?
Авторы представили Reinforcement Pre-Training (RPT) — подход, сочетающий масштабируемость обучения на огромных корпусах с возможностями обучения с подкреплением. Идея в том, чтобы превратить предсказание токена в задачу рассуждения о нем. Модель получает награду за правильное рассуждение и предсказание следующего токена, используя информацию из самого корпуса.
Преимущества: нет необходимости в дорогих данных от людей (как в RLHF), риск "взлома" награды минимален, поскольку она основана на правильности предсказания. Модель учится глубже понимать текст, а не просто запоминать последовательности.
Эксперименты показывают, что RPT улучшает точность предсказания, повышает производительность на новых задачах и служит хорошей основой для дальнейшего обучения с подкреплением.
Статья
Большие языковые модели (LLM) обучаются предсказывать следующий токен. Но что если заставить модель рассуждать о нем перед выдачей?
Авторы представили Reinforcement Pre-Training (RPT) — подход, сочетающий масштабируемость обучения на огромных корпусах с возможностями обучения с подкреплением. Идея в том, чтобы превратить предсказание токена в задачу рассуждения о нем. Модель получает награду за правильное рассуждение и предсказание следующего токена, используя информацию из самого корпуса.
Преимущества: нет необходимости в дорогих данных от людей (как в RLHF), риск "взлома" награды минимален, поскольку она основана на правильности предсказания. Модель учится глубже понимать текст, а не просто запоминать последовательности.
Эксперименты показывают, что RPT улучшает точность предсказания, повышает производительность на новых задачах и служит хорошей основой для дальнейшего обучения с подкреплением.
Статья
Как запустить LLM на вашем телефоне: MiniCPM4
Вы думали, что большие языковые модели работают только на мощных серверах? Что ж, теперь их можно запускать даже на вашем телефоне!
В свежей статье про MiniCPM4 авторы показали, как создать 8-миллиардную модель, которая эффективно работает на устройствах с ограниченными ресурсами.
Как им это удалось? Они применили обучаемое разреженное внимание (InfLLM v2), позволяющее обрабатывать длинные тексты без больших затрат.
Также они разработали UltraClean — методы фильтрации данных для предобучения, что позволило обучить модель на меньшем объёме данных без потери качества.
Кроме того, специальные стратегии предобучения (ModelTunnel v2) и оптимизированные фреймворки для инференса (CPM.cu и ArkInfer) помогли достичь высокой эффективности.
В итоге, MiniCPM4 по качеству не уступает большим моделям, но может работать на вашем устройстве.
Кто знает, может скоро GPT-4 будет работать прямо на вашем холодильнике!
Статья
Вы думали, что большие языковые модели работают только на мощных серверах? Что ж, теперь их можно запускать даже на вашем телефоне!
В свежей статье про MiniCPM4 авторы показали, как создать 8-миллиардную модель, которая эффективно работает на устройствах с ограниченными ресурсами.
Как им это удалось? Они применили обучаемое разреженное внимание (InfLLM v2), позволяющее обрабатывать длинные тексты без больших затрат.
Также они разработали UltraClean — методы фильтрации данных для предобучения, что позволило обучить модель на меньшем объёме данных без потери качества.
Кроме того, специальные стратегии предобучения (ModelTunnel v2) и оптимизированные фреймворки для инференса (CPM.cu и ArkInfer) помогли достичь высокой эффективности.
В итоге, MiniCPM4 по качеству не уступает большим моделям, но может работать на вашем устройстве.
Кто знает, может скоро GPT-4 будет работать прямо на вашем холодильнике!
Статья
PlayerOne: станьте свободным авантюристом в виртуальном мире!
Мечтали ли вы свободно исследовать виртуальный мир, как реальный? "PlayerOne" делает это возможным! Теперь вы — активный участник, а не просто наблюдатель.
PlayerOne использует реальные движения человека, захваченные камерой, чтобы вы могли управлять аватаром в виртуальном мире без ограничений, в отличие от прежних методов с предопределёнными действиями. Сцена остаётся согласованной, а баланс качества и производительности соблюдён.
Основные особенности:
- Раздельный контроль частей тела (голова, руки, ноги) для точного взаимодействия.
- Совместная реконструкция сцены и кадров для непрерывной и согласованной генерации.
Авторы также разработали автоматизированный конвейер для создания датасета пар "движение-видео", что позволило обучить модель при нехватке данных.
PlayerOne — большой шаг вперёд в моделировании динамичных миров, приближая виртуальную реальность к настоящей!
Статья
Мечтали ли вы свободно исследовать виртуальный мир, как реальный? "PlayerOne" делает это возможным! Теперь вы — активный участник, а не просто наблюдатель.
PlayerOne использует реальные движения человека, захваченные камерой, чтобы вы могли управлять аватаром в виртуальном мире без ограничений, в отличие от прежних методов с предопределёнными действиями. Сцена остаётся согласованной, а баланс качества и производительности соблюдён.
Основные особенности:
- Раздельный контроль частей тела (голова, руки, ноги) для точного взаимодействия.
- Совместная реконструкция сцены и кадров для непрерывной и согласованной генерации.
Авторы также разработали автоматизированный конвейер для создания датасета пар "движение-видео", что позволило обучить модель при нехватке данных.
PlayerOne — большой шаг вперёд в моделировании динамичных миров, приближая виртуальную реальность к настоящей!
Статья
Seedance 1.0: Двуязычная генерация видео от ByteDance
ByteDance представили Seedance 1.0 — двуязычную модель генерации видео по текстовым или визуальным подсказкам на китайском и английском языках. Модель объединяет задачи T2V и I2V в одной архитектуре, обеспечивая высокое качество видео, точное следование инструкциям и плавные движения.
Seedance 1.0 использует большие объемы данных с детальными видеокапшнами, эффективную архитектуру с раздельными пространственными и временными слоями, постобучение с помощью SFT и RLHF, а также ускоренный инференс через дистилляцию и оптимизацию.
Модель поддерживает мультишотовую генерацию, создавая видеоролики с плавными переходами и разными стилями, открывая новые возможности для сложных видео-сценариев.
Seedance 1.0 планируют интегрировать в платформы Doubao и Jimeng в июне 2025 года. Похоже, будущее генерации видео по тексту уже близко!
Статья
ByteDance представили Seedance 1.0 — двуязычную модель генерации видео по текстовым или визуальным подсказкам на китайском и английском языках. Модель объединяет задачи T2V и I2V в одной архитектуре, обеспечивая высокое качество видео, точное следование инструкциям и плавные движения.
Seedance 1.0 использует большие объемы данных с детальными видеокапшнами, эффективную архитектуру с раздельными пространственными и временными слоями, постобучение с помощью SFT и RLHF, а также ускоренный инференс через дистилляцию и оптимизацию.
Модель поддерживает мультишотовую генерацию, создавая видеоролики с плавными переходами и разными стилями, открывая новые возможности для сложных видео-сценариев.
Seedance 1.0 планируют интегрировать в платформы Doubao и Jimeng в июне 2025 года. Похоже, будущее генерации видео по тексту уже близко!
Статья
**Как научить LLM реальной разработке? SWE-Flow на основе TDD**
Большие языковые модели хорошо справляются с кодом, но в реальной разработке сталкиваются с трудностями: сложные зависимости, поэтапные изменения, работа с многими файлами. Авторы представили SWE-Flow — подход, синтезирующий данные для обучения LLM на основе Test-Driven Development (TDD).
SWE-Flow автоматически извлекает процесс разработки из юнит-тестов, создавая качественные тренировочные примеры без ручной разметки. Это позволяет обучить модели решать реальные задачи разработки.
Авторы также представили SWE-Flow-Bench — бенчмарк для оценки LLM в TDD-сценариях. Обучив модель на таких данных, они значительно улучшили её способности в реальной разработке.
Коды и модели выложены в открытый доступ, что способствует развитию сообщества и созданию более продвинутых инструментов для разработчиков.
Статья
Большие языковые модели хорошо справляются с кодом, но в реальной разработке сталкиваются с трудностями: сложные зависимости, поэтапные изменения, работа с многими файлами. Авторы представили SWE-Flow — подход, синтезирующий данные для обучения LLM на основе Test-Driven Development (TDD).
SWE-Flow автоматически извлекает процесс разработки из юнит-тестов, создавая качественные тренировочные примеры без ручной разметки. Это позволяет обучить модели решать реальные задачи разработки.
Авторы также представили SWE-Flow-Bench — бенчмарк для оценки LLM в TDD-сценариях. Обучив модель на таких данных, они значительно улучшили её способности в реальной разработке.
Коды и модели выложены в открытый доступ, что способствует развитию сообщества и созданию более продвинутых инструментов для разработчиков.
Статья
Можно ли научить LLM лучше думать по медицине? Соберём армию нейросетей и создадим ReasonMed!
Исследователи заметили, что большие языковые модели плохо справляются с медицинскими задачами из-за нехватки качественных данных. Их решение — создать ReasonMed, датасет из 370 тысяч проверенных медицинских вопросов с многошаговыми рассуждениями. Для этого они объединили несколько мощных LLM в мультиагентную систему и сгенерировали 1,75 миллиона цепочек размышлений.
После строгой валидации они сравнили разные подходы к обучению: Chain-of-Thought, краткие ответы и гибридный метод. Гибридный подход, сочетающий подробные рассуждения с их кратким резюме, показал наилучшие результаты.
Модель ReasonMed-7B превзошла все модели того же размера и даже некоторые более крупные на медицинских задачах. Похоже, чтобы LLM стали отличными врачами, нужно дать им больше хороших примеров и команду "коллег" для поддержки.
Статья
Исследователи заметили, что большие языковые модели плохо справляются с медицинскими задачами из-за нехватки качественных данных. Их решение — создать ReasonMed, датасет из 370 тысяч проверенных медицинских вопросов с многошаговыми рассуждениями. Для этого они объединили несколько мощных LLM в мультиагентную систему и сгенерировали 1,75 миллиона цепочек размышлений.
После строгой валидации они сравнили разные подходы к обучению: Chain-of-Thought, краткие ответы и гибридный метод. Гибридный подход, сочетающий подробные рассуждения с их кратким резюме, показал наилучшие результаты.
Модель ReasonMed-7B превзошла все модели того же размера и даже некоторые более крупные на медицинских задачах. Похоже, чтобы LLM стали отличными врачами, нужно дать им больше хороших примеров и команду "коллег" для поддержки.
Статья
Может ли диффузионная модель научиться восстанавливать текст на изображениях?
Современные модели восстановления изображений хорошо справляются с различными искажениями, но текст на картинках они обрабатывают плохо: надписи размываются или превращаются в бессмысленные символы. Это проблема для распознавания документов, дорожных знаков и AR-навигации.
В новой статье представлена задача Text-Aware Image Restoration (TAIR). Авторы создали датасет SA-Text с аннотациями текста и разработали модель TeReDiff, объединяющую диффузионную модель с модулем распознавания текста. Модель использует функции диффузии для улучшения распознавания, а результаты распознавания помогают восстановлению изображения.
Этот подход позволяет гораздо лучше восстанавливать текстовые области, сохраняя общее качество изображения, что важно для приложений с текстовой информацией на изображениях.
Статья
Современные модели восстановления изображений хорошо справляются с различными искажениями, но текст на картинках они обрабатывают плохо: надписи размываются или превращаются в бессмысленные символы. Это проблема для распознавания документов, дорожных знаков и AR-навигации.
В новой статье представлена задача Text-Aware Image Restoration (TAIR). Авторы создали датасет SA-Text с аннотациями текста и разработали модель TeReDiff, объединяющую диффузионную модель с модулем распознавания текста. Модель использует функции диффузии для улучшения распознавания, а результаты распознавания помогают восстановлению изображения.
Этот подход позволяет гораздо лучше восстанавливать текстовые области, сохраняя общее качество изображения, что важно для приложений с текстовой информацией на изображениях.
Статья
ReasonMed: Мультиагентные LLM объединились для медицинского прорыва
Вы знали, что большие языковые модели отлично справляются с математикой и программированием, но в медицине всё ещё отстают? Проблема — нехватка качественных данных. В новой статье представили ReasonMed — крупнейший открытый датасет на 370 тысяч примеров медицинских рассуждений.
Как они этого добились? Собрали 195 тысяч вопросов из бенчмарков и привлекли три мощные LLM (Qwen-2.5-72B, HuatuoGPT-o1-70B, DeepSeek-R1-Distill-Llama-70B), чтобы сгенерировать 1,75 млн вариантов рассуждений. Затем тщательно отфильтровали данные с помощью GPT-4o-mini.
В итоге обучили ReasonMed-7B, которая превзошла все модели до 10B параметров в медицинском QA и даже обошла некоторые более крупные модели. Это показывает, как объединение данных от разных LLM и качественная фильтрация улучшают результаты.
Теперь медицинские LLM могут догнать своих коллег в других областях!
Статья
Вы знали, что большие языковые модели отлично справляются с математикой и программированием, но в медицине всё ещё отстают? Проблема — нехватка качественных данных. В новой статье представили ReasonMed — крупнейший открытый датасет на 370 тысяч примеров медицинских рассуждений.
Как они этого добились? Собрали 195 тысяч вопросов из бенчмарков и привлекли три мощные LLM (Qwen-2.5-72B, HuatuoGPT-o1-70B, DeepSeek-R1-Distill-Llama-70B), чтобы сгенерировать 1,75 млн вариантов рассуждений. Затем тщательно отфильтровали данные с помощью GPT-4o-mini.
В итоге обучили ReasonMed-7B, которая превзошла все модели до 10B параметров в медицинском QA и даже обошла некоторые более крупные модели. Это показывает, как объединение данных от разных LLM и качественная фильтрация улучшают результаты.
Теперь медицинские LLM могут догнать своих коллег в других областях!
Статья
Искусственный интеллект сам строит себе задачи: SWE-Factory
Представьте, что модели вроде GPT не только решают задачи, но и сами создают для себя новые бенчмарки для обучения. В свежей статье представлена система SWE-Factory, которая автоматически генерирует задания по исправлению ошибок на GitHub без ручной работы.
Авторы используют мультиагентный подход с LLM-агентами (SWE-Builder), которые сами собирают окружение, пишут скрипты для тестов и проводят валидацию. Это значительно ускоряет создание крупных и качественных датасетов для обучения и оценки языковых моделей.
Такая автоматизация открывает двери для ещё более быстрого развития ИИ, где модели смогут совершенствоваться практически автономно. Возможно, мы стоим на пороге новой эры самообучающихся систем.
Статья
Представьте, что модели вроде GPT не только решают задачи, но и сами создают для себя новые бенчмарки для обучения. В свежей статье представлена система SWE-Factory, которая автоматически генерирует задания по исправлению ошибок на GitHub без ручной работы.
Авторы используют мультиагентный подход с LLM-агентами (SWE-Builder), которые сами собирают окружение, пишут скрипты для тестов и проводят валидацию. Это значительно ускоряет создание крупных и качественных датасетов для обучения и оценки языковых моделей.
Такая автоматизация открывает двери для ещё более быстрого развития ИИ, где модели смогут совершенствоваться практически автономно. Возможно, мы стоим на пороге новой эры самообучающихся систем.
Статья
Как научить диффузионные модели восстанавливать текст на изображениях?
Вы замечали, что современные методы восстановления изображений плохо справляются с текстовыми областями? Шум они устраняют, но текст часто остается размытым и нечитаемым. А ведь для задач вроде оцифровки документов или навигации важно сохранить текстовую информацию.
В новой статье "Text-Aware Image Restoration (TAIR)" авторы предлагают подход, позволяющий вместе с изображением восстанавливать и текст. Они создали датасет SA-Text с аннотированными текстовыми регионами и разработали модель TeReDiff, которая объединяет диффузионную модель с модулем распознавания текста. Используя диффузионные признаки U-Net для распознавания, модель улучшает качество восстановления текста и изображения одновременно.
Это первый шаг к моделям, которые могут восстанавливать изображения, сохраняя текстовую информацию. Возможно, это вдохновит дальнейшие исследования на стыке обработки изображений и распознавания текста.
Статья
Вы замечали, что современные методы восстановления изображений плохо справляются с текстовыми областями? Шум они устраняют, но текст часто остается размытым и нечитаемым. А ведь для задач вроде оцифровки документов или навигации важно сохранить текстовую информацию.
В новой статье "Text-Aware Image Restoration (TAIR)" авторы предлагают подход, позволяющий вместе с изображением восстанавливать и текст. Они создали датасет SA-Text с аннотированными текстовыми регионами и разработали модель TeReDiff, которая объединяет диффузионную модель с модулем распознавания текста. Используя диффузионные признаки U-Net для распознавания, модель улучшает качество восстановления текста и изображения одновременно.
Это первый шаг к моделям, которые могут восстанавливать изображения, сохраняя текстовую информацию. Возможно, это вдохновит дальнейшие исследования на стыке обработки изображений и распознавания текста.
Статья
**Как автоматизировать создание бенчмарков для GitHub задач? SWE-Factory спешит на помощь!**
Создание бенчмарков для задач по решению GitHub issues требует много ручной работы. Новая работа представляет SWE-Factory — автоматизированный конвейер для создания таких бенчмарков.
В основе SWE-Factory лежит агент SWE-Builder, который с помощью больших языковых моделей автоматизирует сбор информации из репозиториев, генерирует Dockerfile, пишет скрипты для тестов и анализирует результаты. Для оценки прохождения тестов используются выходные коды программ.
Эксперименты показали, что SWE-Factory может успешно создать 269 валидных бенчмарков из 671 задач, охватывая Python, Java, JavaScript и TypeScript — всё без ручного вмешательства.
Теперь разработчики могут быстрее создавать качественные бенчмарки для задач на GitHub!
Статья
Создание бенчмарков для задач по решению GitHub issues требует много ручной работы. Новая работа представляет SWE-Factory — автоматизированный конвейер для создания таких бенчмарков.
В основе SWE-Factory лежит агент SWE-Builder, который с помощью больших языковых моделей автоматизирует сбор информации из репозиториев, генерирует Dockerfile, пишет скрипты для тестов и анализирует результаты. Для оценки прохождения тестов используются выходные коды программ.
Эксперименты показали, что SWE-Factory может успешно создать 269 валидных бенчмарков из 671 задач, охватывая Python, Java, JavaScript и TypeScript — всё без ручного вмешательства.
Теперь разработчики могут быстрее создавать качественные бенчмарки для задач на GitHub!
Статья
Как научить диффузионные модели восстанавливать текст на изображениях?
Замечали, как современные модели восстановления изображений замазывают текст или превращают его в нечитаемые символы? Особенно обидно для уличных знаков или важных надписей.
Исследователи предложили задачу Text-Aware Image Restoration (TAIR). Они создали датасет SA-Text из 100 тысяч изображений с текстами и разработали модель TeReDiff, сочетающую диффузионные модели с модулем распознавания текста.
TeReDiff использует распознанный текст как подсказку при восстановлении. Это позволяет модели восстанавливать текстовые области точнее и избегать "текстовых галлюцинаций".
Результаты впечатляют: тексты становятся читабельными при сохранении общего визуального качества. Это важный шаг для приложений, где критична точность текстовой информации.
P.S. Скоро диффузионные модели перестанут коверкать надписи и научатся воспроизводить их как нужно!
Статья
Замечали, как современные модели восстановления изображений замазывают текст или превращают его в нечитаемые символы? Особенно обидно для уличных знаков или важных надписей.
Исследователи предложили задачу Text-Aware Image Restoration (TAIR). Они создали датасет SA-Text из 100 тысяч изображений с текстами и разработали модель TeReDiff, сочетающую диффузионные модели с модулем распознавания текста.
TeReDiff использует распознанный текст как подсказку при восстановлении. Это позволяет модели восстанавливать текстовые области точнее и избегать "текстовых галлюцинаций".
Результаты впечатляют: тексты становятся читабельными при сохранении общего визуального качества. Это важный шаг для приложений, где критична точность текстовой информации.
P.S. Скоро диффузионные модели перестанут коверкать надписи и научатся воспроизводить их как нужно!
Статья
**Как сгенерировать новые ракурсы сцены без известных поз камер?**
Представьте, что вы хотите реконструировать 3D-сцену из нескольких 2D-фотографий без информации о позициях камер. Новая работа предлагает подход, позволяющий генерировать новые виды из непозированных изображений, сочетая методы "warp-and-inpaint" с новыми трюками.
Авторы используют геометрию, предсказанную из нескольких изображений, проецируют её на новый ракурс, а затем с помощью диффузионных сетей заполняют недостающие части. Они обучают геометрический denoising U-Net для восполнения недостающей геометрии и вводят механизм "cross-modal attention instillation", обеспечивающий согласованность изображений и геометрии.
Это позволяет синтезировать новые виды даже в экстраполятивных ракурсах, где раньше модели терялись. Теперь можно получать 3D-сцены из небольшого набора фотографий без известных поз камер!
Статья
Представьте, что вы хотите реконструировать 3D-сцену из нескольких 2D-фотографий без информации о позициях камер. Новая работа предлагает подход, позволяющий генерировать новые виды из непозированных изображений, сочетая методы "warp-and-inpaint" с новыми трюками.
Авторы используют геометрию, предсказанную из нескольких изображений, проецируют её на новый ракурс, а затем с помощью диффузионных сетей заполняют недостающие части. Они обучают геометрический denoising U-Net для восполнения недостающей геометрии и вводят механизм "cross-modal attention instillation", обеспечивающий согласованность изображений и геометрии.
Это позволяет синтезировать новые виды даже в экстраполятивных ракурсах, где раньше модели терялись. Теперь можно получать 3D-сцены из небольшого набора фотографий без известных поз камер!
Статья
LongLLaDA: Диффузные LLM осваивают длинные контексты без обучения
Оказывается, диффузные языковые модели умеют работать с длинными текстами лучше, чем авторегрессионные LLM! Исследователи из Fudan University сравнили их производительность и обнаружили, что диффузные LLM сохраняют стабильную перплексию при увеличении длины контекста, в то время как у авторегрессионных моделей она резко растет.
Авторы объясняют это через теорию Rotary Position Embedding (RoPE) и предлагают метод LongLLaDA. Этот метод позволяет расширить контекст диффузных моделей без дополнительного обучения, используя NTK-скейлинг. В некоторых задачах, таких как извлечение информации из недавнего контекста, диффузные LLM даже превосходят авторегрессионные.
Это первое систематическое исследование долгоконтекстных возможностей диффузных LLM и методов их расширения. Возможно, мы стоим на пороге новых применений диффузных моделей в задачах с длинными текстами.
Статья
Оказывается, диффузные языковые модели умеют работать с длинными текстами лучше, чем авторегрессионные LLM! Исследователи из Fudan University сравнили их производительность и обнаружили, что диффузные LLM сохраняют стабильную перплексию при увеличении длины контекста, в то время как у авторегрессионных моделей она резко растет.
Авторы объясняют это через теорию Rotary Position Embedding (RoPE) и предлагают метод LongLLaDA. Этот метод позволяет расширить контекст диффузных моделей без дополнительного обучения, используя NTK-скейлинг. В некоторых задачах, таких как извлечение информации из недавнего контекста, диффузные LLM даже превосходят авторегрессионные.
Это первое систематическое исследование долгоконтекстных возможностей диффузных LLM и методов их расширения. Возможно, мы стоим на пороге новых применений диффузных моделей в задачах с длинными текстами.
Статья
**Stream-Omni: модель, которая одновременно слышит, видит и говорит**
Вы когда-нибудь хотели, чтобы модель понимала текст, изображения и речь одновременно? Объединить эти модальности сложно из-за различий в представлениях данных.
Большинство моделей специализируются на зрении или речи. Мультимодальные требуют огромных объёмов данных.
Stream-Omni объединила текст, зрение и речь эффективнее. Вместо "скармливания" всех данных в одну последовательность, авторы подошли осмысленнее.
Для визуальных данных используется объединение по последовательности. Для речи предложен механизм выравнивания по слоям с CTC, позволяющий преобразовывать речь в текст и обратно с меньшим количеством данных.
При голосовом взаимодействии Stream-Omni выводит промежуточные текстовые результаты – вы говорите, модель расшифровывает и отвечает.
Модель гибкая, работает с разными модальностями без огромных датасетов. Тесты показали, что она справляется на уровне или лучше существующих моделей.
Статья
Вы когда-нибудь хотели, чтобы модель понимала текст, изображения и речь одновременно? Объединить эти модальности сложно из-за различий в представлениях данных.
Большинство моделей специализируются на зрении или речи. Мультимодальные требуют огромных объёмов данных.
Stream-Omni объединила текст, зрение и речь эффективнее. Вместо "скармливания" всех данных в одну последовательность, авторы подошли осмысленнее.
Для визуальных данных используется объединение по последовательности. Для речи предложен механизм выравнивания по слоям с CTC, позволяющий преобразовывать речь в текст и обратно с меньшим количеством данных.
При голосовом взаимодействии Stream-Omni выводит промежуточные текстовые результаты – вы говорите, модель расшифровывает и отвечает.
Модель гибкая, работает с разными модальностями без огромных датасетов. Тесты показали, что она справляется на уровне или лучше существующих моделей.
Статья
Как научить LLM накапливать опыт и решать задачи как человек?
Заметили, что даже лучшие LLM решают каждую задачу с нуля, без памяти о прошлом опыте? Люди-эксперты, напротив, накапливают опыт и сотрудничают.
Новая статья представляет Xolver — мультиагентную систему, позволяющую LLM накапливать опыт для эффективного решения задач. Система имитирует команду экспертов: несколько агентов (математик, программист, проверяющий) совместно решают задачу, обмениваются информацией через общую память, используют инструменты и итеративно улучшают решение, получая отзывы от "судьи".
Xolver превзошел даже более крупные и специализированные модели на математических и программных задачах.
В отличие от подхода Self-Refine, Xolver объединяет мультиагентное взаимодействие с накоплением опыта, что дает дополнительные преимущества.
Этот подход приближает LLM к человеческому уровню рассуждений. Возможно, скоро языковые модели будут учиться на своих ошибках, как люди.
Статья
Заметили, что даже лучшие LLM решают каждую задачу с нуля, без памяти о прошлом опыте? Люди-эксперты, напротив, накапливают опыт и сотрудничают.
Новая статья представляет Xolver — мультиагентную систему, позволяющую LLM накапливать опыт для эффективного решения задач. Система имитирует команду экспертов: несколько агентов (математик, программист, проверяющий) совместно решают задачу, обмениваются информацией через общую память, используют инструменты и итеративно улучшают решение, получая отзывы от "судьи".
Xolver превзошел даже более крупные и специализированные модели на математических и программных задачах.
В отличие от подхода Self-Refine, Xolver объединяет мультиагентное взаимодействие с накоплением опыта, что дает дополнительные преимущества.
Этот подход приближает LLM к человеческому уровню рассуждений. Возможно, скоро языковые модели будут учиться на своих ошибках, как люди.
Статья
Давайте исследуем мир с помощью видеодатасета SEKAI и модели YUME
Вы когда-нибудь хотели прогуляться по улицам Токио или полетать на дроне над Альпами, не выходя из дома? Теперь это возможно благодаря новому видеодатасету SEKAI (せかい — «мир» по-японски). Исследователи собрали более 5000 часов видео прогулок и полетов из 101 страны и 750 городов с детальными аннотациями: местоположение, погода, время суток, плотность людей и траектории камеры.
Предыдущие датасеты для генерации видео были ограничены короткими роликами и скудными метками. SEKAI решает эти проблемы, предоставляя богатый материал для обучения моделей, способных создавать реалистичные миры для интерактивного исследования.
Авторы также представили модель YUME (ゆめ — «мечта»), позволяющую виртуально перемещаться по этим мирам, управляя камерой как в игре. Это шаг к созданию захватывающих виртуальных миров для исследований и приключений.
Статья
Вы когда-нибудь хотели прогуляться по улицам Токио или полетать на дроне над Альпами, не выходя из дома? Теперь это возможно благодаря новому видеодатасету SEKAI (せかい — «мир» по-японски). Исследователи собрали более 5000 часов видео прогулок и полетов из 101 страны и 750 городов с детальными аннотациями: местоположение, погода, время суток, плотность людей и траектории камеры.
Предыдущие датасеты для генерации видео были ограничены короткими роликами и скудными метками. SEKAI решает эти проблемы, предоставляя богатый материал для обучения моделей, способных создавать реалистичные миры для интерактивного исследования.
Авторы также представили модель YUME (ゆめ — «мечта»), позволяющую виртуально перемещаться по этим мирам, управляя камерой как в игре. Это шаг к созданию захватывающих виртуальных миров для исследований и приключений.
Статья