Как научить диффузионные модели восстанавливать текст на изображениях?
Вы замечали, что современные методы восстановления изображений плохо справляются с текстовыми областями? Шум они устраняют, но текст часто остается размытым и нечитаемым. А ведь для задач вроде оцифровки документов или навигации важно сохранить текстовую информацию.
В новой статье "Text-Aware Image Restoration (TAIR)" авторы предлагают подход, позволяющий вместе с изображением восстанавливать и текст. Они создали датасет SA-Text с аннотированными текстовыми регионами и разработали модель TeReDiff, которая объединяет диффузионную модель с модулем распознавания текста. Используя диффузионные признаки U-Net для распознавания, модель улучшает качество восстановления текста и изображения одновременно.
Это первый шаг к моделям, которые могут восстанавливать изображения, сохраняя текстовую информацию. Возможно, это вдохновит дальнейшие исследования на стыке обработки изображений и распознавания текста.
Статья
Вы замечали, что современные методы восстановления изображений плохо справляются с текстовыми областями? Шум они устраняют, но текст часто остается размытым и нечитаемым. А ведь для задач вроде оцифровки документов или навигации важно сохранить текстовую информацию.
В новой статье "Text-Aware Image Restoration (TAIR)" авторы предлагают подход, позволяющий вместе с изображением восстанавливать и текст. Они создали датасет SA-Text с аннотированными текстовыми регионами и разработали модель TeReDiff, которая объединяет диффузионную модель с модулем распознавания текста. Используя диффузионные признаки U-Net для распознавания, модель улучшает качество восстановления текста и изображения одновременно.
Это первый шаг к моделям, которые могут восстанавливать изображения, сохраняя текстовую информацию. Возможно, это вдохновит дальнейшие исследования на стыке обработки изображений и распознавания текста.
Статья
**Как автоматизировать создание бенчмарков для GitHub задач? SWE-Factory спешит на помощь!**
Создание бенчмарков для задач по решению GitHub issues требует много ручной работы. Новая работа представляет SWE-Factory — автоматизированный конвейер для создания таких бенчмарков.
В основе SWE-Factory лежит агент SWE-Builder, который с помощью больших языковых моделей автоматизирует сбор информации из репозиториев, генерирует Dockerfile, пишет скрипты для тестов и анализирует результаты. Для оценки прохождения тестов используются выходные коды программ.
Эксперименты показали, что SWE-Factory может успешно создать 269 валидных бенчмарков из 671 задач, охватывая Python, Java, JavaScript и TypeScript — всё без ручного вмешательства.
Теперь разработчики могут быстрее создавать качественные бенчмарки для задач на GitHub!
Статья
Создание бенчмарков для задач по решению GitHub issues требует много ручной работы. Новая работа представляет SWE-Factory — автоматизированный конвейер для создания таких бенчмарков.
В основе SWE-Factory лежит агент SWE-Builder, который с помощью больших языковых моделей автоматизирует сбор информации из репозиториев, генерирует Dockerfile, пишет скрипты для тестов и анализирует результаты. Для оценки прохождения тестов используются выходные коды программ.
Эксперименты показали, что SWE-Factory может успешно создать 269 валидных бенчмарков из 671 задач, охватывая Python, Java, JavaScript и TypeScript — всё без ручного вмешательства.
Теперь разработчики могут быстрее создавать качественные бенчмарки для задач на GitHub!
Статья
Как научить диффузионные модели восстанавливать текст на изображениях?
Замечали, как современные модели восстановления изображений замазывают текст или превращают его в нечитаемые символы? Особенно обидно для уличных знаков или важных надписей.
Исследователи предложили задачу Text-Aware Image Restoration (TAIR). Они создали датасет SA-Text из 100 тысяч изображений с текстами и разработали модель TeReDiff, сочетающую диффузионные модели с модулем распознавания текста.
TeReDiff использует распознанный текст как подсказку при восстановлении. Это позволяет модели восстанавливать текстовые области точнее и избегать "текстовых галлюцинаций".
Результаты впечатляют: тексты становятся читабельными при сохранении общего визуального качества. Это важный шаг для приложений, где критична точность текстовой информации.
P.S. Скоро диффузионные модели перестанут коверкать надписи и научатся воспроизводить их как нужно!
Статья
Замечали, как современные модели восстановления изображений замазывают текст или превращают его в нечитаемые символы? Особенно обидно для уличных знаков или важных надписей.
Исследователи предложили задачу Text-Aware Image Restoration (TAIR). Они создали датасет SA-Text из 100 тысяч изображений с текстами и разработали модель TeReDiff, сочетающую диффузионные модели с модулем распознавания текста.
TeReDiff использует распознанный текст как подсказку при восстановлении. Это позволяет модели восстанавливать текстовые области точнее и избегать "текстовых галлюцинаций".
Результаты впечатляют: тексты становятся читабельными при сохранении общего визуального качества. Это важный шаг для приложений, где критична точность текстовой информации.
P.S. Скоро диффузионные модели перестанут коверкать надписи и научатся воспроизводить их как нужно!
Статья
**Как сгенерировать новые ракурсы сцены без известных поз камер?**
Представьте, что вы хотите реконструировать 3D-сцену из нескольких 2D-фотографий без информации о позициях камер. Новая работа предлагает подход, позволяющий генерировать новые виды из непозированных изображений, сочетая методы "warp-and-inpaint" с новыми трюками.
Авторы используют геометрию, предсказанную из нескольких изображений, проецируют её на новый ракурс, а затем с помощью диффузионных сетей заполняют недостающие части. Они обучают геометрический denoising U-Net для восполнения недостающей геометрии и вводят механизм "cross-modal attention instillation", обеспечивающий согласованность изображений и геометрии.
Это позволяет синтезировать новые виды даже в экстраполятивных ракурсах, где раньше модели терялись. Теперь можно получать 3D-сцены из небольшого набора фотографий без известных поз камер!
Статья
Представьте, что вы хотите реконструировать 3D-сцену из нескольких 2D-фотографий без информации о позициях камер. Новая работа предлагает подход, позволяющий генерировать новые виды из непозированных изображений, сочетая методы "warp-and-inpaint" с новыми трюками.
Авторы используют геометрию, предсказанную из нескольких изображений, проецируют её на новый ракурс, а затем с помощью диффузионных сетей заполняют недостающие части. Они обучают геометрический denoising U-Net для восполнения недостающей геометрии и вводят механизм "cross-modal attention instillation", обеспечивающий согласованность изображений и геометрии.
Это позволяет синтезировать новые виды даже в экстраполятивных ракурсах, где раньше модели терялись. Теперь можно получать 3D-сцены из небольшого набора фотографий без известных поз камер!
Статья
LongLLaDA: Диффузные LLM осваивают длинные контексты без обучения
Оказывается, диффузные языковые модели умеют работать с длинными текстами лучше, чем авторегрессионные LLM! Исследователи из Fudan University сравнили их производительность и обнаружили, что диффузные LLM сохраняют стабильную перплексию при увеличении длины контекста, в то время как у авторегрессионных моделей она резко растет.
Авторы объясняют это через теорию Rotary Position Embedding (RoPE) и предлагают метод LongLLaDA. Этот метод позволяет расширить контекст диффузных моделей без дополнительного обучения, используя NTK-скейлинг. В некоторых задачах, таких как извлечение информации из недавнего контекста, диффузные LLM даже превосходят авторегрессионные.
Это первое систематическое исследование долгоконтекстных возможностей диффузных LLM и методов их расширения. Возможно, мы стоим на пороге новых применений диффузных моделей в задачах с длинными текстами.
Статья
Оказывается, диффузные языковые модели умеют работать с длинными текстами лучше, чем авторегрессионные LLM! Исследователи из Fudan University сравнили их производительность и обнаружили, что диффузные LLM сохраняют стабильную перплексию при увеличении длины контекста, в то время как у авторегрессионных моделей она резко растет.
Авторы объясняют это через теорию Rotary Position Embedding (RoPE) и предлагают метод LongLLaDA. Этот метод позволяет расширить контекст диффузных моделей без дополнительного обучения, используя NTK-скейлинг. В некоторых задачах, таких как извлечение информации из недавнего контекста, диффузные LLM даже превосходят авторегрессионные.
Это первое систематическое исследование долгоконтекстных возможностей диффузных LLM и методов их расширения. Возможно, мы стоим на пороге новых применений диффузных моделей в задачах с длинными текстами.
Статья
**Stream-Omni: модель, которая одновременно слышит, видит и говорит**
Вы когда-нибудь хотели, чтобы модель понимала текст, изображения и речь одновременно? Объединить эти модальности сложно из-за различий в представлениях данных.
Большинство моделей специализируются на зрении или речи. Мультимодальные требуют огромных объёмов данных.
Stream-Omni объединила текст, зрение и речь эффективнее. Вместо "скармливания" всех данных в одну последовательность, авторы подошли осмысленнее.
Для визуальных данных используется объединение по последовательности. Для речи предложен механизм выравнивания по слоям с CTC, позволяющий преобразовывать речь в текст и обратно с меньшим количеством данных.
При голосовом взаимодействии Stream-Omni выводит промежуточные текстовые результаты – вы говорите, модель расшифровывает и отвечает.
Модель гибкая, работает с разными модальностями без огромных датасетов. Тесты показали, что она справляется на уровне или лучше существующих моделей.
Статья
Вы когда-нибудь хотели, чтобы модель понимала текст, изображения и речь одновременно? Объединить эти модальности сложно из-за различий в представлениях данных.
Большинство моделей специализируются на зрении или речи. Мультимодальные требуют огромных объёмов данных.
Stream-Omni объединила текст, зрение и речь эффективнее. Вместо "скармливания" всех данных в одну последовательность, авторы подошли осмысленнее.
Для визуальных данных используется объединение по последовательности. Для речи предложен механизм выравнивания по слоям с CTC, позволяющий преобразовывать речь в текст и обратно с меньшим количеством данных.
При голосовом взаимодействии Stream-Omni выводит промежуточные текстовые результаты – вы говорите, модель расшифровывает и отвечает.
Модель гибкая, работает с разными модальностями без огромных датасетов. Тесты показали, что она справляется на уровне или лучше существующих моделей.
Статья
Как научить LLM накапливать опыт и решать задачи как человек?
Заметили, что даже лучшие LLM решают каждую задачу с нуля, без памяти о прошлом опыте? Люди-эксперты, напротив, накапливают опыт и сотрудничают.
Новая статья представляет Xolver — мультиагентную систему, позволяющую LLM накапливать опыт для эффективного решения задач. Система имитирует команду экспертов: несколько агентов (математик, программист, проверяющий) совместно решают задачу, обмениваются информацией через общую память, используют инструменты и итеративно улучшают решение, получая отзывы от "судьи".
Xolver превзошел даже более крупные и специализированные модели на математических и программных задачах.
В отличие от подхода Self-Refine, Xolver объединяет мультиагентное взаимодействие с накоплением опыта, что дает дополнительные преимущества.
Этот подход приближает LLM к человеческому уровню рассуждений. Возможно, скоро языковые модели будут учиться на своих ошибках, как люди.
Статья
Заметили, что даже лучшие LLM решают каждую задачу с нуля, без памяти о прошлом опыте? Люди-эксперты, напротив, накапливают опыт и сотрудничают.
Новая статья представляет Xolver — мультиагентную систему, позволяющую LLM накапливать опыт для эффективного решения задач. Система имитирует команду экспертов: несколько агентов (математик, программист, проверяющий) совместно решают задачу, обмениваются информацией через общую память, используют инструменты и итеративно улучшают решение, получая отзывы от "судьи".
Xolver превзошел даже более крупные и специализированные модели на математических и программных задачах.
В отличие от подхода Self-Refine, Xolver объединяет мультиагентное взаимодействие с накоплением опыта, что дает дополнительные преимущества.
Этот подход приближает LLM к человеческому уровню рассуждений. Возможно, скоро языковые модели будут учиться на своих ошибках, как люди.
Статья
Давайте исследуем мир с помощью видеодатасета SEKAI и модели YUME
Вы когда-нибудь хотели прогуляться по улицам Токио или полетать на дроне над Альпами, не выходя из дома? Теперь это возможно благодаря новому видеодатасету SEKAI (せかい — «мир» по-японски). Исследователи собрали более 5000 часов видео прогулок и полетов из 101 страны и 750 городов с детальными аннотациями: местоположение, погода, время суток, плотность людей и траектории камеры.
Предыдущие датасеты для генерации видео были ограничены короткими роликами и скудными метками. SEKAI решает эти проблемы, предоставляя богатый материал для обучения моделей, способных создавать реалистичные миры для интерактивного исследования.
Авторы также представили модель YUME (ゆめ — «мечта»), позволяющую виртуально перемещаться по этим мирам, управляя камерой как в игре. Это шаг к созданию захватывающих виртуальных миров для исследований и приключений.
Статья
Вы когда-нибудь хотели прогуляться по улицам Токио или полетать на дроне над Альпами, не выходя из дома? Теперь это возможно благодаря новому видеодатасету SEKAI (せかい — «мир» по-японски). Исследователи собрали более 5000 часов видео прогулок и полетов из 101 страны и 750 городов с детальными аннотациями: местоположение, погода, время суток, плотность людей и траектории камеры.
Предыдущие датасеты для генерации видео были ограничены короткими роликами и скудными метками. SEKAI решает эти проблемы, предоставляя богатый материал для обучения моделей, способных создавать реалистичные миры для интерактивного исследования.
Авторы также представили модель YUME (ゆめ — «мечта»), позволяющую виртуально перемещаться по этим мирам, управляя камерой как в игре. Это шаг к созданию захватывающих виртуальных миров для исследований и приключений.
Статья
GURU: RL учит LLM рассуждать не только в математике
Большинство исследований по улучшению рассуждений в LLM с помощью RL фокусируется на математике и коде. Но что с другими областями? Представляем GURU — датасет для обучения RL на шести разных доменах: математика, код, наука, логика, симуляция и таблицы. Авторы показали, что привычные выводы о RL не всегда верны в других областях. Например, в знакомых доменах RL помогает извлечь существующие знания, а в новых — реально обучает модель новым навыкам. Их модели GURU-7B и GURU-32B превзошли другие открытые модели по задачам общего рассуждения.
Важно, что RL в одном домене не всегда переносится на другие. В незнакомых областях нужно обучать модель на данных из этих же областей. Вывод: если хотим универсальные LLM, нужно обучать их на разнообразных данных с помощью RL.
P.S. Код, модели и датасет доступны по ссылке: https://github.com/LLM360/Reasoning360
Статья
Большинство исследований по улучшению рассуждений в LLM с помощью RL фокусируется на математике и коде. Но что с другими областями? Представляем GURU — датасет для обучения RL на шести разных доменах: математика, код, наука, логика, симуляция и таблицы. Авторы показали, что привычные выводы о RL не всегда верны в других областях. Например, в знакомых доменах RL помогает извлечь существующие знания, а в новых — реально обучает модель новым навыкам. Их модели GURU-7B и GURU-32B превзошли другие открытые модели по задачам общего рассуждения.
Важно, что RL в одном домене не всегда переносится на другие. В незнакомых областях нужно обучать модель на данных из этих же областей. Вывод: если хотим универсальные LLM, нужно обучать их на разнообразных данных с помощью RL.
P.S. Код, модели и датасет доступны по ссылке: https://github.com/LLM360/Reasoning360
Статья
GURU: Прорыв в усиленном обучении LLM для общих рассуждений
Обычно усиленное обучение (RL) для больших языковых моделей (LLM) применяют в областях математики и кода. Но что, если мы хотим научить модель рассуждать в более широком спектре задач? Авторы новой статьи представляют GURU — тщательно подобранный датасет из шести разнообразных областей: математика, код, наука, логика, симуляции и работа с таблицами.
Они обнаружили, что применение RL в разных доменах даёт различные результаты. Там, где модель уже "знает" область (математика, код), RL помогает извлечь эти знания. В новых областях (логика, симуляции) RL действительно учит модель новым навыкам.
В итоге они создали модели GURU-7B и GURU-32B, которые превосходят существующие открытые модели в общем рассуждении. Это важный шаг к созданию LLM с универсальными способностями к рассуждению, а не только в узких областях. Код и датасет доступны на GitHub для сообщества.
Статья
Обычно усиленное обучение (RL) для больших языковых моделей (LLM) применяют в областях математики и кода. Но что, если мы хотим научить модель рассуждать в более широком спектре задач? Авторы новой статьи представляют GURU — тщательно подобранный датасет из шести разнообразных областей: математика, код, наука, логика, симуляции и работа с таблицами.
Они обнаружили, что применение RL в разных доменах даёт различные результаты. Там, где модель уже "знает" область (математика, код), RL помогает извлечь эти знания. В новых областях (логика, симуляции) RL действительно учит модель новым навыкам.
В итоге они создали модели GURU-7B и GURU-32B, которые превосходят существующие открытые модели в общем рассуждении. Это важный шаг к созданию LLM с универсальными способностями к рассуждению, а не только в узких областях. Код и датасет доступны на GitHub для сообщества.
Статья
Show-O2: Универсальная мультимодальная модель для текста, изображений и видео
Возможно ли создать единую модель, понимающую и генерирующую текст, изображения и видео? Да! Новая статья представляет улучшенную унифицированную мультимодальную модель Show-O2 с такими возможностями.
Ключевой подход – использование 3D causal VAE, обрабатывающего изображения и видео в едином пространстве. Авторы создали унифицированные визуальные представления, объединяющие семантические и низкоуровневые признаки через механизм двойного пути пространственно-временного объединения.
Модель превосходит существующие методы по большинству метрик без необходимости в огромных текстовых корпусах для обучения.
Мы приближаемся к созданию действительно универсальных моделей, способных интегрировать все виды данных.
Статья
Возможно ли создать единую модель, понимающую и генерирующую текст, изображения и видео? Да! Новая статья представляет улучшенную унифицированную мультимодальную модель Show-O2 с такими возможностями.
Ключевой подход – использование 3D causal VAE, обрабатывающего изображения и видео в едином пространстве. Авторы создали унифицированные визуальные представления, объединяющие семантические и низкоуровневые признаки через механизм двойного пути пространственно-временного объединения.
Модель превосходит существующие методы по большинству метрик без необходимости в огромных текстовых корпусах для обучения.
Мы приближаемся к созданию действительно универсальных моделей, способных интегрировать все виды данных.
Статья
Скоро голосовые ассистенты научатся распознавать 40 эмоций! (by Intel)
Машины уже научились синтезировать голос с невероятной точностью, но распознавание тонких эмоций в речи до сих пор оставалось вызовом. Исследователи из Intel и DFKI представили два новых синтетических датасета — EMONET-VOICE BIG и EMONET-VOICE BENCH. Они содержат более 4 500 часов речи на четырёх языках и охватывают 40 различных эмоциональных состояний!
На основе этих данных они разработали модели EMPATHIC INSIGHT-VOICE, которые устанавливают новый стандарт в распознавании эмоций в речи. Теперь ИИ сможет различать не только базовые эмоции, но и более сложные, такие как смущение, зависть или гордость. Это большой шаг к улучшению взаимодействия человека и машины.
Похоже, эмоционально интеллигентные ИИ уже не за горами!
Статья
Машины уже научились синтезировать голос с невероятной точностью, но распознавание тонких эмоций в речи до сих пор оставалось вызовом. Исследователи из Intel и DFKI представили два новых синтетических датасета — EMONET-VOICE BIG и EMONET-VOICE BENCH. Они содержат более 4 500 часов речи на четырёх языках и охватывают 40 различных эмоциональных состояний!
На основе этих данных они разработали модели EMPATHIC INSIGHT-VOICE, которые устанавливают новый стандарт в распознавании эмоций в речи. Теперь ИИ сможет различать не только базовые эмоции, но и более сложные, такие как смущение, зависть или гордость. Это большой шаг к улучшению взаимодействия человека и машины.
Похоже, эмоционально интеллигентные ИИ уже не за горами!
Статья
**Как обучить LLM без обучения? Drag-and-Drop LLMs!**
Большие языковые модели мощны, но их дообучение требует времени и ресурсов даже с LoRA. А что, если адаптировать LLM к новой задаче за секунды без градиентного спуска?
Статья «Drag-and-Drop LLMs» предлагает радикальный подход: генерировать адаптеры LoRA напрямую из промптов задачи! Авторы используют гиперсеть, состоящую из текстового энкодера и гиперконволюционного декодера, которая по батчу промптов выдает готовые веса адаптера.
Результат впечатляет: адаптация происходит до 12 000 раз быстрее, а качество даже превосходит обычное дообучение LoRA. Это стало возможно благодаря рассмотрению весов модели как данных, генерируемых по запросу.
Такой подход открывает новые горизонты в адаптации LLM и может значительно ускорить их применение в различных областях.
Статья
Большие языковые модели мощны, но их дообучение требует времени и ресурсов даже с LoRA. А что, если адаптировать LLM к новой задаче за секунды без градиентного спуска?
Статья «Drag-and-Drop LLMs» предлагает радикальный подход: генерировать адаптеры LoRA напрямую из промптов задачи! Авторы используют гиперсеть, состоящую из текстового энкодера и гиперконволюционного декодера, которая по батчу промптов выдает готовые веса адаптера.
Результат впечатляет: адаптация происходит до 12 000 раз быстрее, а качество даже превосходит обычное дообучение LoRA. Это стало возможно благодаря рассмотрению весов модели как данных, генерируемых по запросу.
Такой подход открывает новые горизонты в адаптации LLM и может значительно ускорить их применение в различных областях.
Статья
VIKI-Bench: учим роботов сотрудничать как в «Я, робот»
Помните суперкомпьютер VIKI из фильма «Я, робот»? Авторы новой статьи представили VIKI-Bench — первый бенчмарк для оценки способности визуально-языковых моделей координировать гетерогенные мультиагентные системы в сложных 3D средах.
VIKI-Bench предлагает три уровня задач: активация агентов, планирование задач и восприятие траекторий. Авторы разработали VIKI-R — фреймворк на основе VLM, улучшающий визуальное рассуждение с помощью обучения с подкреплением.
VIKI-R значительно превосходит базовые методы на всех уровнях задач. Это важный шаг к созданию систем, где роботы с разными возможностями эффективно сотрудничают, опираясь на визуальную информацию.
Работа перекликается с исследованиями по использованию языковых моделей для многороботного планирования, но с акцентом на визуальное восприятие. Мы становимся ближе к сценарию, где роботы совместно решают сложные задачи в реальном мире.
Статья
Помните суперкомпьютер VIKI из фильма «Я, робот»? Авторы новой статьи представили VIKI-Bench — первый бенчмарк для оценки способности визуально-языковых моделей координировать гетерогенные мультиагентные системы в сложных 3D средах.
VIKI-Bench предлагает три уровня задач: активация агентов, планирование задач и восприятие траекторий. Авторы разработали VIKI-R — фреймворк на основе VLM, улучшающий визуальное рассуждение с помощью обучения с подкреплением.
VIKI-R значительно превосходит базовые методы на всех уровнях задач. Это важный шаг к созданию систем, где роботы с разными возможностями эффективно сотрудничают, опираясь на визуальную информацию.
Работа перекликается с исследованиями по использованию языковых моделей для многороботного планирования, но с акцентом на визуальное восприятие. Мы становимся ближе к сценарию, где роботы совместно решают сложные задачи в реальном мире.
Статья
RAG на новом уровне: мультимодальная нарезка документов (by Google)
Большие языковые модели совершенствуются благодаря мультимодальным подходам к обработке документов. Исследователи предложили улучшить системы RAG с помощью мультимодальной нарезки документов. Традиционные методы разделения текста часто упускают важную информацию из таблиц, диаграмм и сложной структуры PDF.
Авторы используют крупные мультимодальные модели (LMM), например Gemini-2.5-Pro, для обработки PDF пакетами по нескольку страниц, сохраняя контекст и структуру. Этот подход позволяет лучше понимать документы со сложной версткой, сохраняя семантическую целостность и улучшая поиск.
В результате системы RAG демонстрируют более высокую точность и качество ответов, особенно на документах с богатым мультимедийным содержанием.
Это направление открывает новые возможности для обработки технических мануалов, финансовых отчетов и исследовательских статей.
Статья
Большие языковые модели совершенствуются благодаря мультимодальным подходам к обработке документов. Исследователи предложили улучшить системы RAG с помощью мультимодальной нарезки документов. Традиционные методы разделения текста часто упускают важную информацию из таблиц, диаграмм и сложной структуры PDF.
Авторы используют крупные мультимодальные модели (LMM), например Gemini-2.5-Pro, для обработки PDF пакетами по нескольку страниц, сохраняя контекст и структуру. Этот подход позволяет лучше понимать документы со сложной версткой, сохраняя семантическую целостность и улучшая поиск.
В результате системы RAG демонстрируют более высокую точность и качество ответов, особенно на документах с богатым мультимедийным содержанием.
Это направление открывает новые возможности для обработки технических мануалов, финансовых отчетов и исследовательских статей.
Статья
OmniGen2: генерируем всё и сразу в одной модели
Задумывались, как объединить все задачи генерации изображений в одной модели? Представляем OmniGen2 — открытую модель, которая умеет всё: от генерации по тексту до редактирования и контекстной генерации.
В отличие от предшественника, OmniGen2 использует разные архитектуры для авторегрессии и диффузии, эффективно справляясь с разными задачами без потери качества.
Модель использует замороженную мультимодальную языковую модель для понимания и генерации текста, сохраняя её способности. Для обработки изображений применяется VAE для низкоуровневой визуальной информации.
Авторы также представили новые датасеты и бенчмарк OmniContext для оценки моделей в контекстной генерации. OmniGen2 показывает отличные результаты во всех областях, оставаясь компактной и эффективной.
В целом, OmniGen2 — шаг вперёд к универсальной и мощной модели для всех задач генерации изображений.
Статья
Задумывались, как объединить все задачи генерации изображений в одной модели? Представляем OmniGen2 — открытую модель, которая умеет всё: от генерации по тексту до редактирования и контекстной генерации.
В отличие от предшественника, OmniGen2 использует разные архитектуры для авторегрессии и диффузии, эффективно справляясь с разными задачами без потери качества.
Модель использует замороженную мультимодальную языковую модель для понимания и генерации текста, сохраняя её способности. Для обработки изображений применяется VAE для низкоуровневой визуальной информации.
Авторы также представили новые датасеты и бенчмарк OmniContext для оценки моделей в контекстной генерации. OmniGen2 показывает отличные результаты во всех областях, оставаясь компактной и эффективной.
В целом, OmniGen2 — шаг вперёд к универсальной и мощной модели для всех задач генерации изображений.
Статья
Phantom-Data: избавляемся от эффекта копипаста в генерации видео
Вы когда-нибудь замечали, что при генерации видео по тексту модели часто "копируют-вставляют" не только главный объект, но и фон, позу и всё остальное? Это называется проблемой копипаста, и она мешает моделям точно следовать текстовым подсказкам, создавая видео с артефактами и отклонениями от желаемого содержания.
В новой работе авторы представили Phantom-Data — огромный датасет для решения этой проблемы. Они разработали трёхэтапный процесс, включающий обнаружение субъекта, поиск изображений в разных контекстах и проверку идентичности. Это помогает моделям учиться сохранять идентичность субъекта, не зацикливаясь на конкретном фоне или позе.
Эксперименты показали, что использование Phantom-Data значительно улучшает качество и соответствие сгенерированных видео текстовым инструкциям.
Это важный шаг вперёд в области генерации видео по тексту, приближая нас к более точным и креативным видеомоделям.
Статья
Вы когда-нибудь замечали, что при генерации видео по тексту модели часто "копируют-вставляют" не только главный объект, но и фон, позу и всё остальное? Это называется проблемой копипаста, и она мешает моделям точно следовать текстовым подсказкам, создавая видео с артефактами и отклонениями от желаемого содержания.
В новой работе авторы представили Phantom-Data — огромный датасет для решения этой проблемы. Они разработали трёхэтапный процесс, включающий обнаружение субъекта, поиск изображений в разных контекстах и проверку идентичности. Это помогает моделям учиться сохранять идентичность субъекта, не зацикливаясь на конкретном фоне или позе.
Эксперименты показали, что использование Phantom-Data значительно улучшает качество и соответствие сгенерированных видео текстовым инструкциям.
Это важный шаг вперёд в области генерации видео по тексту, приближая нас к более точным и креативным видеомоделям.
Статья
Как научить мультимодальные LLM логично рассуждать? Встречайте GRPO-CARE и SEED-Bench-R1!
Мультимодальные большие языковые модели (MLLM) умеют обрабатывать текст, изображения, видео, но вот с логичностью рассуждений у них проблемы. Обычно их дообучают при помощи RL, фокусируясь на правильном ответе, но цепочки рассуждений при этом страдают.
Авторы свежей статьи предложили новый фреймворк GRPO-CARE, который улучшает логическую связность рассуждений MLLM без явного процессного надзора. Они также представили новый бенчмарк SEED-Bench-R1 для оценки таких моделей, учитывающий баланс между восприятием и логикой.
В экспериментах GRPO-CARE существенно превзошёл стандартные методы RL, улучшив как точность ответов, так и связность рассуждений, особенно в задачах с переносом знаний на новые домены.
Похоже, что теперь мультимодальные модели будут не только давать правильные ответы, но и логично обосновывать их!
Статья
Мультимодальные большие языковые модели (MLLM) умеют обрабатывать текст, изображения, видео, но вот с логичностью рассуждений у них проблемы. Обычно их дообучают при помощи RL, фокусируясь на правильном ответе, но цепочки рассуждений при этом страдают.
Авторы свежей статьи предложили новый фреймворк GRPO-CARE, который улучшает логическую связность рассуждений MLLM без явного процессного надзора. Они также представили новый бенчмарк SEED-Bench-R1 для оценки таких моделей, учитывающий баланс между восприятием и логикой.
В экспериментах GRPO-CARE существенно превзошёл стандартные методы RL, улучшив как точность ответов, так и связность рассуждений, особенно в задачах с переносом знаний на новые домены.
Похоже, что теперь мультимодальные модели будут не только давать правильные ответы, но и логично обосновывать их!
Статья
Анимация любых 3D-моделей без ограничений скелетов? Легко с AnimaX!
Вы хотели бы оживить свою 3D-модель, но мешают несовместимые скелеты или сложность методов? Новая работа "AnimaX" предлагает элегантное решение.
AnimaX — система, позволяющая анимировать любые 3D-меши с произвольным скелетом, объединяя диффузионные модели видео и поз. Вместо ограничений фиксированной структурой или долгой оптимизации, AnimaX эффективно переносит методы видео-диффузии в 3D-анимацию.
Авторы представляют движение в виде мультивидовых 2D-карт поз и обучают совместную диффузионную модель, позволяющую генерировать движения на основе текстовых описаний и шаблонов. Это делает процесс анимации быстрым и универсальным.
Ранее методы, такие как MotionDiffuse или Generate3D, были ограничены конкретными скелетами или требовали больших вычислительных ресурсов. AnimaX преодолевает эти барьеры и открывает новые горизонты в 3D-анимации.
Теперь оживить вашу 3D-модель проще простого!
Статья
Вы хотели бы оживить свою 3D-модель, но мешают несовместимые скелеты или сложность методов? Новая работа "AnimaX" предлагает элегантное решение.
AnimaX — система, позволяющая анимировать любые 3D-меши с произвольным скелетом, объединяя диффузионные модели видео и поз. Вместо ограничений фиксированной структурой или долгой оптимизации, AnimaX эффективно переносит методы видео-диффузии в 3D-анимацию.
Авторы представляют движение в виде мультивидовых 2D-карт поз и обучают совместную диффузионную модель, позволяющую генерировать движения на основе текстовых описаний и шаблонов. Это делает процесс анимации быстрым и универсальным.
Ранее методы, такие как MotionDiffuse или Generate3D, были ограничены конкретными скелетами или требовали больших вычислительных ресурсов. AnimaX преодолевает эти барьеры и открывает новые горизонты в 3D-анимации.
Теперь оживить вашу 3D-модель проще простого!
Статья
**ScaleCap: генерация высококачественных детализированных подписей к изображениям**
В эпоху больших визуально-языковых моделей качество пар "изображение-текст" критически важно для обучения. Детальные описания улучшают понимание нюансов изображений.
Получение таких описаний традиционными способами для миллионов изображений непомерно дорого.
Авторы представляют ScaleCap — масштабируемый метод создания детализированных подписей с использованием открытых LVLM. Даже небольшие модели способны генерировать подробные описания при правильном подходе.
ScaleCap использует двухэтапный процесс: эвристические вопросы направляют модель на выявление деталей, а контрастная оценка фильтрует ошибки.
Результат — точные описания для обучения LVLM без серьезных затрат. Тесты подтвердили превосходные результаты моделей, обученных на таких данных.
Это упрощает обучение больших моделей с использованием доступных ресурсов.
Статья
В эпоху больших визуально-языковых моделей качество пар "изображение-текст" критически важно для обучения. Детальные описания улучшают понимание нюансов изображений.
Получение таких описаний традиционными способами для миллионов изображений непомерно дорого.
Авторы представляют ScaleCap — масштабируемый метод создания детализированных подписей с использованием открытых LVLM. Даже небольшие модели способны генерировать подробные описания при правильном подходе.
ScaleCap использует двухэтапный процесс: эвристические вопросы направляют модель на выявление деталей, а контрастная оценка фильтрует ошибки.
Результат — точные описания для обучения LVLM без серьезных затрат. Тесты подтвердили превосходные результаты моделей, обученных на таких данных.
Это упрощает обучение больших моделей с использованием доступных ресурсов.
Статья
Лучшие фичи в нейросети прячутся внутри, а не на выходе
Авторы из UT Austin и Fudan University обнаружили странную вещь: если обучить огромный vision encoder только на контрастивном лоссе (как CLIP), то внутри него на разных слоях живут отличные фичи для совершенно разных задач — OCR, VQA, детекции, оценки глубины, трекинга. Проблема одна: они спрятаны в промежуточных слоях, а не на выходе сети.
Решение — alignment tuning: дообучить модель так, чтобы нужные фичи "всплыли" на последний слой. В итоге получилось семейство Perception Encoder (PE): одна и та же предобученная модель, но с разными головами — PElang для мультимодальных LLM и PEspatial для пространственных задач.
Результат: PE бьёт SigLIP2 на image/video zero-shot, конкурирует с AIMv2 и DINOv2 на их родных задачах, и ставит новый SOTA на COCO detection с более простым декодером. Всё это — из одного простого contrastive pretraining без captioning loss и self-supervised spatial лоссов.
Источник
Авторы из UT Austin и Fudan University обнаружили странную вещь: если обучить огромный vision encoder только на контрастивном лоссе (как CLIP), то внутри него на разных слоях живут отличные фичи для совершенно разных задач — OCR, VQA, детекции, оценки глубины, трекинга. Проблема одна: они спрятаны в промежуточных слоях, а не на выходе сети.
Решение — alignment tuning: дообучить модель так, чтобы нужные фичи "всплыли" на последний слой. В итоге получилось семейство Perception Encoder (PE): одна и та же предобученная модель, но с разными головами — PElang для мультимодальных LLM и PEspatial для пространственных задач.
Результат: PE бьёт SigLIP2 на image/video zero-shot, конкурирует с AIMv2 и DINOv2 на их родных задачах, и ставит новый SOTA на COCO detection с более простым декодером. Всё это — из одного простого contrastive pretraining без captioning loss и self-supervised spatial лоссов.
Источник