ProRL: как длительный RL действительно расширяет возможности LLM
Многие задаются вопросом: может ли обучение с подкреплением (RL) расширить способности языковых моделей, или оно лишь улучшает извлечение известных решений? Авторы новой статьи представили ProRL — подход для длительного обучения с подкреплением, позволяющий моделям приобретать новые навыки рассуждения. Обученная модель Nemotron-Research-Reasoning-Qwen-1.5B превзошла базовую версию в задачах математики, кодирования, логических головоломках. Обнаружилось, что RL особенно эффективен в областях, где модель изначально слаба. Это опровергает прежние исследования, утверждавшие, что RL не расширяет границы мышления LLM. Длительное RL формирует новые паттерны рассуждения, подтверждая возможность развития новых способностей через продолжительное обучение.
Статья
Многие задаются вопросом: может ли обучение с подкреплением (RL) расширить способности языковых моделей, или оно лишь улучшает извлечение известных решений? Авторы новой статьи представили ProRL — подход для длительного обучения с подкреплением, позволяющий моделям приобретать новые навыки рассуждения. Обученная модель Nemotron-Research-Reasoning-Qwen-1.5B превзошла базовую версию в задачах математики, кодирования, логических головоломках. Обнаружилось, что RL особенно эффективен в областях, где модель изначально слаба. Это опровергает прежние исследования, утверждавшие, что RL не расширяет границы мышления LLM. Длительное RL формирует новые паттерны рассуждения, подтверждая возможность развития новых способностей через продолжительное обучение.
Статья
HARDTESTS: когда LLM учатся программировать лучше человека
Думаете, большие языковые модели (LLM) ещё далеко не дотягивают до лучших программистов? Авторы новой работы представили метод HARDTESTGEN для генерации высококачественных тестовых случаев по задачам программирования и создали датасет HARDTESTS с 47 тысячами задач! Они выяснили, что качество тестов значительно влияет на обучение LLM: модели начинают решать сложные задачи, где раньше спотыкались. Оказывается, что не только объём данных важен, но и их глубина. Теперь LLM могут конкурировать с участниками олимпиад по программированию, и это впечатляет.
Похоже, скоро нам придётся просить у них помощи с задачами на Codeforces. Или, может, уже пора задуматься о смене профессии?
Статья
Думаете, большие языковые модели (LLM) ещё далеко не дотягивают до лучших программистов? Авторы новой работы представили метод HARDTESTGEN для генерации высококачественных тестовых случаев по задачам программирования и создали датасет HARDTESTS с 47 тысячами задач! Они выяснили, что качество тестов значительно влияет на обучение LLM: модели начинают решать сложные задачи, где раньше спотыкались. Оказывается, что не только объём данных важен, но и их глубина. Теперь LLM могут конкурировать с участниками олимпиад по программированию, и это впечатляет.
Похоже, скоро нам придётся просить у них помощи с задачами на Codeforces. Или, может, уже пора задуматься о смене профессии?
Статья
Меньше значит больше: как 20% токенов в LLM делают всю работу?
При обучении LLM с помощью RLVR можно существенно ускорить процесс, фокусируясь лишь на 20% "важных" токенов. Авторы исследования заметили, что в цепочках рассуждений большинство токенов имеют низкую энтропию и продолжают текущую мысль, а малое число токенов с высокой энтропией отвечают за принятие решений — "развилки".
Предложенный метод обновляет градиенты только для высокоэнтропийных "вилочных" токенов, игнорируя остальные. Результат: ускоренное обучение при повышенном качестве рассуждений, особенно на больших моделях.
Подход экономит вычислительные ресурсы и подчеркивает важность понимания механизмов генерации ответов. Это может найти применение и в других областях, требующих ускорения обучения без потери качества.
Статья
При обучении LLM с помощью RLVR можно существенно ускорить процесс, фокусируясь лишь на 20% "важных" токенов. Авторы исследования заметили, что в цепочках рассуждений большинство токенов имеют низкую энтропию и продолжают текущую мысль, а малое число токенов с высокой энтропией отвечают за принятие решений — "развилки".
Предложенный метод обновляет градиенты только для высокоэнтропийных "вилочных" токенов, игнорируя остальные. Результат: ускоренное обучение при повышенном качестве рассуждений, особенно на больших моделях.
Подход экономит вычислительные ресурсы и подчеркивает важность понимания механизмов генерации ответов. Это может найти применение и в других областях, требующих ускорения обучения без потери качества.
Статья
**Как ускорить обучение LLM и сэкономить память? Встречайте SGG!**
Популярные оптимизаторы вроде Adam настраивают скорость обучения для каждого параметра отдельно, но требуют огромной памяти для хранения статистик. Методы PEFT типа LoRA уменьшают число обучаемых параметров, но могут снижать качество модели.
Авторы новой работы предложили подход SGG (Scaling with Gradient Grouping). Вместо хранения статистик для каждого параметра они динамически группируют параметры по схожести градиентов и настраивают скорости обучения для групп. Это балансирует адаптивность и эффективность.
Эксперименты показали, что SGG ускоряет сходимость, улучшает качество моделей и снижает потребление памяти. При этом не требуется менять архитектуру модели или процесс обучения.
Может, будущее обучения LLM за такими оптимизаторами?
Статья
Популярные оптимизаторы вроде Adam настраивают скорость обучения для каждого параметра отдельно, но требуют огромной памяти для хранения статистик. Методы PEFT типа LoRA уменьшают число обучаемых параметров, но могут снижать качество модели.
Авторы новой работы предложили подход SGG (Scaling with Gradient Grouping). Вместо хранения статистик для каждого параметра они динамически группируют параметры по схожести градиентов и настраивают скорости обучения для групп. Это балансирует адаптивность и эффективность.
Эксперименты показали, что SGG ускоряет сходимость, улучшает качество моделей и снижает потребление памяти. При этом не требуется менять архитектуру модели или процесс обучения.
Может, будущее обучения LLM за такими оптимизаторами?
Статья
UniWorld: единая модель для восприятия и манипуляции изображениями
Все стремятся создать модели, умеющие и понимать, и генерировать изображения. Но объединить задачи восприятия и манипуляции в одной модели оказалось непросто. Модели на основе VAE часто сталкиваются с проблемами при совмещении этих задач.
Авторы UniWorld заметили, что GPT-4 Image, вероятно, использует семантические энкодеры вместо VAE для извлечения признаков, и подтвердили эту гипотезу экспериментами. На этом основании они создали UniWorld — модель, сочетающую предобученные мультимодальные большие модели для авторегрессивного понимания и высокоразрешающие контрастивные семантические энкодеры для извлечения визуальных признаков.
Результат впечатляет: UniWorld, обученная всего на 2,7 млн примеров, превосходит модели, тренированные на сотнях миллионов данных, и успешно решает задачи как восприятия, так и манипуляции. Это первая открытая модель с такими всеобъемлющими возможностями.
Статья
Все стремятся создать модели, умеющие и понимать, и генерировать изображения. Но объединить задачи восприятия и манипуляции в одной модели оказалось непросто. Модели на основе VAE часто сталкиваются с проблемами при совмещении этих задач.
Авторы UniWorld заметили, что GPT-4 Image, вероятно, использует семантические энкодеры вместо VAE для извлечения признаков, и подтвердили эту гипотезу экспериментами. На этом основании они создали UniWorld — модель, сочетающую предобученные мультимодальные большие модели для авторегрессивного понимания и высокоразрешающие контрастивные семантические энкодеры для извлечения визуальных признаков.
Результат впечатляет: UniWorld, обученная всего на 2,7 млн примеров, превосходит модели, тренированные на сотнях миллионов данных, и успешно решает задачи как восприятия, так и манипуляции. Это первая открытая модель с такими всеобъемлющими возможностями.
Статья
VS-BENCH: проверка VLM на стратегическое мышление в многоагентной среде
Оказывается, Vision Language Models (VLMs) умеют не только описывать картинки, но и принимать стратегические решения в играх с другими агентами. Авторы новой статьи представили VS-BENCH — бенчмарк для оценки стратегического мышления VLM в многоагентных средах.
VS-BENCH включает восемь игр: кооперативные (Hanabi, Overcooked), конкурентные (Breakthrough, Kuhn Poker, Atari Pong) и смешанные (Coin Dilemma, Monster Hunt, Battle of the Colors). Тестирование 14 передовых VLM показало: хотя модели демонстрируют начальные способности к стратегическому мышлению, до людей им далеко.
Примечательно, что некоторые open-source модели в определенных играх не уступают коммерческим. Это указывает на потенциал открытых решений в области многоагентного обучения. Ждем новых исследований в этой захватывающей области!
Статья
Оказывается, Vision Language Models (VLMs) умеют не только описывать картинки, но и принимать стратегические решения в играх с другими агентами. Авторы новой статьи представили VS-BENCH — бенчмарк для оценки стратегического мышления VLM в многоагентных средах.
VS-BENCH включает восемь игр: кооперативные (Hanabi, Overcooked), конкурентные (Breakthrough, Kuhn Poker, Atari Pong) и смешанные (Coin Dilemma, Monster Hunt, Battle of the Colors). Тестирование 14 передовых VLM показало: хотя модели демонстрируют начальные способности к стратегическому мышлению, до людей им далеко.
Примечательно, что некоторые open-source модели в определенных играх не уступают коммерческим. Это указывает на потенциал открытых решений в области многоагентного обучения. Ждем новых исследований в этой захватывающей области!
Статья
VeBrain: делаем роботов умнее, объединив понимание и действия
Замечали, как современные большие мультимодальные языковые модели (MLLMs) достигают впечатляющих результатов в компьютерном зрении и языковых задачах? Следующий шаг — научить роботов не только видеть и понимать мир, но и взаимодействовать с ним, объединяя восприятие, пространственное мышление и управление в одной модели.
Проблема в том, что существующие MLLM плохо совмещают эти способности. Авторы представляют VeBrain — систему, формулирующую управление роботом как текстовые задачи (определение ключевых точек, распознавание действий). Это позволяет объединить обучение разных навыков без конфликтов.
Они также создали VeBrain-600k — обширный датасет с инструкциями для обучения. В результате VeBrain превосходит существующие подходы, успешно сочетая понимание, пространственное мышление и управление роботами.
Скоро наши роботы станут еще умнее благодаря таким разработкам!
Статья
Замечали, как современные большие мультимодальные языковые модели (MLLMs) достигают впечатляющих результатов в компьютерном зрении и языковых задачах? Следующий шаг — научить роботов не только видеть и понимать мир, но и взаимодействовать с ним, объединяя восприятие, пространственное мышление и управление в одной модели.
Проблема в том, что существующие MLLM плохо совмещают эти способности. Авторы представляют VeBrain — систему, формулирующую управление роботом как текстовые задачи (определение ключевых точек, распознавание действий). Это позволяет объединить обучение разных навыков без конфликтов.
Они также создали VeBrain-600k — обширный датасет с инструкциями для обучения. В результате VeBrain превосходит существующие подходы, успешно сочетая понимание, пространственное мышление и управление роботами.
Скоро наши роботы станут еще умнее благодаря таким разработкам!
Статья
Как Xiaomi выжали максимум из VLM в 7 миллиардов параметров
MiMo-VL-7B от Xiaomi — новая открытая мультимодальная языковая модель, которая уделывает более крупные аналоги. Они смогли натренировать компактную модель с 7B параметров, достигающую state-of-the-art результатов среди открытых VLM.
Ключ к успеху — умное обучение. Разработчики использовали четыре стадии предобучения с разнообразными данными, включая синтетические reasoning-данные с длинным Chain-of-Thought. Это позволило модели освоить сложные логические задачи.
Затем они применили смешанное он-полисное RL (MORL), объединяя RLHF и RL с проверяемыми наградами (RLVR), чтобы еще больше улучшить модель.
Интересно, что при добавлении reasoning-данных модель продолжала улучшаться без признаков насыщения. Также они отметили, что он-полисный RL превосходит обычный GRPO.
MiMo-VL-7B доказывает, что с правильным подходом можно создать компактные, но мощные VLM, способные конкурировать с крупными моделями.
Статья
MiMo-VL-7B от Xiaomi — новая открытая мультимодальная языковая модель, которая уделывает более крупные аналоги. Они смогли натренировать компактную модель с 7B параметров, достигающую state-of-the-art результатов среди открытых VLM.
Ключ к успеху — умное обучение. Разработчики использовали четыре стадии предобучения с разнообразными данными, включая синтетические reasoning-данные с длинным Chain-of-Thought. Это позволило модели освоить сложные логические задачи.
Затем они применили смешанное он-полисное RL (MORL), объединяя RLHF и RL с проверяемыми наградами (RLVR), чтобы еще больше улучшить модель.
Интересно, что при добавлении reasoning-данных модель продолжала улучшаться без признаков насыщения. Также они отметили, что он-полисный RL превосходит обычный GRPO.
MiMo-VL-7B доказывает, что с правильным подходом можно создать компактные, но мощные VLM, способные конкурировать с крупными моделями.
Статья
Как оценивать длинные контексты в LLM, используя вымышленные биографии?
Все знают, что длинные контексты в LLM — дело важное. Но как их правильно тестировать? Существующие бенчмарки либо дороги и неуправляемы (натуральные данные), либо слишком упрощены (синтетические задачи типа "иголка в стоге сена"). Авторы предлагают LongBioBench — новый бенчмарк, где и "иголка", и "стог сена" состоят из вымышленных биографий. Это позволяет создавать связный и контролируемый контекст для испытаний.
Выяснилось, что LLM хорошо находят нужную информацию в длинном тексте, но испытывают трудности с числовыми рассуждениями и планированием, когда контекст разрастается. А если контекст несвязный, модели могут находить обходные пути и решать задачи нечестно.
LongBioBench помогает глубже понять поведение моделей на длинных контекстах и выявить их реальные ограничения. Возможно, это шаг к тому, чтобы LLM научились лучше работать с огромными объемами текста.
Статья
Все знают, что длинные контексты в LLM — дело важное. Но как их правильно тестировать? Существующие бенчмарки либо дороги и неуправляемы (натуральные данные), либо слишком упрощены (синтетические задачи типа "иголка в стоге сена"). Авторы предлагают LongBioBench — новый бенчмарк, где и "иголка", и "стог сена" состоят из вымышленных биографий. Это позволяет создавать связный и контролируемый контекст для испытаний.
Выяснилось, что LLM хорошо находят нужную информацию в длинном тексте, но испытывают трудности с числовыми рассуждениями и планированием, когда контекст разрастается. А если контекст несвязный, модели могут находить обходные пути и решать задачи нечестно.
LongBioBench помогает глубже понять поведение моделей на длинных контекстах и выявить их реальные ограничения. Возможно, это шаг к тому, чтобы LLM научились лучше работать с огромными объемами текста.
Статья
Как научить языковую модель писать романы? Знакомьтесь с SuperWriter-Agent!
Генерация длинных текстов всегда была проблемой для LLM: логика распадается, связность теряется. SuperWriter-Agent – новый подход, учащий модели писать большие тексты поэтапно, как люди.
Идея проста: разбить процесс на три стадии – планирование, написание и редактирование. Сначала модель планирует структуру текста, затем пишет его по частям, а в конце редактирует и улучшает.
Это напоминает подходы Re3 или LongWriter, но здесь всё интегрировано в единое агентное решение, и модель учится "думать" перед написанием.
Результаты впечатляют: тексты становятся более связными и логичными. Это может быть шагом к тому, чтобы модели писали книги или научные статьи.
Возможно, скоро LLM действительно смогут заменить писателей? Будем следить за развитием SuperWriter-Agent!
Статья
Генерация длинных текстов всегда была проблемой для LLM: логика распадается, связность теряется. SuperWriter-Agent – новый подход, учащий модели писать большие тексты поэтапно, как люди.
Идея проста: разбить процесс на три стадии – планирование, написание и редактирование. Сначала модель планирует структуру текста, затем пишет его по частям, а в конце редактирует и улучшает.
Это напоминает подходы Re3 или LongWriter, но здесь всё интегрировано в единое агентное решение, и модель учится "думать" перед написанием.
Результаты впечатляют: тексты становятся более связными и логичными. Это может быть шагом к тому, чтобы модели писали книги или научные статьи.
Возможно, скоро LLM действительно смогут заменить писателей? Будем следить за развитием SuperWriter-Agent!
Статья
RoboRefer: учим VLM точно понимать пространственные инструкции для роботов
Чтобы роботы эффективно взаимодействовали с окружающей средой, им нужно не только распознавать объекты, но и точно понимать пространственные инструкции. RoboRefer — это 3D-aware Vision-Language Model, сочетающая одноступенчатое пространственное понимание с многоступенчатым рассуждением.
Модель использует двухэтапное обучение: сначала тонкая настройка через SFT на новом датасете RefSpatial (2,5 млн примеров) с детальными пространственными заданиями. Затем применяется RFT с метриками, чувствительными к процессам рассуждения.
RoboRefer превзошла другие модели, включая GPT-4, в задачах пространственного реферирования. Модель точно предсказывает точки размещения и может использоваться для навигации и манипуляций в реальных роботах.
P.S. Возможно, это важный шаг к более интеллектуальным роботам в будущем.
Статья
Чтобы роботы эффективно взаимодействовали с окружающей средой, им нужно не только распознавать объекты, но и точно понимать пространственные инструкции. RoboRefer — это 3D-aware Vision-Language Model, сочетающая одноступенчатое пространственное понимание с многоступенчатым рассуждением.
Модель использует двухэтапное обучение: сначала тонкая настройка через SFT на новом датасете RefSpatial (2,5 млн примеров) с детальными пространственными заданиями. Затем применяется RFT с метриками, чувствительными к процессам рассуждения.
RoboRefer превзошла другие модели, включая GPT-4, в задачах пространственного реферирования. Модель точно предсказывает точки размещения и может использоваться для навигации и манипуляций в реальных роботах.
P.S. Возможно, это важный шаг к более интеллектуальным роботам в будущем.
Статья
Автоэнкодеры научились понимать любые данные с помощью flow-моделей!
Автоэнкодеры — основа современного машинного обучения, но структурирование их латентных пространств остаётся сложной задачей при целевом распределении, заданном только выборками.
В новой работе предлагается использовать предобученную flow-модель как приоритетное распределение для выравнивания латентного пространства. Flow-модель обучается на целевом распределении, затем минимизируется функция выравнивания для соответствия латентных представлений этому распределению.
Метод позволяет выровнять латентное пространство с любым распределением без явного расчёта сложных функций правдоподобия, улучшая интерпретируемость.
Эксперименты подтвердили эффективность подхода на различных задачах, включая генерацию изображений на ImageNet.
Этот метод открывает путь к более гибким моделям представления данных.
Статья
Автоэнкодеры — основа современного машинного обучения, но структурирование их латентных пространств остаётся сложной задачей при целевом распределении, заданном только выборками.
В новой работе предлагается использовать предобученную flow-модель как приоритетное распределение для выравнивания латентного пространства. Flow-модель обучается на целевом распределении, затем минимизируется функция выравнивания для соответствия латентных представлений этому распределению.
Метод позволяет выровнять латентное пространство с любым распределением без явного расчёта сложных функций правдоподобия, улучшая интерпретируемость.
Эксперименты подтвердили эффективность подхода на различных задачах, включая генерацию изображений на ImageNet.
Этот метод открывает путь к более гибким моделям представления данных.
Статья
**Как ComfyUI-Copilot меняет правила игры в AI-генерации контента**
Пробовали разобраться в ComfyUI? Этот инструмент для разработки AI-воркфлоу мощный, но не всегда дружелюбный к новичкам. Здесь помогает ComfyUI-Copilot — LLM-ассистент, упрощающий навигацию по ComfyUI.
Копилот автоматически генерирует рабочие процессы по вашему описанию, рекомендует узлы и модели, отвечает на вопросы и помогает с оптимизацией. Благодаря базе знаний с 7 000 узлов, 62 000 моделей и 9 000 воркфлоу, он предлагает актуальные решения.
Результаты впечатляют: высокая точность рекомендаций и положительные отзывы. Проект собрал более 1,6 тыс. звёзд на GitHub и привлёк 19 000 пользователей из 22 стран. ComfyUI-Copilot — первый открытый проект, делающий работу с ComfyUI доступнее.
Ждём новых функций, которые ещё больше облегчат создание AI-контента!
Статья
Пробовали разобраться в ComfyUI? Этот инструмент для разработки AI-воркфлоу мощный, но не всегда дружелюбный к новичкам. Здесь помогает ComfyUI-Copilot — LLM-ассистент, упрощающий навигацию по ComfyUI.
Копилот автоматически генерирует рабочие процессы по вашему описанию, рекомендует узлы и модели, отвечает на вопросы и помогает с оптимизацией. Благодаря базе знаний с 7 000 узлов, 62 000 моделей и 9 000 воркфлоу, он предлагает актуальные решения.
Результаты впечатляют: высокая точность рекомендаций и положительные отзывы. Проект собрал более 1,6 тыс. звёзд на GitHub и привлёк 19 000 пользователей из 22 стран. ComfyUI-Copilot — первый открытый проект, делающий работу с ComfyUI доступнее.
Ждём новых функций, которые ещё больше облегчат создание AI-контента!
Статья
Как ускорить восстановление видео до одного шага? Новая модель SeedVR2 от ByteDance
В области восстановления видео диффузионные модели эффективны, но требуют множества шагов генерации. Исследователи ByteDance решили эту проблему с помощью SeedVR2, позволяющей восстанавливать видео высокого разрешения за один шаг.
SeedVR2 использует диффузионные трансформеры с адаптивным механизмом внимания по окнам для обработки видео в 1080p и выше. Вместо предварительно обученных моделей или сложных многократных шагов применяется прогрессивная дистилляция и тренировка с противопоставлением.
Модель ускоряет процесс в 4 раза, сохраняя качество на уровне многократных диффузионных подходов или превосходя их. Это важный прогресс для приложений, где критичны скорость и качество.
SeedVR2 открывает новые возможности для быстрого восстановления видео, и этот подход может найти применение в других областях компьютерного зрения.
Статья
В области восстановления видео диффузионные модели эффективны, но требуют множества шагов генерации. Исследователи ByteDance решили эту проблему с помощью SeedVR2, позволяющей восстанавливать видео высокого разрешения за один шаг.
SeedVR2 использует диффузионные трансформеры с адаптивным механизмом внимания по окнам для обработки видео в 1080p и выше. Вместо предварительно обученных моделей или сложных многократных шагов применяется прогрессивная дистилляция и тренировка с противопоставлением.
Модель ускоряет процесс в 4 раза, сохраняя качество на уровне многократных диффузионных подходов или превосходя их. Это важный прогресс для приложений, где критичны скорость и качество.
SeedVR2 открывает новые возможности для быстрого восстановления видео, и этот подход может найти применение в других областях компьютерного зрения.
Статья
❤1
ComfyUI-Copilot: ваш умный помощник в мире AI-генерации контента (от Alibaba)
Новичкам сложно освоить ComfyUI — мощный инструмент для AI-контента без обилия кода. Установка нодов, моделей, поиск документации создают трудности. Решение — ComfyUI-Copilot, ассистент с LLM, преодолевающий эти барьеры.
Его возможности: автогенерация рабочих процессов, рекомендации по нодам и моделям, ответы на вопросы. Он проводит вас через экосистему AI-генерации: текст-в-изображение, замена лиц, видеоредактирование и другое.
База знаний включает 7 тысяч нодов, 62 тысячи моделей, 9 тысяч воркфлоу, что обеспечивает точное понимание запросов и оптимальные решения.
С момента выхода на GitHub проект собрал более 1,6 тысяч звёзд и обработал свыше 85 тысяч запросов от 19 тысяч пользователей из 22 стран.
Попробуйте ComfyUI-Copilot и упростите своё знакомство с ComfyUI!
Статья
Новичкам сложно освоить ComfyUI — мощный инструмент для AI-контента без обилия кода. Установка нодов, моделей, поиск документации создают трудности. Решение — ComfyUI-Copilot, ассистент с LLM, преодолевающий эти барьеры.
Его возможности: автогенерация рабочих процессов, рекомендации по нодам и моделям, ответы на вопросы. Он проводит вас через экосистему AI-генерации: текст-в-изображение, замена лиц, видеоредактирование и другое.
База знаний включает 7 тысяч нодов, 62 тысячи моделей, 9 тысяч воркфлоу, что обеспечивает точное понимание запросов и оптимальные решения.
С момента выхода на GitHub проект собрал более 1,6 тысяч звёзд и обработал свыше 85 тысяч запросов от 19 тысяч пользователей из 22 стран.
Попробуйте ComfyUI-Copilot и упростите своё знакомство с ComfyUI!
Статья
**Как научить видеомодели помнить прошлое: пространственная память в генерации видео**
Замечали, что модели генерации видео часто путаются на длинных роликах из-за короткой памяти? Они видят лишь последние кадры.
Авторы новой статьи вдохновились человеческой памятью и добавили в модель три её типа: рабочую (недавние кадры), пространственную (3D карта мира) и эпизодическую (ключевые кадры).
Используя облака точек для хранения информации о статичных объектах, модель теперь "помнит" окружение. Динамические объекты отсеиваются для сохранения фокуса.
Результат: более длинные и последовательные видео без потери деталей. По тестам новый метод превзошёл предыдущие по качеству и 3D-согласованности.
Скоро, возможно, увидим бесконечные видео с непрерывным сюжетом без провалов в памяти!
Статья
Замечали, что модели генерации видео часто путаются на длинных роликах из-за короткой памяти? Они видят лишь последние кадры.
Авторы новой статьи вдохновились человеческой памятью и добавили в модель три её типа: рабочую (недавние кадры), пространственную (3D карта мира) и эпизодическую (ключевые кадры).
Используя облака точек для хранения информации о статичных объектах, модель теперь "помнит" окружение. Динамические объекты отсеиваются для сохранения фокуса.
Результат: более длинные и последовательные видео без потери деталей. По тестам новый метод превзошёл предыдущие по качеству и 3D-согласованности.
Скоро, возможно, увидим бесконечные видео с непрерывным сюжетом без провалов в памяти!
Статья
Одношаговое восстановление видео: как ускорить диффузионные модели в 4 раза? (by ByteDance)
Диффузионные модели стали стандартом для восстановления изображений и видео, но их главный недостаток — медлительность из-за множества шагов генерации. Это особенно критично при обработке длинных видео в высоком разрешении.
В ByteDance предложили SeedVR2 — метод, позволяющий выполнять восстановление видео за один шаг без учителя и замороженных прайоров. Они использовали adversarial post-training для обучения большого диффузионного трансформера, внедрили адаптивное оконное внимание для работы с высокими разрешениями и улучшили функцию потерь с помощью feature matching.
Результат впечатляет: качество сравнимо или превосходит многошаговые методы, а скорость выше в 4 раза! Похоже, диффузионные модели сделали шаг вперёд в эффективности восстановления видео.
Статья
Диффузионные модели стали стандартом для восстановления изображений и видео, но их главный недостаток — медлительность из-за множества шагов генерации. Это особенно критично при обработке длинных видео в высоком разрешении.
В ByteDance предложили SeedVR2 — метод, позволяющий выполнять восстановление видео за один шаг без учителя и замороженных прайоров. Они использовали adversarial post-training для обучения большого диффузионного трансформера, внедрили адаптивное оконное внимание для работы с высокими разрешениями и улучшили функцию потерь с помощью feature matching.
Результат впечатляет: качество сравнимо или превосходит многошаговые методы, а скорость выше в 4 раза! Похоже, диффузионные модели сделали шаг вперёд в эффективности восстановления видео.
Статья
**ComfyUI-Copilot: ваш персональный помощник в мире AI-генерации**
Терялись в сложных процессах ComfyUI? Исследователи Alibaba создали ComfyUI-Copilot — мультиагентную ИИ-систему, помогающую создавать и оптимизировать рабочие процессы в ComfyUI даже новичкам. Она генерирует процессы по запросу, рекомендует ноды и модели, отвечает на вопросы.
Главное преимущество — не нужно вручную собирать сложные графы нод. Copilot подскажет нужные компоненты и их связи. Он поддерживает различные задачи: текст-картинка, видео, условную генерацию, что расширяет возможности по сравнению с прежними решениями.
Авторы создали базу знаний из 7000 нод, 62 000 моделей и 9000 рабочих процессов с постоянным обновлением. Благодаря этому Copilot предлагает актуальные передовые решения.
Система уже получила более 1,6K звезд на GitHub, привлекая 19 000 пользователей из 22 стран. Вероятно, создание сложных AI-генераций скоро станет доступно каждому.
Статья
Терялись в сложных процессах ComfyUI? Исследователи Alibaba создали ComfyUI-Copilot — мультиагентную ИИ-систему, помогающую создавать и оптимизировать рабочие процессы в ComfyUI даже новичкам. Она генерирует процессы по запросу, рекомендует ноды и модели, отвечает на вопросы.
Главное преимущество — не нужно вручную собирать сложные графы нод. Copilot подскажет нужные компоненты и их связи. Он поддерживает различные задачи: текст-картинка, видео, условную генерацию, что расширяет возможности по сравнению с прежними решениями.
Авторы создали базу знаний из 7000 нод, 62 000 моделей и 9000 рабочих процессов с постоянным обновлением. Благодаря этому Copilot предлагает актуальные передовые решения.
Система уже получила более 1,6K звезд на GitHub, привлекая 19 000 пользователей из 22 стран. Вероятно, создание сложных AI-генераций скоро станет доступно каждому.
Статья
RoboRefer: как научить роботов понимать сложные пространственные инструкции
Вы задумывались, как научить роботов понимать инструкции типа «поставь предмет между держателем для ручек и клавиатурой, выровняв с логотипом на чашке»?
Большинство моделей фокусируется на простом пространственном понимании. Как справиться с многосложными инструкциями?
RoboRefer — 3D-ориентированная Vision-Language модель для многошаговых пространственных рассуждений. Она использует энкодер глубины и двухступенчатое обучение для улучшения рассуждений.
Авторы создали датасет RefSpatial и бенчмарк RefSpatial-Bench для задач пространственного референсирования.
RoboRefer превзошёл существующие модели и эффективно управляет роботами в реальных задачах манипуляции и навигации.
P.S. Модель учится разбивать сложные задачи на шаги, приближаясь к человеческому пониманию пространства.
Статья
Вы задумывались, как научить роботов понимать инструкции типа «поставь предмет между держателем для ручек и клавиатурой, выровняв с логотипом на чашке»?
Большинство моделей фокусируется на простом пространственном понимании. Как справиться с многосложными инструкциями?
RoboRefer — 3D-ориентированная Vision-Language модель для многошаговых пространственных рассуждений. Она использует энкодер глубины и двухступенчатое обучение для улучшения рассуждений.
Авторы создали датасет RefSpatial и бенчмарк RefSpatial-Bench для задач пространственного референсирования.
RoboRefer превзошёл существующие модели и эффективно управляет роботами в реальных задачах манипуляции и навигации.
P.S. Модель учится разбивать сложные задачи на шаги, приближаясь к человеческому пониманию пространства.
Статья
**Как научить ИИ описывать звук столь же подробно, как человек?**
Задумывались, почему технологии описания аудио отстают от описания изображений? Ручная разметка аудио трудоёмка, а автоматические методы дают неточные результаты. Что если научить ИИ воспринимать звук комплексно – через зрение и слух?
В новой работе предложен подход к автоматическому описанию аудио с мультимодальными подсказками. Авторы используют специализированные модели для распознавания речи, музыки, звуков и визуальной информации. Вся эта информация объединяется с помощью LLM, генерирующей точные аудиоописания.
Результатом стал FusionAudio-1.2M – датасет из 1,2 миллиона детальных описаний аудио. Использование мультимодальных данных и LLM позволило достичь качества, близкого к ручной разметке, но автоматически и масштабно.
Теперь модели понимают аудио почти по-человечески, открывая новые возможности в аудиоанализе и мультимодальном обучении.
Статья
Задумывались, почему технологии описания аудио отстают от описания изображений? Ручная разметка аудио трудоёмка, а автоматические методы дают неточные результаты. Что если научить ИИ воспринимать звук комплексно – через зрение и слух?
В новой работе предложен подход к автоматическому описанию аудио с мультимодальными подсказками. Авторы используют специализированные модели для распознавания речи, музыки, звуков и визуальной информации. Вся эта информация объединяется с помощью LLM, генерирующей точные аудиоописания.
Результатом стал FusionAudio-1.2M – датасет из 1,2 миллиона детальных описаний аудио. Использование мультимодальных данных и LLM позволило достичь качества, близкого к ручной разметке, но автоматически и масштабно.
Теперь модели понимают аудио почти по-человечески, открывая новые возможности в аудиоанализе и мультимодальном обучении.
Статья