Стоит ли ЛЛМ отвечать на каждый вопрос, если ошибка может дорого стоить?
В новом исследовании авторы изучают, как большие языковые модели могут научиться воздерживаться от ответа, когда они недостаточно уверены. Вместо постоянного угадывания модели оценивают свою уверенность и решают, стоит ли отвечать — особенно важно в ситуациях, где цена ошибки высока.
Авторы вводят метрику "Jeopardy Odds", которая поощряет за правильные ответы и наказывает за неправильные, стимулируя модели давать ответ только при достаточной уверенности. Они показывают, что увеличение вычислений (то есть более длительное "обдумывание") помогает моделям лучше оценивать свою уверенность и принимать решение отвечать или воздержаться.
Это шаг к более ответственным ЛЛМ, которые не только генерируют ответы, но и учитывают риски ошибок. Такой подход может сделать взаимодействие с ИИ более надежным, особенно в критически важных областях.
Статья
В новом исследовании авторы изучают, как большие языковые модели могут научиться воздерживаться от ответа, когда они недостаточно уверены. Вместо постоянного угадывания модели оценивают свою уверенность и решают, стоит ли отвечать — особенно важно в ситуациях, где цена ошибки высока.
Авторы вводят метрику "Jeopardy Odds", которая поощряет за правильные ответы и наказывает за неправильные, стимулируя модели давать ответ только при достаточной уверенности. Они показывают, что увеличение вычислений (то есть более длительное "обдумывание") помогает моделям лучше оценивать свою уверенность и принимать решение отвечать или воздержаться.
Это шаг к более ответственным ЛЛМ, которые не только генерируют ответы, но и учитывают риски ошибок. Такой подход может сделать взаимодействие с ИИ более надежным, особенно в критически важных областях.
Статья
Как научить GPT работать в 15 раз быстрее на сложных задачах?
В новой статье авторы представили **Autellix** — систему для оптимизации исполнения программ на основе LLM, а не отдельных запросов к модели.
Обычно системы, обслуживающие LLM, оптимизируют каждый запрос отдельно, не учитывая общую картину программы. Это приводит к задержкам и неэффективному использованию ресурсов. **Autellix** решает эту проблему, используя программно-ориентированное расписание запросов, которое учитывает зависимости между ними и общее время исполнения программы.
В результате **Autellix** ускоряет выполнение сложных задач, таких как автономные агенты, веб-поиск и решение сложных математических проблем, улучшая пропускную способность в 4–15 раз по сравнению с существующими системами.
P.S. Кажется, это шаг вперед в направлении масштабирования LLM для сложных приложений.
Статья
В новой статье авторы представили **Autellix** — систему для оптимизации исполнения программ на основе LLM, а не отдельных запросов к модели.
Обычно системы, обслуживающие LLM, оптимизируют каждый запрос отдельно, не учитывая общую картину программы. Это приводит к задержкам и неэффективному использованию ресурсов. **Autellix** решает эту проблему, используя программно-ориентированное расписание запросов, которое учитывает зависимости между ними и общее время исполнения программы.
В результате **Autellix** ускоряет выполнение сложных задач, таких как автономные агенты, веб-поиск и решение сложных математических проблем, улучшая пропускную способность в 4–15 раз по сравнению с существующими системами.
P.S. Кажется, это шаг вперед в направлении масштабирования LLM для сложных приложений.
Статья
Границы знаний LLM: новый супербенчмарк бросает вызов моделям
Существующие бенчмарки для языковых моделей, такие как MMLU и GPQA, стали слишком простыми — современные LLM показывают на них почти идеальные результаты. Но как узнать, где настоящие пределы их возможностей?
Недавно исследователи представили SuperGPQA — новый бенчмарк, охватывающий 285 дисциплин уровня магистратуры, включая малоизученные области вроде легкой промышленности и сельского хозяйства. В каждой дисциплине собрано не менее 50 сложных вопросов.
Интересно, что даже самые продвинутые модели (например, o1 и Deepseek-R1) набирают на SuperGPQA около 60%. Это показывает, что у LLM еще есть потенциал для роста и улучшения.
SuperGPQA может стать новым стандартом для оценки реальных знаний языковых моделей и стимулирует дальнейшее развитие AI, способного глубоко понимать широкий спектр человеческих знаний.
Статья
Существующие бенчмарки для языковых моделей, такие как MMLU и GPQA, стали слишком простыми — современные LLM показывают на них почти идеальные результаты. Но как узнать, где настоящие пределы их возможностей?
Недавно исследователи представили SuperGPQA — новый бенчмарк, охватывающий 285 дисциплин уровня магистратуры, включая малоизученные области вроде легкой промышленности и сельского хозяйства. В каждой дисциплине собрано не менее 50 сложных вопросов.
Интересно, что даже самые продвинутые модели (например, o1 и Deepseek-R1) набирают на SuperGPQA около 60%. Это показывает, что у LLM еще есть потенциал для роста и улучшения.
SuperGPQA может стать новым стандартом для оценки реальных знаний языковых моделей и стимулирует дальнейшее развитие AI, способного глубоко понимать широкий спектр человеческих знаний.
Статья
Как улучшить CLIP и сделать мультилингвальный vision-language энкодер? Google знает ответ!
Компания представила SigLIP 2 — мультилингвальный энкодер изображений и текста, который не только обеспечивает высокое качество на задачах классификации и поиска, но и понимает более 100 языков. SigLIP 2 сочетает в себе множество улучшений: декодер для обучения на описаниях изображений, самодистилляцию, маскированное предсказание и работу с изображениями в их родном соотношении сторон.
Особенно впечатляет, что модель обучена на огромном датасете WebLI с 12 миллиардами альтернативных текстов. SigLIP 2 превосходит другие открытые модели типа CLIP по многим метрикам, и при этом позволяет лучше решать задачи локализации и семантического понимания.
Ждём, когда SigLIP 2 станет новым стандартом для мультилингвального распознавания изображений!
Статья
Компания представила SigLIP 2 — мультилингвальный энкодер изображений и текста, который не только обеспечивает высокое качество на задачах классификации и поиска, но и понимает более 100 языков. SigLIP 2 сочетает в себе множество улучшений: декодер для обучения на описаниях изображений, самодистилляцию, маскированное предсказание и работу с изображениями в их родном соотношении сторон.
Особенно впечатляет, что модель обучена на огромном датасете WebLI с 12 миллиардами альтернативных текстов. SigLIP 2 превосходит другие открытые модели типа CLIP по многим метрикам, и при этом позволяет лучше решать задачи локализации и семантического понимания.
Ждём, когда SigLIP 2 станет новым стандартом для мультилингвального распознавания изображений!
Статья
Как обучить ИИ-агента проводить научные исследования? Встречайте MLGym!
Авторы представили MLGym — первую Gym-среду для ИИ-агентов-исследователей, объединяющую разнообразные открытые научные задачи в единую платформу для разработки и оценки LLM-агентов. MLGym-Bench — набор из 13 задач по компьютерному зрению, обработке естественного языка, RL и теории игр.
Особенность MLGym — возможность оценивать агентов на открытых задачах без единственно верного ответа, где успех измеряется разными артефактами: моделями, алгоритмами или кодом стратегий.
Авторы сравнили пять передовых LLM на этих задачах, выявив их сильные и слабые стороны, и предложили новый метод оценки агентов из оптимизации и AutoML.
Эта работа открывает новые возможности для создания ИИ-агентов, способных проводить научные исследования, и может существенно ускорить прогресс в науке.
P.S. Код и данные доступны для исследования и развития.
Статья
Авторы представили MLGym — первую Gym-среду для ИИ-агентов-исследователей, объединяющую разнообразные открытые научные задачи в единую платформу для разработки и оценки LLM-агентов. MLGym-Bench — набор из 13 задач по компьютерному зрению, обработке естественного языка, RL и теории игр.
Особенность MLGym — возможность оценивать агентов на открытых задачах без единственно верного ответа, где успех измеряется разными артефактами: моделями, алгоритмами или кодом стратегий.
Авторы сравнили пять передовых LLM на этих задачах, выявив их сильные и слабые стороны, и предложили новый метод оценки агентов из оптимизации и AutoML.
Эта работа открывает новые возможности для создания ИИ-агентов, способных проводить научные исследования, и может существенно ускорить прогресс в науке.
P.S. Код и данные доступны для исследования и развития.
Статья
Что получится, если заставить LLM решать задачи из 285 дисциплин?
Представляю SuperGPQA – новый комплексный бенчмарк для оценки больших языковых моделей (LLM) по **285 дисциплинам** на уровне магистратуры. Предыдущие бенчмарки, вроде MMLU и GPQA, фокусировались на общих областях знаний, упуская длиннохвостые области, такие как легкая промышленность, сельское хозяйство и сервисные дисциплины. SuperGPQA, разработанный сообществом M-A-P, заполняет этот пробел, предоставляя по крайней мере 50 вопросов для каждой дисциплины и проверяет реальные знания и способности к рассуждению LLM. Интересно, что даже **лучшие модели набирают лишь около 60%** – есть куда стремиться! При создании бенчмарка применялся масштабный процесс человеко-LLM сотрудничества с трехэтапной проверкой качества.
Возможно, этот бенчмарк станет новым стандартом в оценке LLM и поможет нам лучше понять их истинные возможности.
Статья
Представляю SuperGPQA – новый комплексный бенчмарк для оценки больших языковых моделей (LLM) по **285 дисциплинам** на уровне магистратуры. Предыдущие бенчмарки, вроде MMLU и GPQA, фокусировались на общих областях знаний, упуская длиннохвостые области, такие как легкая промышленность, сельское хозяйство и сервисные дисциплины. SuperGPQA, разработанный сообществом M-A-P, заполняет этот пробел, предоставляя по крайней мере 50 вопросов для каждой дисциплины и проверяет реальные знания и способности к рассуждению LLM. Интересно, что даже **лучшие модели набирают лишь около 60%** – есть куда стремиться! При создании бенчмарка применялся масштабный процесс человеко-LLM сотрудничества с трехэтапной проверкой качества.
Возможно, этот бенчмарк станет новым стандартом в оценке LLM и поможет нам лучше понять их истинные возможности.
Статья
SigLIP 2: Мультиязычный CLIP от Google—модель, которая понимает 100 языков!
Google выпустила SigLIP 2 — продолжение CLIP и SigLIP, но теперь с поддержкой более 100 языков. Модель понимает не только английский, но и русский, китайский и даже суахили.
SigLIP 2 улучшила классификацию и поиск изображений по тексту, а также задачи локализации и сегментации благодаря добавлению самосупервизии и декодера. Она обрабатывает изображения в оригинальном соотношении сторон и поддерживает переменное разрешение.
И самое приятное: даже маленькие версии модели стали умнее и быстрее благодаря методам дистилляции.
Может быть, это шаг к созданию универсальной модели компьютерного зрения? Поживём — увидим!
Статья
Google выпустила SigLIP 2 — продолжение CLIP и SigLIP, но теперь с поддержкой более 100 языков. Модель понимает не только английский, но и русский, китайский и даже суахили.
SigLIP 2 улучшила классификацию и поиск изображений по тексту, а также задачи локализации и сегментации благодаря добавлению самосупервизии и декодера. Она обрабатывает изображения в оригинальном соотношении сторон и поддерживает переменное разрешение.
И самое приятное: даже маленькие версии модели стали умнее и быстрее благодаря методам дистилляции.
Может быть, это шаг к созданию универсальной модели компьютерного зрения? Поживём — увидим!
Статья
Секретная формула S∗: улучшаем генерацию кода без дообучения!
Можно значительно повысить качество генерации кода LLM, просто изменив инференс. В новой статье предлагают гибридный метод масштабирования вычислений на этапе инференса, названный S∗. Он сочетает параллельное и последовательное масштабирование: сначала генерируется несколько вариантов решения, затем каждый дорабатывается через итеративную отладку с использованием публичных тестов.
Но главное — новый способ выбора лучшего решения. Вместо голосования или оценок LLM авторы предлагают адаптивную генерацию тестовых входных данных для отличия правильного кода от неверного. Это существенно повышает точность выбора корректного решения.
Эксперименты показывают, что S∗ значительно улучшает производительность на популярных бенчмарках генерации кода, превосходя существующие методы масштабирования инференса, такие как majority voting и self-debugging.
P.S. Возможно, это новый шаг к улучшению генерации кода без изменения моделей!
Статья
Можно значительно повысить качество генерации кода LLM, просто изменив инференс. В новой статье предлагают гибридный метод масштабирования вычислений на этапе инференса, названный S∗. Он сочетает параллельное и последовательное масштабирование: сначала генерируется несколько вариантов решения, затем каждый дорабатывается через итеративную отладку с использованием публичных тестов.
Но главное — новый способ выбора лучшего решения. Вместо голосования или оценок LLM авторы предлагают адаптивную генерацию тестовых входных данных для отличия правильного кода от неверного. Это существенно повышает точность выбора корректного решения.
Эксперименты показывают, что S∗ значительно улучшает производительность на популярных бенчмарках генерации кода, превосходя существующие методы масштабирования инференса, такие как majority voting и self-debugging.
P.S. Возможно, это новый шаг к улучшению генерации кода без изменения моделей!
Статья
Как научить языковые модели понимать, что сейчас не 2005 год?
Большие языковые модели (LLM) отлично справляются с фактами, но часто "застревают во времени", путая события разных лет. Исследователи обнаружили, что внутри LLM существуют особые "темпоральные головы" в трансформерах — участки модели, ответственные за обработку временной информации. Проведя анализ и "отключая" эти головы, они заметили, что модель теряет способность правильно отвечать на вопросы, связанные со временем, но сохраняет прочие знания. Это открытие не только помогает понять, как LLM обрабатывают меняющиеся факты, но и открывает пути для улучшения их работы с актуальной информацией. Возможно, скоро сможем обучать модели понимать, кто президент в текущем году, без полной перетренировки!
Статья
Большие языковые модели (LLM) отлично справляются с фактами, но часто "застревают во времени", путая события разных лет. Исследователи обнаружили, что внутри LLM существуют особые "темпоральные головы" в трансформерах — участки модели, ответственные за обработку временной информации. Проведя анализ и "отключая" эти головы, они заметили, что модель теряет способность правильно отвечать на вопросы, связанные со временем, но сохраняет прочие знания. Это открытие не только помогает понять, как LLM обрабатывают меняющиеся факты, но и открывает пути для улучшения их работы с актуальной информацией. Возможно, скоро сможем обучать модели понимать, кто президент в текущем году, без полной перетренировки!
Статья
Как научить маленькие языковые модели думать глубоко без больших затрат?
Большие модели вроде GPT-4 впечатляют своими способностями к рассуждению, но их обучение требует огромных ресурсов. А что если мы хотим, чтобы маленькие модели тоже умели глубоко мыслить без суперкомпьютеров? Новая статья предлагает простой метод — обучить модели самим себя проверять и исправлять (самопроверка и самокоррекция). Вместо копирования мыслей больших моделей, они учат маленькие LLM находить ошибки в своих решениях и исправлять их. И всё это с минимальным количеством данных (всего 3 тысячи примеров) и без больших вычислительных затрат.
Результаты впечатляют: модель Qwen2.5-math-7B повысила точность на MATH500 с 51% до 81.6%, обойдя аналоги, обученные на больших данных. Такой подход позволяет моделям лучше справляться со сложными задачами, уделяя им больше внимания.
Похоже, что будущее LLM не только в увеличении размеров моделей, но и в обучении их умным стратегиям мышления.
Статья
Большие модели вроде GPT-4 впечатляют своими способностями к рассуждению, но их обучение требует огромных ресурсов. А что если мы хотим, чтобы маленькие модели тоже умели глубоко мыслить без суперкомпьютеров? Новая статья предлагает простой метод — обучить модели самим себя проверять и исправлять (самопроверка и самокоррекция). Вместо копирования мыслей больших моделей, они учат маленькие LLM находить ошибки в своих решениях и исправлять их. И всё это с минимальным количеством данных (всего 3 тысячи примеров) и без больших вычислительных затрат.
Результаты впечатляют: модель Qwen2.5-math-7B повысила точность на MATH500 с 51% до 81.6%, обойдя аналоги, обученные на больших данных. Такой подход позволяет моделям лучше справляться со сложными задачами, уделяя им больше внимания.
Похоже, что будущее LLM не только в увеличении размеров моделей, но и в обучении их умным стратегиям мышления.
Статья
Могут ли современные VLM увидеть мир глазами другого?
Исследователи проверили способность визуально-языковых моделей (VLM) принимать визуальную перспективу других — ключевой навык теории разума. На основе тестов визуального принятия перспективы (VPT) они создали 144 задачи и протестировали модели GPT-4, Claude 3 и Llama.
Результаты показали, что модели хорошо понимают сцены и распознают объекты, но испытывают трудности с пространственным мышлением и полностью проваливают задачи VPT. Они не могут определить, что видит другой наблюдатель, и не способны представить сцену с чужой точки зрения.
Это указывает на фундаментальное ограничение VLM: отсутствие механизмов для геометрических преобразований и рассуждений в чужой системе отсчета. Для применения в робототехнике и автономном вождении критично научить модели "понимать" пространство и визуальные перспективы других.
Статья
Исследователи проверили способность визуально-языковых моделей (VLM) принимать визуальную перспективу других — ключевой навык теории разума. На основе тестов визуального принятия перспективы (VPT) они создали 144 задачи и протестировали модели GPT-4, Claude 3 и Llama.
Результаты показали, что модели хорошо понимают сцены и распознают объекты, но испытывают трудности с пространственным мышлением и полностью проваливают задачи VPT. Они не могут определить, что видит другой наблюдатель, и не способны представить сцену с чужой точки зрения.
Это указывает на фундаментальное ограничение VLM: отсутствие механизмов для геометрических преобразований и рассуждений в чужой системе отсчета. Для применения в робототехнике и автономном вождении критично научить модели "понимать" пространство и визуальные перспективы других.
Статья
Мультимодальные LLM объединяют усилия: автомодель на все руки?
Последние годы принесли прорыв в мультимодальных моделях понимания и генерации изображений. Они развивались параллельно: модели понимания используют авторегрессию, а генераторы картинок – диффузию. Чтобы создать модель, способную и понимать, и генерировать, необходимо преодолеть эту архитектурную дилемму.
Статья «Unified Multimodal Understanding and Generation Models» анализирует попытки объединения подходов. Авторы классифицируют модели на диффузионные, авторегрессивные и гибридные. Рассматриваются ключевые проблемы: токенизация изображений, кросс-модальное внимание, подбор датасетов.
Направление только развивается, но объединение понимания и генерации в одной модели – путь к действительно универсальным мультимодальным системам. Возможно, скоро появятся LLM, способные не только понимать запросы, но и сразу создавать изображения.
P.S. Интересно, когда такие модели станут частью нашего повседневного инструментария?
Статья
Последние годы принесли прорыв в мультимодальных моделях понимания и генерации изображений. Они развивались параллельно: модели понимания используют авторегрессию, а генераторы картинок – диффузию. Чтобы создать модель, способную и понимать, и генерировать, необходимо преодолеть эту архитектурную дилемму.
Статья «Unified Multimodal Understanding and Generation Models» анализирует попытки объединения подходов. Авторы классифицируют модели на диффузионные, авторегрессивные и гибридные. Рассматриваются ключевые проблемы: токенизация изображений, кросс-модальное внимание, подбор датасетов.
Направление только развивается, но объединение понимания и генерации в одной модели – путь к действительно универсальным мультимодальным системам. Возможно, скоро появятся LLM, способные не только понимать запросы, но и сразу создавать изображения.
P.S. Интересно, когда такие модели станут частью нашего повседневного инструментария?
Статья
# Как научить LLM искать без реального поисковика?
Большие языковые модели обладают обширными знаниями, но они статичны и не обновляются в реальном времени. Для получения актуальной информации обычно используются методы RAG с обращением к внешним источникам, что требует сложной настройки и значительных затрат на API-вызовы.
Авторы "ZEROSEARCH" предлагают революционный подход: обучать LLM симулировать поиск, генерируя как релевантные, так и нерелевантные документы по запросу. Это устраняет затраты на API и позволяет контролировать качество выдачи.
Они также внедряют механизм "curriculum rollout", постепенно усложняя задачи и ухудшая качество симулируемых документов для обучения работе с шумными данными.
Результаты впечатляют: даже модель с 3 миллиардами параметров эффективно учится поиску без обращения к реальным поисковикам.
Этот подход развивает идеи ReSearch и DeepResearcher, но превосходит их, устраняя зависимость от реальных поисковых систем и снижая затраты на обучение.
Статья
Большие языковые модели обладают обширными знаниями, но они статичны и не обновляются в реальном времени. Для получения актуальной информации обычно используются методы RAG с обращением к внешним источникам, что требует сложной настройки и значительных затрат на API-вызовы.
Авторы "ZEROSEARCH" предлагают революционный подход: обучать LLM симулировать поиск, генерируя как релевантные, так и нерелевантные документы по запросу. Это устраняет затраты на API и позволяет контролировать качество выдачи.
Они также внедряют механизм "curriculum rollout", постепенно усложняя задачи и ухудшая качество симулируемых документов для обучения работе с шумными данными.
Результаты впечатляют: даже модель с 3 миллиардами параметров эффективно учится поиску без обращения к реальным поисковикам.
Этот подход развивает идеи ReSearch и DeepResearcher, но превосходит их, устраняя зависимость от реальных поисковых систем и снижая затраты на обучение.
Статья
Как шагнуть от мультимодальных LLM к истинно универсальному разуму?
Недавняя статья подводит итоги развития мультимодальных моделей. Сначала были модели, отдельно обрабатывающие текст и изображения. Затем появились большие языковые модели с мультимодальными возможностями (MLLM), понимающие изображения и отвечающие на вопросы.
Однако их мышление ограничено текстовым пространством. В статье предложена концепция "естественных" мультимодальных моделей (N-LMRMs), нативно объединяющих понимание, генерацию и рассуждение во всех модальностях: текст, изображения, аудио, видео.
Это шаг к созданию систем, способных не только видеть и говорить, но и понимать мир, учиться из опыта и применять знания в новых ситуациях.
Это вызывает технические сложности: единые представления данных, межмодальная интеграция и обучение на огромных объёмах информации. Но возможно, скоро мы увидим такие модели в действии.
Статья
Недавняя статья подводит итоги развития мультимодальных моделей. Сначала были модели, отдельно обрабатывающие текст и изображения. Затем появились большие языковые модели с мультимодальными возможностями (MLLM), понимающие изображения и отвечающие на вопросы.
Однако их мышление ограничено текстовым пространством. В статье предложена концепция "естественных" мультимодальных моделей (N-LMRMs), нативно объединяющих понимание, генерацию и рассуждение во всех модальностях: текст, изображения, аудио, видео.
Это шаг к созданию систем, способных не только видеть и говорить, но и понимать мир, учиться из опыта и применять знания в новых ситуациях.
Это вызывает технические сложности: единые представления данных, межмодальная интеграция и обучение на огромных объёмах информации. Но возможно, скоро мы увидим такие модели в действии.
Статья
Как оценить способности мультимодальных моделей на пути к AGI?
Авторы предложили **General-Level** — пятиуровневую систему классификации мультимодальных генералистов, основанную на их способности сохранять синергию между пониманием, генерацией и взаимодействием модальностей. Настоящий прогресс в AGI — это модели, где знания из одной области улучшают результаты в другой.
Также они представили **General-Bench** — обширный бенчмарк для оценки таких моделей по широкому спектру задач, модальностей и доменов. Интересно, что даже продвинутые модели, как GPT-4V и GPT-4o, не достигают верхних уровней в их системе оценки. Это показывает, что впереди еще много работы по созданию настоящих мультимодальных генералистов.
Пора задуматься о том, как усилить синергию между модальностями, чтобы приблизиться к истинному AGI.
Статья
Авторы предложили **General-Level** — пятиуровневую систему классификации мультимодальных генералистов, основанную на их способности сохранять синергию между пониманием, генерацией и взаимодействием модальностей. Настоящий прогресс в AGI — это модели, где знания из одной области улучшают результаты в другой.
Также они представили **General-Bench** — обширный бенчмарк для оценки таких моделей по широкому спектру задач, модальностей и доменов. Интересно, что даже продвинутые модели, как GPT-4V и GPT-4o, не достигают верхних уровней в их системе оценки. Это показывает, что впереди еще много работы по созданию настоящих мультимодальных генералистов.
Пора задуматься о том, как усилить синергию между модальностями, чтобы приблизиться к истинному AGI.
Статья
А вы думали, что генерация изображений уже достигла пика?
Существующие модели Flow Matching генерируют качественные изображения, но плохо справляются со сложными сценами с несколькими объектами. Авторы "Flow-GRPO" решили эту проблему, применив онлайн обучение с подкреплением (RL) к Flow Matching моделям.
Раньше RL применяли только к диффузионным моделям. Исследователи столкнулись с вызовами: как обучать детерминированные модели без стохастичности и как ускорить генерацию.
Их решения: преобразование ODE процесса в стохастический SDE и сокращение шагов денойзинга. В результате, Flow-GRPO значительно повысил точность на задачах генерации сложных сцен.
Точность Stable Diffusion 3.5 Medium на GenEval выросла с 63% до 95%, обойдя GPT-4o, без ухудшения качества изображения.
Flow-GRPO открывает новые горизонты для улучшения генеративных моделей с помощью онлайн RL.
Статья
Существующие модели Flow Matching генерируют качественные изображения, но плохо справляются со сложными сценами с несколькими объектами. Авторы "Flow-GRPO" решили эту проблему, применив онлайн обучение с подкреплением (RL) к Flow Matching моделям.
Раньше RL применяли только к диффузионным моделям. Исследователи столкнулись с вызовами: как обучать детерминированные модели без стохастичности и как ускорить генерацию.
Их решения: преобразование ODE процесса в стохастический SDE и сокращение шагов денойзинга. В результате, Flow-GRPO значительно повысил точность на задачах генерации сложных сцен.
Точность Stable Diffusion 3.5 Medium на GenEval выросла с 63% до 95%, обойдя GPT-4o, без ухудшения качества изображения.
Flow-GRPO открывает новые горизонты для улучшения генеративных моделей с помощью онлайн RL.
Статья
BLIP3-o: Единая мультимодальная модель от Salesforce
Представьте модель, которая одинаково хорошо понимает и генерирует изображения.
Исследователи Salesforce создали BLIP3-o — новую SOTA модель, объединяющую понимание и генерацию изображений в единой архитектуре.
Ключевая идея — использование CLIP-эмбеддингов и flow matching вместо VAE и MSE, что улучшило эффективность обучения, качество и разнообразие генерации.
Они обнаружили: последовательное обучение (сначала понимание, затем генерация) эффективнее совместного. Модель хорошо адаптируется к стилю GPT-4 и лучше учится на синтетических изображениях, чем на реальных!
BLIP3-o показала отличные результаты на бенчмарках и стала доступна с открытым кодом и обучающими датасетами. Будущее, вероятно, за такими унифицированными моделями.
Ждём продолжения исследований и, возможно, скоро увидим модели, способные понимать, генерировать и редактировать изображения.
Статья
Представьте модель, которая одинаково хорошо понимает и генерирует изображения.
Исследователи Salesforce создали BLIP3-o — новую SOTA модель, объединяющую понимание и генерацию изображений в единой архитектуре.
Ключевая идея — использование CLIP-эмбеддингов и flow matching вместо VAE и MSE, что улучшило эффективность обучения, качество и разнообразие генерации.
Они обнаружили: последовательное обучение (сначала понимание, затем генерация) эффективнее совместного. Модель хорошо адаптируется к стилю GPT-4 и лучше учится на синтетических изображениях, чем на реальных!
BLIP3-o показала отличные результаты на бенчмарках и стала доступна с открытым кодом и обучающими датасетами. Будущее, вероятно, за такими унифицированными моделями.
Ждём продолжения исследований и, возможно, скоро увидим модели, способные понимать, генерировать и редактировать изображения.
Статья
Как научить CLIP видеть каждый пиксель: DeCLIP разделяет и властвует
Вы замечали, что CLIP отлично справляется с определением того, что изображено на картинке, но при точном распознавании объектов на уровне пикселей он "слепнет"? Проблема в том, как CLIP распределяет внимание.
Авторы DeCLIP придумали способ улучшить CLIP для детектирования и сегментации без дополнительной разметки. Они "расщепили" механизм внимания на "контент" и "контекст". "Контент" отвечает за распознавание местных деталей, а "контекст" — за пространственную согласованность.
Они обучили эти части по отдельности: для "контента" использовали самодистилляцию CLIP, а для "контекста" — модели вроде DINO или SAM. В результате DeCLIP значительно повысил способность CLIP видеть объекты в деталях и понимать их взаимосвязи.
Теперь CLIP не только видит общий смысл, но и разбирается в деталях — вот что значит разделяй и властвуй!
Статья
Вы замечали, что CLIP отлично справляется с определением того, что изображено на картинке, но при точном распознавании объектов на уровне пикселей он "слепнет"? Проблема в том, как CLIP распределяет внимание.
Авторы DeCLIP придумали способ улучшить CLIP для детектирования и сегментации без дополнительной разметки. Они "расщепили" механизм внимания на "контент" и "контекст". "Контент" отвечает за распознавание местных деталей, а "контекст" — за пространственную согласованность.
Они обучили эти части по отдельности: для "контента" использовали самодистилляцию CLIP, а для "контекста" — модели вроде DINO или SAM. В результате DeCLIP значительно повысил способность CLIP видеть объекты в деталях и понимать их взаимосвязи.
Теперь CLIP не только видит общий смысл, но и разбирается в деталях — вот что значит разделяй и властвуй!
Статья
*Как 7B языковая модель догнала GPT-4 в понимании таблиц?*
Табличное мышление всегда было сложной задачей для LLM: требуется понимать текст и работать с структурированными данными. Авторы новой статьи решили эту проблему через масштабирование при инференсе и обучение с подкреплением с проверяемыми наградами (RLVR).
Их модель Table-R1 на базе Qwen2.5-7B показывает впечатляющие результаты в задачах рассуждения над таблицами, достигая качества GPT-4.1 и DeepSeek R1, несмотря на всего 7B параметров.
С помощью RLVR модель осваивает пошаговое рассуждение и специфические для таблиц навыки: семантическое понимание, извлечение информации и арифметику. Это важный прогресс в обучении LLM работе со структурированными данными.
Будущее за моделями, которые умеют не только говорить, но и точно считать!
Статья
Табличное мышление всегда было сложной задачей для LLM: требуется понимать текст и работать с структурированными данными. Авторы новой статьи решили эту проблему через масштабирование при инференсе и обучение с подкреплением с проверяемыми наградами (RLVR).
Их модель Table-R1 на базе Qwen2.5-7B показывает впечатляющие результаты в задачах рассуждения над таблицами, достигая качества GPT-4.1 и DeepSeek R1, несмотря на всего 7B параметров.
С помощью RLVR модель осваивает пошаговое рассуждение и специфические для таблиц навыки: семантическое понимание, извлечение информации и арифметику. Это важный прогресс в обучении LLM работе со структурированными данными.
Будущее за моделями, которые умеют не только говорить, но и точно считать!
Статья
Spatial-MLLM: учим LLM видеть 3D мир без 3D данных
Задумывались, почему LLM отлично понимают текст, но плохо ориентируются в пространстве? Обученные на текстах и изображениях, они не воспринимают 3D сцену из 2D видео.
В статье "Spatial-MLLM" предложен метод улучшения пространственного интеллекта видеомоделей без дополнительных 3D данных. Ключевое решение — двойной энкодер: один извлекает семантику из видео, другой — структурную информацию, инициализированный из модели визуальной геометрии. Они объединяются через коннектор, позволяя LLM рассуждать о пространстве на основе только 2D видео.
Также разработана стратегия выборки информативных кадров при ограниченном входе.
Результаты впечатляют: Spatial-MLLM лидирует в задачах пространственного понимания без 3D данных, приближая LLM к человеческому восприятию мира.
Статья
Задумывались, почему LLM отлично понимают текст, но плохо ориентируются в пространстве? Обученные на текстах и изображениях, они не воспринимают 3D сцену из 2D видео.
В статье "Spatial-MLLM" предложен метод улучшения пространственного интеллекта видеомоделей без дополнительных 3D данных. Ключевое решение — двойной энкодер: один извлекает семантику из видео, другой — структурную информацию, инициализированный из модели визуальной геометрии. Они объединяются через коннектор, позволяя LLM рассуждать о пространстве на основе только 2D видео.
Также разработана стратегия выборки информативных кадров при ограниченном входе.
Результаты впечатляют: Spatial-MLLM лидирует в задачах пространственного понимания без 3D данных, приближая LLM к человеческому восприятию мира.
Статья