Qwen2.5-VL: новая эра для LVLM!
Alibaba представила Qwen2.5-VL — новую визуально-лингвистическую модель с улучшенным пониманием изображений и видео.
Модель вводит четыре ключевых нововведения: window attention для ускорения инференса; динамическое FPS-сэмплирование для продвинутого понимания видео; улучшенную позиционную кодировку MRoPE, синхронизированную с абсолютным временем; и огромный обучающий корпус в 4,1 триллиона токенов.
Qwen2.5-VL способна точно парсить документы, включая таблицы, графики и рукописный текст; связывать объекты в разных форматах, включая абсолютные координаты и JSON; понимать длинные видео и точно определять нужные моменты; обладает усовершенствованными агентными функциями для устройств.
Эта модель устанавливает новый стандарт для LVLM, приближаясь по качеству к GPT-4 и превосходя многие закрытые модели. Будущее LVLM уже здесь!
Статья
Alibaba представила Qwen2.5-VL — новую визуально-лингвистическую модель с улучшенным пониманием изображений и видео.
Модель вводит четыре ключевых нововведения: window attention для ускорения инференса; динамическое FPS-сэмплирование для продвинутого понимания видео; улучшенную позиционную кодировку MRoPE, синхронизированную с абсолютным временем; и огромный обучающий корпус в 4,1 триллиона токенов.
Qwen2.5-VL способна точно парсить документы, включая таблицы, графики и рукописный текст; связывать объекты в разных форматах, включая абсолютные координаты и JSON; понимать длинные видео и точно определять нужные моменты; обладает усовершенствованными агентными функциями для устройств.
Эта модель устанавливает новый стандарт для LVLM, приближаясь по качеству к GPT-4 и превосходя многие закрытые модели. Будущее LVLM уже здесь!
Статья
Как научить автопилот водить как человек и избегать ошибок? Дайте ему поучиться на своих собственных ДТП — но в симуляции!
Большинство систем автономного вождения обучают модели подражать человеку, используя Imitation Learning. Но такие модели не понимают причинно-следственных связей и не умеют реагировать на неожиданные ситуации. Авторы предлагают обучать автопилот с помощью Reinforcement Learning в фотореалистичной 3DGS-среде. Там модель может безопасно тренироваться на своих ошибках и учиться избегать аварий. Чтобы модель оставалась похожей на человека, они комбинируют RL и IL. Их метод RAD снизил количество аварий в 3 раза по сравнению с IL-подходами. Это большой шаг к более безопасному автономному вождению.
Статья
Большинство систем автономного вождения обучают модели подражать человеку, используя Imitation Learning. Но такие модели не понимают причинно-следственных связей и не умеют реагировать на неожиданные ситуации. Авторы предлагают обучать автопилот с помощью Reinforcement Learning в фотореалистичной 3DGS-среде. Там модель может безопасно тренироваться на своих ошибках и учиться избегать аварий. Чтобы модель оставалась похожей на человека, они комбинируют RL и IL. Их метод RAD снизил количество аварий в 3 раза по сравнению с IL-подходами. Это большой шаг к более безопасному автономному вождению.
Статья
Можно ли сгенерировать песню по текстовому описанию за один шаг?
В статье "SongGen: одностадийный трансформер для генерации песен" представлена открытая модель, способная создавать песни по тексту описания и лирике, а также клонировать голос по 3-секундному образцу!
SongGen одновременно генерирует вокал и сопровождение, позволяя управлять инструментами, жанром, настроением и другими музыкальными элементами.
Авторы решили проблему нечеткого вокала, добавив дополнительную задачу предсказания вокальных токенов при обучении.
Код, веса модели и данные выложены в открытый доступ, что открывает новые возможности для исследований в области генерации музыки.
Но не стоит забывать о рисках: технология может быть использована для создания дипфейков голоса. Авторы подчеркивают важность ответственного использования модели.
P.S. Кажется, скоро каждый сможет стать композитором!
Статья
В статье "SongGen: одностадийный трансформер для генерации песен" представлена открытая модель, способная создавать песни по тексту описания и лирике, а также клонировать голос по 3-секундному образцу!
SongGen одновременно генерирует вокал и сопровождение, позволяя управлять инструментами, жанром, настроением и другими музыкальными элементами.
Авторы решили проблему нечеткого вокала, добавив дополнительную задачу предсказания вокальных токенов при обучении.
Код, веса модели и данные выложены в открытый доступ, что открывает новые возможности для исследований в области генерации музыки.
Но не стоит забывать о рисках: технология может быть использована для создания дипфейков голоса. Авторы подчеркивают важность ответственного использования модели.
P.S. Кажется, скоро каждый сможет стать композитором!
Статья
Многопамять для линейных моделей. Вдохновлено мозгом!
Все знают, что трансформеры мощные, но дорогостоящие модели из-за квадратичной сложности. Линейные модели пытаются быть быстрее, но страдают от слабой памяти и забывают важную информацию при обработке длинных последовательностей.
В свежей статье представляют Mixture-of-Memories (MoM) — архитектуру, вдохновленную нейробиологией. Вспомните, как в нашем мозге разные воспоминания хранятся отдельно благодаря тета- и гамма-ритмам. Авторы добавили несколько независимых состояний памяти в линейные модели и роутер, который направляет входные данные в разные "памяти". Это увеличило емкость памяти и устранило интерференцию.
Результат? Линейные модели с MoM существенно превзошли другие линейные модели на задачах, требующих запоминания, и приблизились по качеству к трансформерам, сохраняя при этом эффективность. Возможно, это новый шаг к более быстрым и умным языковым моделям.
Статья
Все знают, что трансформеры мощные, но дорогостоящие модели из-за квадратичной сложности. Линейные модели пытаются быть быстрее, но страдают от слабой памяти и забывают важную информацию при обработке длинных последовательностей.
В свежей статье представляют Mixture-of-Memories (MoM) — архитектуру, вдохновленную нейробиологией. Вспомните, как в нашем мозге разные воспоминания хранятся отдельно благодаря тета- и гамма-ритмам. Авторы добавили несколько независимых состояний памяти в линейные модели и роутер, который направляет входные данные в разные "памяти". Это увеличило емкость памяти и устранило интерференцию.
Результат? Линейные модели с MoM существенно превзошли другие линейные модели на задачах, требующих запоминания, и приблизились по качеству к трансформерам, сохраняя при этом эффективность. Возможно, это новый шаг к более быстрым и умным языковым моделям.
Статья
Зачем скачивать весь интернет для обучения LLM, если можно получить всё нужное из меньшего объёма?
Авторы статьи "Web Crawling for LLM Pretraining (CRAW4LLM)" предлагают новый подход к веб-скрапингу для обучения языковых моделей. Обычные краулеры собирают страницы, ориентируясь на их популярность (типа PageRank), но это не всегда полезно для обучения. В итоге приходится отбрасывать до 90% собранных данных!
CRAW4LLM же умнее: он оценивает каждую страницу на то, насколько она полезна для обучения LLM, и скачивает только самые "вкусные" странички. Результат? Они смогли достичь 95% производительности по сравнению с идеальным случаем, скачав лишь 2% данных!
Может, наши LLM наконец-то перестанут питаться "информационным фастфудом" и перейдут на здоровую диету? В любом случае, подход интересный и предлагает более осознанный сбор данных для обучения.
Статья
Авторы статьи "Web Crawling for LLM Pretraining (CRAW4LLM)" предлагают новый подход к веб-скрапингу для обучения языковых моделей. Обычные краулеры собирают страницы, ориентируясь на их популярность (типа PageRank), но это не всегда полезно для обучения. В итоге приходится отбрасывать до 90% собранных данных!
CRAW4LLM же умнее: он оценивает каждую страницу на то, насколько она полезна для обучения LLM, и скачивает только самые "вкусные" странички. Результат? Они смогли достичь 95% производительности по сравнению с идеальным случаем, скачав лишь 2% данных!
Может, наши LLM наконец-то перестанут питаться "информационным фастфудом" и перейдут на здоровую диету? В любом случае, подход интересный и предлагает более осознанный сбор данных для обучения.
Статья
Почему маленькие языковые модели не любят длинные рассуждения?
Оказывается, маленькие LLM не выигрывают от длинных цепочек рассуждений (CoT) и от обучения на ответах больших моделей. Сложные рассуждения слишком тяжелы для маленьких моделей; они лучше учатся на коротких объяснениях и от учителей своего размера. Это явление называют "Проблема обучаемости маленьких моделей" (Small Model Learnability Gap).
Чтобы решить проблему, предложен метод "Смешанной дистилляции" (Mix Distillation), где смешивают разные типы данных: короткие и длинные цепочки рассуждений, ответы больших и малых учителей. Это помогает маленьким моделям улучшить способности к рассуждению.
Поэтому, если хотите обучить маленькую модель мыслить, не перегружайте её длинными объяснениями!
Статья
Оказывается, маленькие LLM не выигрывают от длинных цепочек рассуждений (CoT) и от обучения на ответах больших моделей. Сложные рассуждения слишком тяжелы для маленьких моделей; они лучше учатся на коротких объяснениях и от учителей своего размера. Это явление называют "Проблема обучаемости маленьких моделей" (Small Model Learnability Gap).
Чтобы решить проблему, предложен метод "Смешанной дистилляции" (Mix Distillation), где смешивают разные типы данных: короткие и длинные цепочки рассуждений, ответы больших и малых учителей. Это помогает маленьким моделям улучшить способности к рассуждению.
Поэтому, если хотите обучить маленькую модель мыслить, не перегружайте её длинными объяснениями!
Статья
Стоит ли ЛЛМ отвечать на каждый вопрос, если ошибка может дорого стоить?
В новом исследовании авторы изучают, как большие языковые модели могут научиться воздерживаться от ответа, когда они недостаточно уверены. Вместо постоянного угадывания модели оценивают свою уверенность и решают, стоит ли отвечать — особенно важно в ситуациях, где цена ошибки высока.
Авторы вводят метрику "Jeopardy Odds", которая поощряет за правильные ответы и наказывает за неправильные, стимулируя модели давать ответ только при достаточной уверенности. Они показывают, что увеличение вычислений (то есть более длительное "обдумывание") помогает моделям лучше оценивать свою уверенность и принимать решение отвечать или воздержаться.
Это шаг к более ответственным ЛЛМ, которые не только генерируют ответы, но и учитывают риски ошибок. Такой подход может сделать взаимодействие с ИИ более надежным, особенно в критически важных областях.
Статья
В новом исследовании авторы изучают, как большие языковые модели могут научиться воздерживаться от ответа, когда они недостаточно уверены. Вместо постоянного угадывания модели оценивают свою уверенность и решают, стоит ли отвечать — особенно важно в ситуациях, где цена ошибки высока.
Авторы вводят метрику "Jeopardy Odds", которая поощряет за правильные ответы и наказывает за неправильные, стимулируя модели давать ответ только при достаточной уверенности. Они показывают, что увеличение вычислений (то есть более длительное "обдумывание") помогает моделям лучше оценивать свою уверенность и принимать решение отвечать или воздержаться.
Это шаг к более ответственным ЛЛМ, которые не только генерируют ответы, но и учитывают риски ошибок. Такой подход может сделать взаимодействие с ИИ более надежным, особенно в критически важных областях.
Статья
Как научить GPT работать в 15 раз быстрее на сложных задачах?
В новой статье авторы представили **Autellix** — систему для оптимизации исполнения программ на основе LLM, а не отдельных запросов к модели.
Обычно системы, обслуживающие LLM, оптимизируют каждый запрос отдельно, не учитывая общую картину программы. Это приводит к задержкам и неэффективному использованию ресурсов. **Autellix** решает эту проблему, используя программно-ориентированное расписание запросов, которое учитывает зависимости между ними и общее время исполнения программы.
В результате **Autellix** ускоряет выполнение сложных задач, таких как автономные агенты, веб-поиск и решение сложных математических проблем, улучшая пропускную способность в 4–15 раз по сравнению с существующими системами.
P.S. Кажется, это шаг вперед в направлении масштабирования LLM для сложных приложений.
Статья
В новой статье авторы представили **Autellix** — систему для оптимизации исполнения программ на основе LLM, а не отдельных запросов к модели.
Обычно системы, обслуживающие LLM, оптимизируют каждый запрос отдельно, не учитывая общую картину программы. Это приводит к задержкам и неэффективному использованию ресурсов. **Autellix** решает эту проблему, используя программно-ориентированное расписание запросов, которое учитывает зависимости между ними и общее время исполнения программы.
В результате **Autellix** ускоряет выполнение сложных задач, таких как автономные агенты, веб-поиск и решение сложных математических проблем, улучшая пропускную способность в 4–15 раз по сравнению с существующими системами.
P.S. Кажется, это шаг вперед в направлении масштабирования LLM для сложных приложений.
Статья
Границы знаний LLM: новый супербенчмарк бросает вызов моделям
Существующие бенчмарки для языковых моделей, такие как MMLU и GPQA, стали слишком простыми — современные LLM показывают на них почти идеальные результаты. Но как узнать, где настоящие пределы их возможностей?
Недавно исследователи представили SuperGPQA — новый бенчмарк, охватывающий 285 дисциплин уровня магистратуры, включая малоизученные области вроде легкой промышленности и сельского хозяйства. В каждой дисциплине собрано не менее 50 сложных вопросов.
Интересно, что даже самые продвинутые модели (например, o1 и Deepseek-R1) набирают на SuperGPQA около 60%. Это показывает, что у LLM еще есть потенциал для роста и улучшения.
SuperGPQA может стать новым стандартом для оценки реальных знаний языковых моделей и стимулирует дальнейшее развитие AI, способного глубоко понимать широкий спектр человеческих знаний.
Статья
Существующие бенчмарки для языковых моделей, такие как MMLU и GPQA, стали слишком простыми — современные LLM показывают на них почти идеальные результаты. Но как узнать, где настоящие пределы их возможностей?
Недавно исследователи представили SuperGPQA — новый бенчмарк, охватывающий 285 дисциплин уровня магистратуры, включая малоизученные области вроде легкой промышленности и сельского хозяйства. В каждой дисциплине собрано не менее 50 сложных вопросов.
Интересно, что даже самые продвинутые модели (например, o1 и Deepseek-R1) набирают на SuperGPQA около 60%. Это показывает, что у LLM еще есть потенциал для роста и улучшения.
SuperGPQA может стать новым стандартом для оценки реальных знаний языковых моделей и стимулирует дальнейшее развитие AI, способного глубоко понимать широкий спектр человеческих знаний.
Статья
Как улучшить CLIP и сделать мультилингвальный vision-language энкодер? Google знает ответ!
Компания представила SigLIP 2 — мультилингвальный энкодер изображений и текста, который не только обеспечивает высокое качество на задачах классификации и поиска, но и понимает более 100 языков. SigLIP 2 сочетает в себе множество улучшений: декодер для обучения на описаниях изображений, самодистилляцию, маскированное предсказание и работу с изображениями в их родном соотношении сторон.
Особенно впечатляет, что модель обучена на огромном датасете WebLI с 12 миллиардами альтернативных текстов. SigLIP 2 превосходит другие открытые модели типа CLIP по многим метрикам, и при этом позволяет лучше решать задачи локализации и семантического понимания.
Ждём, когда SigLIP 2 станет новым стандартом для мультилингвального распознавания изображений!
Статья
Компания представила SigLIP 2 — мультилингвальный энкодер изображений и текста, который не только обеспечивает высокое качество на задачах классификации и поиска, но и понимает более 100 языков. SigLIP 2 сочетает в себе множество улучшений: декодер для обучения на описаниях изображений, самодистилляцию, маскированное предсказание и работу с изображениями в их родном соотношении сторон.
Особенно впечатляет, что модель обучена на огромном датасете WebLI с 12 миллиардами альтернативных текстов. SigLIP 2 превосходит другие открытые модели типа CLIP по многим метрикам, и при этом позволяет лучше решать задачи локализации и семантического понимания.
Ждём, когда SigLIP 2 станет новым стандартом для мультилингвального распознавания изображений!
Статья
Как обучить ИИ-агента проводить научные исследования? Встречайте MLGym!
Авторы представили MLGym — первую Gym-среду для ИИ-агентов-исследователей, объединяющую разнообразные открытые научные задачи в единую платформу для разработки и оценки LLM-агентов. MLGym-Bench — набор из 13 задач по компьютерному зрению, обработке естественного языка, RL и теории игр.
Особенность MLGym — возможность оценивать агентов на открытых задачах без единственно верного ответа, где успех измеряется разными артефактами: моделями, алгоритмами или кодом стратегий.
Авторы сравнили пять передовых LLM на этих задачах, выявив их сильные и слабые стороны, и предложили новый метод оценки агентов из оптимизации и AutoML.
Эта работа открывает новые возможности для создания ИИ-агентов, способных проводить научные исследования, и может существенно ускорить прогресс в науке.
P.S. Код и данные доступны для исследования и развития.
Статья
Авторы представили MLGym — первую Gym-среду для ИИ-агентов-исследователей, объединяющую разнообразные открытые научные задачи в единую платформу для разработки и оценки LLM-агентов. MLGym-Bench — набор из 13 задач по компьютерному зрению, обработке естественного языка, RL и теории игр.
Особенность MLGym — возможность оценивать агентов на открытых задачах без единственно верного ответа, где успех измеряется разными артефактами: моделями, алгоритмами или кодом стратегий.
Авторы сравнили пять передовых LLM на этих задачах, выявив их сильные и слабые стороны, и предложили новый метод оценки агентов из оптимизации и AutoML.
Эта работа открывает новые возможности для создания ИИ-агентов, способных проводить научные исследования, и может существенно ускорить прогресс в науке.
P.S. Код и данные доступны для исследования и развития.
Статья
Что получится, если заставить LLM решать задачи из 285 дисциплин?
Представляю SuperGPQA – новый комплексный бенчмарк для оценки больших языковых моделей (LLM) по **285 дисциплинам** на уровне магистратуры. Предыдущие бенчмарки, вроде MMLU и GPQA, фокусировались на общих областях знаний, упуская длиннохвостые области, такие как легкая промышленность, сельское хозяйство и сервисные дисциплины. SuperGPQA, разработанный сообществом M-A-P, заполняет этот пробел, предоставляя по крайней мере 50 вопросов для каждой дисциплины и проверяет реальные знания и способности к рассуждению LLM. Интересно, что даже **лучшие модели набирают лишь около 60%** – есть куда стремиться! При создании бенчмарка применялся масштабный процесс человеко-LLM сотрудничества с трехэтапной проверкой качества.
Возможно, этот бенчмарк станет новым стандартом в оценке LLM и поможет нам лучше понять их истинные возможности.
Статья
Представляю SuperGPQA – новый комплексный бенчмарк для оценки больших языковых моделей (LLM) по **285 дисциплинам** на уровне магистратуры. Предыдущие бенчмарки, вроде MMLU и GPQA, фокусировались на общих областях знаний, упуская длиннохвостые области, такие как легкая промышленность, сельское хозяйство и сервисные дисциплины. SuperGPQA, разработанный сообществом M-A-P, заполняет этот пробел, предоставляя по крайней мере 50 вопросов для каждой дисциплины и проверяет реальные знания и способности к рассуждению LLM. Интересно, что даже **лучшие модели набирают лишь около 60%** – есть куда стремиться! При создании бенчмарка применялся масштабный процесс человеко-LLM сотрудничества с трехэтапной проверкой качества.
Возможно, этот бенчмарк станет новым стандартом в оценке LLM и поможет нам лучше понять их истинные возможности.
Статья
SigLIP 2: Мультиязычный CLIP от Google—модель, которая понимает 100 языков!
Google выпустила SigLIP 2 — продолжение CLIP и SigLIP, но теперь с поддержкой более 100 языков. Модель понимает не только английский, но и русский, китайский и даже суахили.
SigLIP 2 улучшила классификацию и поиск изображений по тексту, а также задачи локализации и сегментации благодаря добавлению самосупервизии и декодера. Она обрабатывает изображения в оригинальном соотношении сторон и поддерживает переменное разрешение.
И самое приятное: даже маленькие версии модели стали умнее и быстрее благодаря методам дистилляции.
Может быть, это шаг к созданию универсальной модели компьютерного зрения? Поживём — увидим!
Статья
Google выпустила SigLIP 2 — продолжение CLIP и SigLIP, но теперь с поддержкой более 100 языков. Модель понимает не только английский, но и русский, китайский и даже суахили.
SigLIP 2 улучшила классификацию и поиск изображений по тексту, а также задачи локализации и сегментации благодаря добавлению самосупервизии и декодера. Она обрабатывает изображения в оригинальном соотношении сторон и поддерживает переменное разрешение.
И самое приятное: даже маленькие версии модели стали умнее и быстрее благодаря методам дистилляции.
Может быть, это шаг к созданию универсальной модели компьютерного зрения? Поживём — увидим!
Статья
Секретная формула S∗: улучшаем генерацию кода без дообучения!
Можно значительно повысить качество генерации кода LLM, просто изменив инференс. В новой статье предлагают гибридный метод масштабирования вычислений на этапе инференса, названный S∗. Он сочетает параллельное и последовательное масштабирование: сначала генерируется несколько вариантов решения, затем каждый дорабатывается через итеративную отладку с использованием публичных тестов.
Но главное — новый способ выбора лучшего решения. Вместо голосования или оценок LLM авторы предлагают адаптивную генерацию тестовых входных данных для отличия правильного кода от неверного. Это существенно повышает точность выбора корректного решения.
Эксперименты показывают, что S∗ значительно улучшает производительность на популярных бенчмарках генерации кода, превосходя существующие методы масштабирования инференса, такие как majority voting и self-debugging.
P.S. Возможно, это новый шаг к улучшению генерации кода без изменения моделей!
Статья
Можно значительно повысить качество генерации кода LLM, просто изменив инференс. В новой статье предлагают гибридный метод масштабирования вычислений на этапе инференса, названный S∗. Он сочетает параллельное и последовательное масштабирование: сначала генерируется несколько вариантов решения, затем каждый дорабатывается через итеративную отладку с использованием публичных тестов.
Но главное — новый способ выбора лучшего решения. Вместо голосования или оценок LLM авторы предлагают адаптивную генерацию тестовых входных данных для отличия правильного кода от неверного. Это существенно повышает точность выбора корректного решения.
Эксперименты показывают, что S∗ значительно улучшает производительность на популярных бенчмарках генерации кода, превосходя существующие методы масштабирования инференса, такие как majority voting и self-debugging.
P.S. Возможно, это новый шаг к улучшению генерации кода без изменения моделей!
Статья
Как научить языковые модели понимать, что сейчас не 2005 год?
Большие языковые модели (LLM) отлично справляются с фактами, но часто "застревают во времени", путая события разных лет. Исследователи обнаружили, что внутри LLM существуют особые "темпоральные головы" в трансформерах — участки модели, ответственные за обработку временной информации. Проведя анализ и "отключая" эти головы, они заметили, что модель теряет способность правильно отвечать на вопросы, связанные со временем, но сохраняет прочие знания. Это открытие не только помогает понять, как LLM обрабатывают меняющиеся факты, но и открывает пути для улучшения их работы с актуальной информацией. Возможно, скоро сможем обучать модели понимать, кто президент в текущем году, без полной перетренировки!
Статья
Большие языковые модели (LLM) отлично справляются с фактами, но часто "застревают во времени", путая события разных лет. Исследователи обнаружили, что внутри LLM существуют особые "темпоральные головы" в трансформерах — участки модели, ответственные за обработку временной информации. Проведя анализ и "отключая" эти головы, они заметили, что модель теряет способность правильно отвечать на вопросы, связанные со временем, но сохраняет прочие знания. Это открытие не только помогает понять, как LLM обрабатывают меняющиеся факты, но и открывает пути для улучшения их работы с актуальной информацией. Возможно, скоро сможем обучать модели понимать, кто президент в текущем году, без полной перетренировки!
Статья
Как научить маленькие языковые модели думать глубоко без больших затрат?
Большие модели вроде GPT-4 впечатляют своими способностями к рассуждению, но их обучение требует огромных ресурсов. А что если мы хотим, чтобы маленькие модели тоже умели глубоко мыслить без суперкомпьютеров? Новая статья предлагает простой метод — обучить модели самим себя проверять и исправлять (самопроверка и самокоррекция). Вместо копирования мыслей больших моделей, они учат маленькие LLM находить ошибки в своих решениях и исправлять их. И всё это с минимальным количеством данных (всего 3 тысячи примеров) и без больших вычислительных затрат.
Результаты впечатляют: модель Qwen2.5-math-7B повысила точность на MATH500 с 51% до 81.6%, обойдя аналоги, обученные на больших данных. Такой подход позволяет моделям лучше справляться со сложными задачами, уделяя им больше внимания.
Похоже, что будущее LLM не только в увеличении размеров моделей, но и в обучении их умным стратегиям мышления.
Статья
Большие модели вроде GPT-4 впечатляют своими способностями к рассуждению, но их обучение требует огромных ресурсов. А что если мы хотим, чтобы маленькие модели тоже умели глубоко мыслить без суперкомпьютеров? Новая статья предлагает простой метод — обучить модели самим себя проверять и исправлять (самопроверка и самокоррекция). Вместо копирования мыслей больших моделей, они учат маленькие LLM находить ошибки в своих решениях и исправлять их. И всё это с минимальным количеством данных (всего 3 тысячи примеров) и без больших вычислительных затрат.
Результаты впечатляют: модель Qwen2.5-math-7B повысила точность на MATH500 с 51% до 81.6%, обойдя аналоги, обученные на больших данных. Такой подход позволяет моделям лучше справляться со сложными задачами, уделяя им больше внимания.
Похоже, что будущее LLM не только в увеличении размеров моделей, но и в обучении их умным стратегиям мышления.
Статья
Могут ли современные VLM увидеть мир глазами другого?
Исследователи проверили способность визуально-языковых моделей (VLM) принимать визуальную перспективу других — ключевой навык теории разума. На основе тестов визуального принятия перспективы (VPT) они создали 144 задачи и протестировали модели GPT-4, Claude 3 и Llama.
Результаты показали, что модели хорошо понимают сцены и распознают объекты, но испытывают трудности с пространственным мышлением и полностью проваливают задачи VPT. Они не могут определить, что видит другой наблюдатель, и не способны представить сцену с чужой точки зрения.
Это указывает на фундаментальное ограничение VLM: отсутствие механизмов для геометрических преобразований и рассуждений в чужой системе отсчета. Для применения в робототехнике и автономном вождении критично научить модели "понимать" пространство и визуальные перспективы других.
Статья
Исследователи проверили способность визуально-языковых моделей (VLM) принимать визуальную перспективу других — ключевой навык теории разума. На основе тестов визуального принятия перспективы (VPT) они создали 144 задачи и протестировали модели GPT-4, Claude 3 и Llama.
Результаты показали, что модели хорошо понимают сцены и распознают объекты, но испытывают трудности с пространственным мышлением и полностью проваливают задачи VPT. Они не могут определить, что видит другой наблюдатель, и не способны представить сцену с чужой точки зрения.
Это указывает на фундаментальное ограничение VLM: отсутствие механизмов для геометрических преобразований и рассуждений в чужой системе отсчета. Для применения в робототехнике и автономном вождении критично научить модели "понимать" пространство и визуальные перспективы других.
Статья
Мультимодальные LLM объединяют усилия: автомодель на все руки?
Последние годы принесли прорыв в мультимодальных моделях понимания и генерации изображений. Они развивались параллельно: модели понимания используют авторегрессию, а генераторы картинок – диффузию. Чтобы создать модель, способную и понимать, и генерировать, необходимо преодолеть эту архитектурную дилемму.
Статья «Unified Multimodal Understanding and Generation Models» анализирует попытки объединения подходов. Авторы классифицируют модели на диффузионные, авторегрессивные и гибридные. Рассматриваются ключевые проблемы: токенизация изображений, кросс-модальное внимание, подбор датасетов.
Направление только развивается, но объединение понимания и генерации в одной модели – путь к действительно универсальным мультимодальным системам. Возможно, скоро появятся LLM, способные не только понимать запросы, но и сразу создавать изображения.
P.S. Интересно, когда такие модели станут частью нашего повседневного инструментария?
Статья
Последние годы принесли прорыв в мультимодальных моделях понимания и генерации изображений. Они развивались параллельно: модели понимания используют авторегрессию, а генераторы картинок – диффузию. Чтобы создать модель, способную и понимать, и генерировать, необходимо преодолеть эту архитектурную дилемму.
Статья «Unified Multimodal Understanding and Generation Models» анализирует попытки объединения подходов. Авторы классифицируют модели на диффузионные, авторегрессивные и гибридные. Рассматриваются ключевые проблемы: токенизация изображений, кросс-модальное внимание, подбор датасетов.
Направление только развивается, но объединение понимания и генерации в одной модели – путь к действительно универсальным мультимодальным системам. Возможно, скоро появятся LLM, способные не только понимать запросы, но и сразу создавать изображения.
P.S. Интересно, когда такие модели станут частью нашего повседневного инструментария?
Статья
# Как научить LLM искать без реального поисковика?
Большие языковые модели обладают обширными знаниями, но они статичны и не обновляются в реальном времени. Для получения актуальной информации обычно используются методы RAG с обращением к внешним источникам, что требует сложной настройки и значительных затрат на API-вызовы.
Авторы "ZEROSEARCH" предлагают революционный подход: обучать LLM симулировать поиск, генерируя как релевантные, так и нерелевантные документы по запросу. Это устраняет затраты на API и позволяет контролировать качество выдачи.
Они также внедряют механизм "curriculum rollout", постепенно усложняя задачи и ухудшая качество симулируемых документов для обучения работе с шумными данными.
Результаты впечатляют: даже модель с 3 миллиардами параметров эффективно учится поиску без обращения к реальным поисковикам.
Этот подход развивает идеи ReSearch и DeepResearcher, но превосходит их, устраняя зависимость от реальных поисковых систем и снижая затраты на обучение.
Статья
Большие языковые модели обладают обширными знаниями, но они статичны и не обновляются в реальном времени. Для получения актуальной информации обычно используются методы RAG с обращением к внешним источникам, что требует сложной настройки и значительных затрат на API-вызовы.
Авторы "ZEROSEARCH" предлагают революционный подход: обучать LLM симулировать поиск, генерируя как релевантные, так и нерелевантные документы по запросу. Это устраняет затраты на API и позволяет контролировать качество выдачи.
Они также внедряют механизм "curriculum rollout", постепенно усложняя задачи и ухудшая качество симулируемых документов для обучения работе с шумными данными.
Результаты впечатляют: даже модель с 3 миллиардами параметров эффективно учится поиску без обращения к реальным поисковикам.
Этот подход развивает идеи ReSearch и DeepResearcher, но превосходит их, устраняя зависимость от реальных поисковых систем и снижая затраты на обучение.
Статья
Как шагнуть от мультимодальных LLM к истинно универсальному разуму?
Недавняя статья подводит итоги развития мультимодальных моделей. Сначала были модели, отдельно обрабатывающие текст и изображения. Затем появились большие языковые модели с мультимодальными возможностями (MLLM), понимающие изображения и отвечающие на вопросы.
Однако их мышление ограничено текстовым пространством. В статье предложена концепция "естественных" мультимодальных моделей (N-LMRMs), нативно объединяющих понимание, генерацию и рассуждение во всех модальностях: текст, изображения, аудио, видео.
Это шаг к созданию систем, способных не только видеть и говорить, но и понимать мир, учиться из опыта и применять знания в новых ситуациях.
Это вызывает технические сложности: единые представления данных, межмодальная интеграция и обучение на огромных объёмах информации. Но возможно, скоро мы увидим такие модели в действии.
Статья
Недавняя статья подводит итоги развития мультимодальных моделей. Сначала были модели, отдельно обрабатывающие текст и изображения. Затем появились большие языковые модели с мультимодальными возможностями (MLLM), понимающие изображения и отвечающие на вопросы.
Однако их мышление ограничено текстовым пространством. В статье предложена концепция "естественных" мультимодальных моделей (N-LMRMs), нативно объединяющих понимание, генерацию и рассуждение во всех модальностях: текст, изображения, аудио, видео.
Это шаг к созданию систем, способных не только видеть и говорить, но и понимать мир, учиться из опыта и применять знания в новых ситуациях.
Это вызывает технические сложности: единые представления данных, межмодальная интеграция и обучение на огромных объёмах информации. Но возможно, скоро мы увидим такие модели в действии.
Статья