LLMs – стохастические попугаи или будущие эйнштейны?
Говорят, большие языковые модели просто повторяют то, что видели в данных, не понимая сути. Исследователи решили это проверить экспериментально, создав задачу PHYSICO. Моделям предложили не просто вспомнить определения физических законов, а применить их к абстрактным задачам в непривычном формате.
И что же? GPT-4 и другие блестяще справляются с простыми заданиями: определения, формулы – как по нотам. Но когда дело дошло до применения знаний в новых ситуациях, особенно представленных в виде абстрактных сеток, модели растерялись. Никакие дообучения не помогли.
Это подтверждает, что LLM пока действительно больше похожи на "стохастических попугаев", чем на настоящих мыслителей. Кажется, они знают всё, но глубокого понимания им не хватает.
P.S. Как думаете, смогут ли будущие модели преодолеть этот барьер и научиться по-настоящему понимать мир, а не просто повторять выученное?
Статья
Говорят, большие языковые модели просто повторяют то, что видели в данных, не понимая сути. Исследователи решили это проверить экспериментально, создав задачу PHYSICO. Моделям предложили не просто вспомнить определения физических законов, а применить их к абстрактным задачам в непривычном формате.
И что же? GPT-4 и другие блестяще справляются с простыми заданиями: определения, формулы – как по нотам. Но когда дело дошло до применения знаний в новых ситуациях, особенно представленных в виде абстрактных сеток, модели растерялись. Никакие дообучения не помогли.
Это подтверждает, что LLM пока действительно больше похожи на "стохастических попугаев", чем на настоящих мыслителей. Кажется, они знают всё, но глубокого понимания им не хватает.
P.S. Как думаете, смогут ли будущие модели преодолеть этот барьер и научиться по-настоящему понимать мир, а не просто повторять выученное?
Статья
LLM с контекстом в 3 миллиона токенов на одном GPU? Это стало реальностью благодаря InfiniteHiP!
Исследователи представили новую архитектуру для больших языковых моделей, позволяющую расширить длину контекста до 3 миллионов токенов на одном GPU. InfiniteHiP использует модульный разреженный механизм внимания для эффективной обработки длинных последовательностей, а также оптимизацию KV-кэша для экономии памяти GPU.
В работе сочетаются лучшие практики существующих методов, таких как FlashAttention и HiP Attention, но с ключевыми улучшениями: более высокая точность, параллелизация и гибкость управления. При этом модель не теряет в качестве генерации текста на длинных контекстах.
P.S. Возможно, мы на пороге эпохи языковых моделей с практически бесконечным контекстом. Как это изменит наши взаимодействия с AI?
Статья
Исследователи представили новую архитектуру для больших языковых моделей, позволяющую расширить длину контекста до 3 миллионов токенов на одном GPU. InfiniteHiP использует модульный разреженный механизм внимания для эффективной обработки длинных последовательностей, а также оптимизацию KV-кэша для экономии памяти GPU.
В работе сочетаются лучшие практики существующих методов, таких как FlashAttention и HiP Attention, но с ключевыми улучшениями: более высокая точность, параллелизация и гибкость управления. При этом модель не теряет в качестве генерации текста на длинных контекстах.
P.S. Возможно, мы на пороге эпохи языковых моделей с практически бесконечным контекстом. Как это изменит наши взаимодействия с AI?
Статья
Случайные попугаи среди LLM: миф или реальность?
Помните, как многие говорили, что большие языковые модели (LLM) — это просто "случайные попугаи", которые повторяют заученные тексты без настоящего понимания? Так вот, в свежей статье авторы решили проверить это на практике.
Они разработали задачу PHYSICO, где моделям нужно было не только вспомнить определения физических понятий, но и применить их в абстрактных ситуациях, представленных в виде сеток (что-то вроде игр с клеточками). Результат? LLM блестяще справились с заданиями на запоминание, но при попытке проявить глубокое понимание сильно уступили людям.
Интересно, что даже дополнительные обучения и хитрые подсказки не помогли моделям существенно улучшить результат. Выходит, что нынешние LLM действительно больше "попугаи", чем "понимающие".
P.S. Ждём с нетерпением, когда же ИИ научится не только повторять, но и по-настоящему понимать. Или, может быть, нам стоит пересмотреть подходы к обучению моделей?
Статья
Помните, как многие говорили, что большие языковые модели (LLM) — это просто "случайные попугаи", которые повторяют заученные тексты без настоящего понимания? Так вот, в свежей статье авторы решили проверить это на практике.
Они разработали задачу PHYSICO, где моделям нужно было не только вспомнить определения физических понятий, но и применить их в абстрактных ситуациях, представленных в виде сеток (что-то вроде игр с клеточками). Результат? LLM блестяще справились с заданиями на запоминание, но при попытке проявить глубокое понимание сильно уступили людям.
Интересно, что даже дополнительные обучения и хитрые подсказки не помогли моделям существенно улучшить результат. Выходит, что нынешние LLM действительно больше "попугаи", чем "понимающие".
P.S. Ждём с нетерпением, когда же ИИ научится не только повторять, но и по-настоящему понимать. Или, может быть, нам стоит пересмотреть подходы к обучению моделей?
Статья
Как ускорить Stable Diffusion, убрав лишние слои из текстового энкодера?
Вы знали, что текстовый энкодер в диффузионных моделях (например, T5-XXL) занимает более 70% параметров, но даёт лишь 0,5% вычислений? Это значит, он съедает кучу памяти, но мало влияет на скорость. Авторы статьи "Skrr" решили это исправить, пропуская ("Skip") ненужные слои и переиспользуя ("Re-use") остальные. Они применили специальную метрику и beam search для оптимального выбора слоёв. В результате они существенно уменьшили размер энкодера, сохранив качество изображений и соответствие тексту!
Теперь модель занимает меньше памяти и может работать на устройствах с ограниченными ресурсами. Возможно, скоро мы сможем запускать сложную генерацию изображений прямо на смартфонах!
P.S. Как думаете, что ещё можно оптимизировать в диффузионных моделях?
Статья
Вы знали, что текстовый энкодер в диффузионных моделях (например, T5-XXL) занимает более 70% параметров, но даёт лишь 0,5% вычислений? Это значит, он съедает кучу памяти, но мало влияет на скорость. Авторы статьи "Skrr" решили это исправить, пропуская ("Skip") ненужные слои и переиспользуя ("Re-use") остальные. Они применили специальную метрику и beam search для оптимального выбора слоёв. В результате они существенно уменьшили размер энкодера, сохранив качество изображений и соответствие тексту!
Теперь модель занимает меньше памяти и может работать на устройствах с ограниченными ресурсами. Возможно, скоро мы сможем запускать сложную генерацию изображений прямо на смартфонах!
P.S. Как думаете, что ещё можно оптимизировать в диффузионных моделях?
Статья
Как найти нужную модель в миллионе нейросетей без описания?
На Hugging Face более миллиона моделей, и большинство из них плохо описаны. Как же найти модель, которая распознаёт нужный нам объект, например, "собаку"? Учёные предложили способ искать модели по их весам, без метаданных!
Идея проста: подаём на вход модели фиксированный набор изображений (проб) и смотрим, как она реагирует на каждый выход (логит). Так получаем "отпечаток" каждого логита модели. Этот отпечаток можно сравнить с другими или даже с текстовым описанием через CLIP!
Чтобы ускорить процесс, они придумали "коллаборативный пробинг", который сокращает количество проб, необходимых для описания моделей.
Теперь мы можем искать модели по функционалу, а не по метаданным.
P.S. Поможет ли такой способ поиска нам находить идеальные модели без долгих тренировок?
Статья
На Hugging Face более миллиона моделей, и большинство из них плохо описаны. Как же найти модель, которая распознаёт нужный нам объект, например, "собаку"? Учёные предложили способ искать модели по их весам, без метаданных!
Идея проста: подаём на вход модели фиксированный набор изображений (проб) и смотрим, как она реагирует на каждый выход (логит). Так получаем "отпечаток" каждого логита модели. Этот отпечаток можно сравнить с другими или даже с текстовым описанием через CLIP!
Чтобы ускорить процесс, они придумали "коллаборативный пробинг", который сокращает количество проб, необходимых для описания моделей.
Теперь мы можем искать модели по функционалу, а не по метаданным.
P.S. Поможет ли такой способ поиска нам находить идеальные модели без долгих тренировок?
Статья
Как измерить способность больших моделей видеть, думать и действовать в реальном мире?
Недавно наткнулся на занятную работу, где исследователи представили новый бенчмарк для оценки мульти-модальных больших языковых моделей (MLLM) в роли "воплощённых агентов". Эти агенты должны выполнять задачи в виртуальных средах, используя зрение и текстовые инструкции.
Бенчмарк называется EMBODIED BENCH и включает 1128 тестовых заданий в четырёх разных средах. Особенность этого бенчмарка в том, что он оценивает не только общую способность моделей решать задачи, но и их отдельные умения: понимание сложных инструкций, пространственное мышление, долгосрочное планирование и другие.
Авторы протестировали 13 ведущих моделей и обнаружили, что даже самые современные MLLM всё ещё испытывают трудности с низкоуровневыми задачами, требующими точного управления и восприятия.
P.S. Интересно, смогут ли будущие модели преодолеть эти ограничения и стать по-настоящему универсальными агентами?
Статья
Недавно наткнулся на занятную работу, где исследователи представили новый бенчмарк для оценки мульти-модальных больших языковых моделей (MLLM) в роли "воплощённых агентов". Эти агенты должны выполнять задачи в виртуальных средах, используя зрение и текстовые инструкции.
Бенчмарк называется EMBODIED BENCH и включает 1128 тестовых заданий в четырёх разных средах. Особенность этого бенчмарка в том, что он оценивает не только общую способность моделей решать задачи, но и их отдельные умения: понимание сложных инструкций, пространственное мышление, долгосрочное планирование и другие.
Авторы протестировали 13 ведущих моделей и обнаружили, что даже самые современные MLLM всё ещё испытывают трудности с низкоуровневыми задачами, требующими точного управления и восприятия.
P.S. Интересно, смогут ли будущие модели преодолеть эти ограничения и стать по-настоящему универсальными агентами?
Статья
Как научить модели самим улучшать свои цитаты без человеческой помощи?
Известно, что LLM иногда "галлюцинируют" — придумывают факты. Чтобы предотвратить это, модели учат точно цитировать источники, но это требует аннотаций или дорогих API.
В свежей статье предложен метод SelfCite, позволяющий моделям самим улучшать свои цитаты без аннотаций. Модель оценивает свои цитаты, удаляя или оставляя цитируемые предложения, и измеряет, как это влияет на вероятность ответа.
В результате модель выбирает лучшие цитаты или обучается улучшать их качество без дополнительных данных. Это ведёт к значительному улучшению без участия человека.
P.S. Если модели будут сами себя совершенствовать, останется ли нам что-либо делать?
Статья
Известно, что LLM иногда "галлюцинируют" — придумывают факты. Чтобы предотвратить это, модели учат точно цитировать источники, но это требует аннотаций или дорогих API.
В свежей статье предложен метод SelfCite, позволяющий моделям самим улучшать свои цитаты без аннотаций. Модель оценивает свои цитаты, удаляя или оставляя цитируемые предложения, и измеряет, как это влияет на вероятность ответа.
В результате модель выбирает лучшие цитаты или обучается улучшать их качество без дополнительных данных. Это ведёт к значительному улучшению без участия человека.
P.S. Если модели будут сами себя совершенствовать, останется ли нам что-либо делать?
Статья
Как научить LLM понимать 3D мир без лишних энкодеров?
Обычно, чтобы LLM могла работать с 3D данными, используют отдельные энкодеры для обработки облаков точек. Но это добавляет сложности и ограничения: фиксированное разрешение, несоответствие семантики и т.п. А что если убрать энкодер и заставить LLM самой разбираться с 3D?
Авторы новой статьи так и сделали! Они предложили подход, где LLM сама обучается понимать 3D данные, используя стратегии встраивания семантики и иерархической агрегации геометрии. Их модель ENEL без энкодера показала результаты на уровне лучших моделей с энкодерами, таких как PointLLM и ShapeLLM.
P.S. Кажется, LLM становятся всё более универсальными. Смогут ли они скоро обрабатывать любые данные без дополнительных модулей? Интересно, что будет дальше!
Статья
Обычно, чтобы LLM могла работать с 3D данными, используют отдельные энкодеры для обработки облаков точек. Но это добавляет сложности и ограничения: фиксированное разрешение, несоответствие семантики и т.п. А что если убрать энкодер и заставить LLM самой разбираться с 3D?
Авторы новой статьи так и сделали! Они предложили подход, где LLM сама обучается понимать 3D данные, используя стратегии встраивания семантики и иерархической агрегации геометрии. Их модель ENEL без энкодера показала результаты на уровне лучших моделей с энкодерами, таких как PointLLM и ShapeLLM.
P.S. Кажется, LLM становятся всё более универсальными. Смогут ли они скоро обрабатывать любые данные без дополнительных модулей? Интересно, что будет дальше!
Статья
Новая эра высококачественного 3D: как TripoSG делает модели из одного изображения.
Создание реалистичных 3D-моделей из одного изображения всегда было сложной задачей из-за проблем с качеством и соответствием деталей. В свежей работе представлена модель **TripoSG**, которая устанавливает новый стандарт в 3D-генерации. Авторы используют ректифицированный потоковый трансформер и тщательно отобранный крупномасштабный датасет для обучения. Ключевые моменты: применение SDF вместо стандартного оккупационного представления для более точной геометрии, внедрение нормалей поверхности в процесс обучения и масштабирование модели до 4 миллиардов параметров с высоким латентным разрешением.
В результате **TripoSG** генерирует 3D-модели с беспрецедентной детализацией и точным соответствием входному изображению, опережая все предыдущие подходы.
P.S. Возможно, скоро создание сложных 3D-моделей станет таким же простым, как генерация картинок в нейросетях?
Статья
Создание реалистичных 3D-моделей из одного изображения всегда было сложной задачей из-за проблем с качеством и соответствием деталей. В свежей работе представлена модель **TripoSG**, которая устанавливает новый стандарт в 3D-генерации. Авторы используют ректифицированный потоковый трансформер и тщательно отобранный крупномасштабный датасет для обучения. Ключевые моменты: применение SDF вместо стандартного оккупационного представления для более точной геометрии, внедрение нормалей поверхности в процесс обучения и масштабирование модели до 4 миллиардов параметров с высоким латентным разрешением.
В результате **TripoSG** генерирует 3D-модели с беспрецедентной детализацией и точным соответствием входному изображению, опережая все предыдущие подходы.
P.S. Возможно, скоро создание сложных 3D-моделей станет таким же простым, как генерация картинок в нейросетях?
Статья
Как научить ИИ не просто отвечать за Шерлока Холмса, а действительно стать им?
В свежей работе исследователи представили CoSER – огромный датасет персонажей из 771 известной книги, который позволяет обучить языковую модель не просто подражать героям, а полноценно вживаться в их роли. Вместо синтетических диалогов они использовали реальные диалоги и описания из книг, включая мысли и действия персонажей. Такой подход значительно улучшает способность моделей точно передавать характеры и манеру речи героев.
Но это ещё не всё. Они предложили метод Given-Circumstance Acting (GCA), основанный на театральных практиках. Модель обучается играть роль персонажа в заданных обстоятельствах, как актёр на сцене. Это не только повышает качество имитации, но и открывает новые возможности для создания более реалистичных AI-агентов.
P.S. А если ИИ научится вживаться в роли героев, смогут ли они переосмыслить сюжет и предложить новые повороты в наших любимых историях?
Статья
В свежей работе исследователи представили CoSER – огромный датасет персонажей из 771 известной книги, который позволяет обучить языковую модель не просто подражать героям, а полноценно вживаться в их роли. Вместо синтетических диалогов они использовали реальные диалоги и описания из книг, включая мысли и действия персонажей. Такой подход значительно улучшает способность моделей точно передавать характеры и манеру речи героев.
Но это ещё не всё. Они предложили метод Given-Circumstance Acting (GCA), основанный на театральных практиках. Модель обучается играть роль персонажа в заданных обстоятельствах, как актёр на сцене. Это не только повышает качество имитации, но и открывает новые возможности для создания более реалистичных AI-агентов.
P.S. А если ИИ научится вживаться в роли героев, смогут ли они переосмыслить сюжет и предложить новые повороты в наших любимых историях?
Статья
Qwen2.5-VL: новая эра для LVLM!
Alibaba представила Qwen2.5-VL — новую визуально-лингвистическую модель с улучшенным пониманием изображений и видео.
Модель вводит четыре ключевых нововведения: window attention для ускорения инференса; динамическое FPS-сэмплирование для продвинутого понимания видео; улучшенную позиционную кодировку MRoPE, синхронизированную с абсолютным временем; и огромный обучающий корпус в 4,1 триллиона токенов.
Qwen2.5-VL способна точно парсить документы, включая таблицы, графики и рукописный текст; связывать объекты в разных форматах, включая абсолютные координаты и JSON; понимать длинные видео и точно определять нужные моменты; обладает усовершенствованными агентными функциями для устройств.
Эта модель устанавливает новый стандарт для LVLM, приближаясь по качеству к GPT-4 и превосходя многие закрытые модели. Будущее LVLM уже здесь!
Статья
Alibaba представила Qwen2.5-VL — новую визуально-лингвистическую модель с улучшенным пониманием изображений и видео.
Модель вводит четыре ключевых нововведения: window attention для ускорения инференса; динамическое FPS-сэмплирование для продвинутого понимания видео; улучшенную позиционную кодировку MRoPE, синхронизированную с абсолютным временем; и огромный обучающий корпус в 4,1 триллиона токенов.
Qwen2.5-VL способна точно парсить документы, включая таблицы, графики и рукописный текст; связывать объекты в разных форматах, включая абсолютные координаты и JSON; понимать длинные видео и точно определять нужные моменты; обладает усовершенствованными агентными функциями для устройств.
Эта модель устанавливает новый стандарт для LVLM, приближаясь по качеству к GPT-4 и превосходя многие закрытые модели. Будущее LVLM уже здесь!
Статья
Как научить автопилот водить как человек и избегать ошибок? Дайте ему поучиться на своих собственных ДТП — но в симуляции!
Большинство систем автономного вождения обучают модели подражать человеку, используя Imitation Learning. Но такие модели не понимают причинно-следственных связей и не умеют реагировать на неожиданные ситуации. Авторы предлагают обучать автопилот с помощью Reinforcement Learning в фотореалистичной 3DGS-среде. Там модель может безопасно тренироваться на своих ошибках и учиться избегать аварий. Чтобы модель оставалась похожей на человека, они комбинируют RL и IL. Их метод RAD снизил количество аварий в 3 раза по сравнению с IL-подходами. Это большой шаг к более безопасному автономному вождению.
Статья
Большинство систем автономного вождения обучают модели подражать человеку, используя Imitation Learning. Но такие модели не понимают причинно-следственных связей и не умеют реагировать на неожиданные ситуации. Авторы предлагают обучать автопилот с помощью Reinforcement Learning в фотореалистичной 3DGS-среде. Там модель может безопасно тренироваться на своих ошибках и учиться избегать аварий. Чтобы модель оставалась похожей на человека, они комбинируют RL и IL. Их метод RAD снизил количество аварий в 3 раза по сравнению с IL-подходами. Это большой шаг к более безопасному автономному вождению.
Статья
Можно ли сгенерировать песню по текстовому описанию за один шаг?
В статье "SongGen: одностадийный трансформер для генерации песен" представлена открытая модель, способная создавать песни по тексту описания и лирике, а также клонировать голос по 3-секундному образцу!
SongGen одновременно генерирует вокал и сопровождение, позволяя управлять инструментами, жанром, настроением и другими музыкальными элементами.
Авторы решили проблему нечеткого вокала, добавив дополнительную задачу предсказания вокальных токенов при обучении.
Код, веса модели и данные выложены в открытый доступ, что открывает новые возможности для исследований в области генерации музыки.
Но не стоит забывать о рисках: технология может быть использована для создания дипфейков голоса. Авторы подчеркивают важность ответственного использования модели.
P.S. Кажется, скоро каждый сможет стать композитором!
Статья
В статье "SongGen: одностадийный трансформер для генерации песен" представлена открытая модель, способная создавать песни по тексту описания и лирике, а также клонировать голос по 3-секундному образцу!
SongGen одновременно генерирует вокал и сопровождение, позволяя управлять инструментами, жанром, настроением и другими музыкальными элементами.
Авторы решили проблему нечеткого вокала, добавив дополнительную задачу предсказания вокальных токенов при обучении.
Код, веса модели и данные выложены в открытый доступ, что открывает новые возможности для исследований в области генерации музыки.
Но не стоит забывать о рисках: технология может быть использована для создания дипфейков голоса. Авторы подчеркивают важность ответственного использования модели.
P.S. Кажется, скоро каждый сможет стать композитором!
Статья
Многопамять для линейных моделей. Вдохновлено мозгом!
Все знают, что трансформеры мощные, но дорогостоящие модели из-за квадратичной сложности. Линейные модели пытаются быть быстрее, но страдают от слабой памяти и забывают важную информацию при обработке длинных последовательностей.
В свежей статье представляют Mixture-of-Memories (MoM) — архитектуру, вдохновленную нейробиологией. Вспомните, как в нашем мозге разные воспоминания хранятся отдельно благодаря тета- и гамма-ритмам. Авторы добавили несколько независимых состояний памяти в линейные модели и роутер, который направляет входные данные в разные "памяти". Это увеличило емкость памяти и устранило интерференцию.
Результат? Линейные модели с MoM существенно превзошли другие линейные модели на задачах, требующих запоминания, и приблизились по качеству к трансформерам, сохраняя при этом эффективность. Возможно, это новый шаг к более быстрым и умным языковым моделям.
Статья
Все знают, что трансформеры мощные, но дорогостоящие модели из-за квадратичной сложности. Линейные модели пытаются быть быстрее, но страдают от слабой памяти и забывают важную информацию при обработке длинных последовательностей.
В свежей статье представляют Mixture-of-Memories (MoM) — архитектуру, вдохновленную нейробиологией. Вспомните, как в нашем мозге разные воспоминания хранятся отдельно благодаря тета- и гамма-ритмам. Авторы добавили несколько независимых состояний памяти в линейные модели и роутер, который направляет входные данные в разные "памяти". Это увеличило емкость памяти и устранило интерференцию.
Результат? Линейные модели с MoM существенно превзошли другие линейные модели на задачах, требующих запоминания, и приблизились по качеству к трансформерам, сохраняя при этом эффективность. Возможно, это новый шаг к более быстрым и умным языковым моделям.
Статья
Зачем скачивать весь интернет для обучения LLM, если можно получить всё нужное из меньшего объёма?
Авторы статьи "Web Crawling for LLM Pretraining (CRAW4LLM)" предлагают новый подход к веб-скрапингу для обучения языковых моделей. Обычные краулеры собирают страницы, ориентируясь на их популярность (типа PageRank), но это не всегда полезно для обучения. В итоге приходится отбрасывать до 90% собранных данных!
CRAW4LLM же умнее: он оценивает каждую страницу на то, насколько она полезна для обучения LLM, и скачивает только самые "вкусные" странички. Результат? Они смогли достичь 95% производительности по сравнению с идеальным случаем, скачав лишь 2% данных!
Может, наши LLM наконец-то перестанут питаться "информационным фастфудом" и перейдут на здоровую диету? В любом случае, подход интересный и предлагает более осознанный сбор данных для обучения.
Статья
Авторы статьи "Web Crawling for LLM Pretraining (CRAW4LLM)" предлагают новый подход к веб-скрапингу для обучения языковых моделей. Обычные краулеры собирают страницы, ориентируясь на их популярность (типа PageRank), но это не всегда полезно для обучения. В итоге приходится отбрасывать до 90% собранных данных!
CRAW4LLM же умнее: он оценивает каждую страницу на то, насколько она полезна для обучения LLM, и скачивает только самые "вкусные" странички. Результат? Они смогли достичь 95% производительности по сравнению с идеальным случаем, скачав лишь 2% данных!
Может, наши LLM наконец-то перестанут питаться "информационным фастфудом" и перейдут на здоровую диету? В любом случае, подход интересный и предлагает более осознанный сбор данных для обучения.
Статья
Почему маленькие языковые модели не любят длинные рассуждения?
Оказывается, маленькие LLM не выигрывают от длинных цепочек рассуждений (CoT) и от обучения на ответах больших моделей. Сложные рассуждения слишком тяжелы для маленьких моделей; они лучше учатся на коротких объяснениях и от учителей своего размера. Это явление называют "Проблема обучаемости маленьких моделей" (Small Model Learnability Gap).
Чтобы решить проблему, предложен метод "Смешанной дистилляции" (Mix Distillation), где смешивают разные типы данных: короткие и длинные цепочки рассуждений, ответы больших и малых учителей. Это помогает маленьким моделям улучшить способности к рассуждению.
Поэтому, если хотите обучить маленькую модель мыслить, не перегружайте её длинными объяснениями!
Статья
Оказывается, маленькие LLM не выигрывают от длинных цепочек рассуждений (CoT) и от обучения на ответах больших моделей. Сложные рассуждения слишком тяжелы для маленьких моделей; они лучше учатся на коротких объяснениях и от учителей своего размера. Это явление называют "Проблема обучаемости маленьких моделей" (Small Model Learnability Gap).
Чтобы решить проблему, предложен метод "Смешанной дистилляции" (Mix Distillation), где смешивают разные типы данных: короткие и длинные цепочки рассуждений, ответы больших и малых учителей. Это помогает маленьким моделям улучшить способности к рассуждению.
Поэтому, если хотите обучить маленькую модель мыслить, не перегружайте её длинными объяснениями!
Статья
Стоит ли ЛЛМ отвечать на каждый вопрос, если ошибка может дорого стоить?
В новом исследовании авторы изучают, как большие языковые модели могут научиться воздерживаться от ответа, когда они недостаточно уверены. Вместо постоянного угадывания модели оценивают свою уверенность и решают, стоит ли отвечать — особенно важно в ситуациях, где цена ошибки высока.
Авторы вводят метрику "Jeopardy Odds", которая поощряет за правильные ответы и наказывает за неправильные, стимулируя модели давать ответ только при достаточной уверенности. Они показывают, что увеличение вычислений (то есть более длительное "обдумывание") помогает моделям лучше оценивать свою уверенность и принимать решение отвечать или воздержаться.
Это шаг к более ответственным ЛЛМ, которые не только генерируют ответы, но и учитывают риски ошибок. Такой подход может сделать взаимодействие с ИИ более надежным, особенно в критически важных областях.
Статья
В новом исследовании авторы изучают, как большие языковые модели могут научиться воздерживаться от ответа, когда они недостаточно уверены. Вместо постоянного угадывания модели оценивают свою уверенность и решают, стоит ли отвечать — особенно важно в ситуациях, где цена ошибки высока.
Авторы вводят метрику "Jeopardy Odds", которая поощряет за правильные ответы и наказывает за неправильные, стимулируя модели давать ответ только при достаточной уверенности. Они показывают, что увеличение вычислений (то есть более длительное "обдумывание") помогает моделям лучше оценивать свою уверенность и принимать решение отвечать или воздержаться.
Это шаг к более ответственным ЛЛМ, которые не только генерируют ответы, но и учитывают риски ошибок. Такой подход может сделать взаимодействие с ИИ более надежным, особенно в критически важных областях.
Статья
Как научить GPT работать в 15 раз быстрее на сложных задачах?
В новой статье авторы представили **Autellix** — систему для оптимизации исполнения программ на основе LLM, а не отдельных запросов к модели.
Обычно системы, обслуживающие LLM, оптимизируют каждый запрос отдельно, не учитывая общую картину программы. Это приводит к задержкам и неэффективному использованию ресурсов. **Autellix** решает эту проблему, используя программно-ориентированное расписание запросов, которое учитывает зависимости между ними и общее время исполнения программы.
В результате **Autellix** ускоряет выполнение сложных задач, таких как автономные агенты, веб-поиск и решение сложных математических проблем, улучшая пропускную способность в 4–15 раз по сравнению с существующими системами.
P.S. Кажется, это шаг вперед в направлении масштабирования LLM для сложных приложений.
Статья
В новой статье авторы представили **Autellix** — систему для оптимизации исполнения программ на основе LLM, а не отдельных запросов к модели.
Обычно системы, обслуживающие LLM, оптимизируют каждый запрос отдельно, не учитывая общую картину программы. Это приводит к задержкам и неэффективному использованию ресурсов. **Autellix** решает эту проблему, используя программно-ориентированное расписание запросов, которое учитывает зависимости между ними и общее время исполнения программы.
В результате **Autellix** ускоряет выполнение сложных задач, таких как автономные агенты, веб-поиск и решение сложных математических проблем, улучшая пропускную способность в 4–15 раз по сравнению с существующими системами.
P.S. Кажется, это шаг вперед в направлении масштабирования LLM для сложных приложений.
Статья
Границы знаний LLM: новый супербенчмарк бросает вызов моделям
Существующие бенчмарки для языковых моделей, такие как MMLU и GPQA, стали слишком простыми — современные LLM показывают на них почти идеальные результаты. Но как узнать, где настоящие пределы их возможностей?
Недавно исследователи представили SuperGPQA — новый бенчмарк, охватывающий 285 дисциплин уровня магистратуры, включая малоизученные области вроде легкой промышленности и сельского хозяйства. В каждой дисциплине собрано не менее 50 сложных вопросов.
Интересно, что даже самые продвинутые модели (например, o1 и Deepseek-R1) набирают на SuperGPQA около 60%. Это показывает, что у LLM еще есть потенциал для роста и улучшения.
SuperGPQA может стать новым стандартом для оценки реальных знаний языковых моделей и стимулирует дальнейшее развитие AI, способного глубоко понимать широкий спектр человеческих знаний.
Статья
Существующие бенчмарки для языковых моделей, такие как MMLU и GPQA, стали слишком простыми — современные LLM показывают на них почти идеальные результаты. Но как узнать, где настоящие пределы их возможностей?
Недавно исследователи представили SuperGPQA — новый бенчмарк, охватывающий 285 дисциплин уровня магистратуры, включая малоизученные области вроде легкой промышленности и сельского хозяйства. В каждой дисциплине собрано не менее 50 сложных вопросов.
Интересно, что даже самые продвинутые модели (например, o1 и Deepseek-R1) набирают на SuperGPQA около 60%. Это показывает, что у LLM еще есть потенциал для роста и улучшения.
SuperGPQA может стать новым стандартом для оценки реальных знаний языковых моделей и стимулирует дальнейшее развитие AI, способного глубоко понимать широкий спектр человеческих знаний.
Статья
Как улучшить CLIP и сделать мультилингвальный vision-language энкодер? Google знает ответ!
Компания представила SigLIP 2 — мультилингвальный энкодер изображений и текста, который не только обеспечивает высокое качество на задачах классификации и поиска, но и понимает более 100 языков. SigLIP 2 сочетает в себе множество улучшений: декодер для обучения на описаниях изображений, самодистилляцию, маскированное предсказание и работу с изображениями в их родном соотношении сторон.
Особенно впечатляет, что модель обучена на огромном датасете WebLI с 12 миллиардами альтернативных текстов. SigLIP 2 превосходит другие открытые модели типа CLIP по многим метрикам, и при этом позволяет лучше решать задачи локализации и семантического понимания.
Ждём, когда SigLIP 2 станет новым стандартом для мультилингвального распознавания изображений!
Статья
Компания представила SigLIP 2 — мультилингвальный энкодер изображений и текста, который не только обеспечивает высокое качество на задачах классификации и поиска, но и понимает более 100 языков. SigLIP 2 сочетает в себе множество улучшений: декодер для обучения на описаниях изображений, самодистилляцию, маскированное предсказание и работу с изображениями в их родном соотношении сторон.
Особенно впечатляет, что модель обучена на огромном датасете WebLI с 12 миллиардами альтернативных текстов. SigLIP 2 превосходит другие открытые модели типа CLIP по многим метрикам, и при этом позволяет лучше решать задачи локализации и семантического понимания.
Ждём, когда SigLIP 2 станет новым стандартом для мультилингвального распознавания изображений!
Статья