Как узнать, что происходит внутри огромных языковых моделей, и научиться ими управлять?
Исследователи нашли способ проследить, как "идеи" (фичи) путешествуют через слои LLM. Они используют Sparse Autoencoders (SAEs), чтобы вытащить интерпретируемые фичи из скрытых состояний модели. Потом, сравнивая веса декодеров на разных слоях с помощью косинусного сходства, они строят "графы потока" этих фичей. Это как если бы мы следили за мыслями модели, наблюдая, как информация рождается, меняется или исчезает в процессе обработки текста.
Этот подход помогает понять, какие части модели отвечают за то или иное поведение, и даже позволяет "рулить" генерацией, активируя или подавляя определённые фичи на разных слоях. Представьте, что вы можете не только общаться с моделью, но и слегка корректировать её мысли!
P.S. Может быть, скоро мы сможем заставить LLM генерировать именно то, что нам нужно, и никакого галлюцинирования?
Статья
Исследователи нашли способ проследить, как "идеи" (фичи) путешествуют через слои LLM. Они используют Sparse Autoencoders (SAEs), чтобы вытащить интерпретируемые фичи из скрытых состояний модели. Потом, сравнивая веса декодеров на разных слоях с помощью косинусного сходства, они строят "графы потока" этих фичей. Это как если бы мы следили за мыслями модели, наблюдая, как информация рождается, меняется или исчезает в процессе обработки текста.
Этот подход помогает понять, какие части модели отвечают за то или иное поведение, и даже позволяет "рулить" генерацией, активируя или подавляя определённые фичи на разных слоях. Представьте, что вы можете не только общаться с моделью, но и слегка корректировать её мысли!
P.S. Может быть, скоро мы сможем заставить LLM генерировать именно то, что нам нужно, и никакого галлюцинирования?
Статья
Математические олимпиады покорены AI? AlphaGeometry2 обошёл золотых медалистов IMO!
Google DeepMind представил AlphaGeometry2 — новую версию системы для решения труднейших геометрических задач Международной математической олимпиады. AG1 решал 54% задач, но AG2 поднял планку до 84%, превзойдя среднестатистического золотого медалиста!
Как это удалось? Расширили язык системы, усилили символьный движок, внедрили новый алгоритм поиска и натренировали мощную языковую модель на архитектуре Gemini. Теперь даже самые сложные головоломки поддаются решению.
Скоро ли AI полностью заменит нас в решении математических задач?
P.S. Что вы думаете о будущем, где искусственный интеллект решает задачи, непосильные человеку?
Статья
Google DeepMind представил AlphaGeometry2 — новую версию системы для решения труднейших геометрических задач Международной математической олимпиады. AG1 решал 54% задач, но AG2 поднял планку до 84%, превзойдя среднестатистического золотого медалиста!
Как это удалось? Расширили язык системы, усилили символьный движок, внедрили новый алгоритм поиска и натренировали мощную языковую модель на архитектуре Gemini. Теперь даже самые сложные головоломки поддаются решению.
Скоро ли AI полностью заменит нас в решении математических задач?
P.S. Что вы думаете о будущем, где искусственный интеллект решает задачи, непосильные человеку?
Статья
Как увидеть внутреннюю «кухню» больших языковых моделей с помощью потоков признаков?
Обычно LLM считаются "чёрным ящиком", и понять, как они хранят и преобразуют семантическую информацию, непросто. Но новые исследования предлагают использовать Sparse Autoencoders (SAE) для отслеживания эволюции признаков через различные слои модели. Вместо того чтобы анализировать только один слой или остаточный поток, они предлагают выстроить "графы потоков", которые показывают, как признаки зарождаются, распространяются или исчезают внутри модели.
Это позволяет обнаружить "жизненный цикл" признаков, понять их эволюцию и увидеть, как они могут формировать вычислительные схемы внутри модели. Такой подход не только углубляет наше понимание внутренней работы LLM, но и позволяет более точно управлять их поведением.
P.S. Возможно, благодаря таким методам мы сможем сделать LLM более прозрачными и подконтрольными? Как думаете, к чему это приведёт в будущем?
Статья
Обычно LLM считаются "чёрным ящиком", и понять, как они хранят и преобразуют семантическую информацию, непросто. Но новые исследования предлагают использовать Sparse Autoencoders (SAE) для отслеживания эволюции признаков через различные слои модели. Вместо того чтобы анализировать только один слой или остаточный поток, они предлагают выстроить "графы потоков", которые показывают, как признаки зарождаются, распространяются или исчезают внутри модели.
Это позволяет обнаружить "жизненный цикл" признаков, понять их эволюцию и увидеть, как они могут формировать вычислительные схемы внутри модели. Такой подход не только углубляет наше понимание внутренней работы LLM, но и позволяет более точно управлять их поведением.
P.S. Возможно, благодаря таким методам мы сможем сделать LLM более прозрачными и подконтрольными? Как думаете, к чему это приведёт в будущем?
Статья
ИИ выходит на уровень золотых медалистов по геометрии! (by Google DeepMind)
AlphaGeometry2 от DeepMind смог решить 84% геометрических задач с Международной математической олимпиады 2000-2024 годов! Для сравнения, предыдущая версия AG1 справлялась с 54%.
Как они этого добились? Расширили язык описания, улучшили символьный движок, разработали новый алгоритм поиска и обучили языковую модель Gemini на огромном датасете. Короче, заморочились по полной.
Модель не только решает задачи, но и иногда проявляет суперчеловеческое творчество в решениях! Это серьезный шаг к ИИ, способному рассуждать и решать математику как человек.
Что дальше? Роботы будут выигрывать олимпиады вместо школьников? Как думаете?
P.S. Пора ли нам начинать переживать за свои профессии?
Статья
AlphaGeometry2 от DeepMind смог решить 84% геометрических задач с Международной математической олимпиады 2000-2024 годов! Для сравнения, предыдущая версия AG1 справлялась с 54%.
Как они этого добились? Расширили язык описания, улучшили символьный движок, разработали новый алгоритм поиска и обучили языковую модель Gemini на огромном датасете. Короче, заморочились по полной.
Модель не только решает задачи, но и иногда проявляет суперчеловеческое творчество в решениях! Это серьезный шаг к ИИ, способному рассуждать и решать математику как человек.
Что дальше? Роботы будут выигрывать олимпиады вместо школьников? Как думаете?
P.S. Пора ли нам начинать переживать за свои профессии?
Статья
Кто бы мог подумать, что запятые и предлоги — настоящие хранители памяти в LLM!
Авторы LLM-Microscope разработали инструменты для изучения внутренних процессов больших языковых моделей. Они выяснили, что такие "филлеры", как пунктуация, союзы и артикли, играют ключевую роль в сохранении контекста и понимании текста. Удаление этих, казалось бы, незначительных токенов резко ухудшает качество на сложных задачах вроде MMLU и BABILong-4k.
Оказывается, LLM используют запятые и предлоги как своего рода "якоря памяти". Это удивительное открытие может привести к новым подходам в интерпретируемости и обучении языковых моделей.
P.S. А какие ещё секреты скрываются в недрах нейросетей, о которых мы даже не подозреваем?
Статья
Авторы LLM-Microscope разработали инструменты для изучения внутренних процессов больших языковых моделей. Они выяснили, что такие "филлеры", как пунктуация, союзы и артикли, играют ключевую роль в сохранении контекста и понимании текста. Удаление этих, казалось бы, незначительных токенов резко ухудшает качество на сложных задачах вроде MMLU и BABILong-4k.
Оказывается, LLM используют запятые и предлоги как своего рода "якоря памяти". Это удивительное открытие может привести к новым подходам в интерпретируемости и обучении языковых моделей.
P.S. А какие ещё секреты скрываются в недрах нейросетей, о которых мы даже не подозреваем?
Статья
Зачем же нужны артикли и запятые в языковых моделях?
Вы когда-нибудь задумывались, почему LLM так зависимы от слов вроде "the", "an" или обычной запятой? В свежем исследовании "LLM-Microscope" авторы показали, что именно эти "незаметные" элементы играют ключевую роль в том, как модели обрабатывают и хранят контекст. Они выяснили, что удаление таких, казалось бы, незначительных токенов приводит к значительному ухудшению работы моделей на задачах, требующих глубокого понимания и долгосрочного контекста.
Более того, они обнаружили сильную корреляцию между линейностью представлений и способностью модели сохранять контекстную информацию. То есть те токены, которые мы привыкли считать "пустыми", на самом деле являются своеобразными "хранителями памяти" для LLM.
P.S. Кто бы мог подумать, что запятые и артикли могут настолько влиять на работу нейросетей? Может, пришло время пересмотреть наше отношение к "мелочам" в языковой обработке?
Статья
Вы когда-нибудь задумывались, почему LLM так зависимы от слов вроде "the", "an" или обычной запятой? В свежем исследовании "LLM-Microscope" авторы показали, что именно эти "незаметные" элементы играют ключевую роль в том, как модели обрабатывают и хранят контекст. Они выяснили, что удаление таких, казалось бы, незначительных токенов приводит к значительному ухудшению работы моделей на задачах, требующих глубокого понимания и долгосрочного контекста.
Более того, они обнаружили сильную корреляцию между линейностью представлений и способностью модели сохранять контекстную информацию. То есть те токены, которые мы привыкли считать "пустыми", на самом деле являются своеобразными "хранителями памяти" для LLM.
P.S. Кто бы мог подумать, что запятые и артикли могут настолько влиять на работу нейросетей? Может, пришло время пересмотреть наше отношение к "мелочам" в языковой обработке?
Статья
Может ли искусственный интеллект стать чемпионом Международной математической олимпиады?
Google DeepMind представила AlphaGeometry2 (AG2) — революционный прорыв в решении сложнейших геометрических задач. AG2 достигла впечатляющих 84% успеха на задачах IMO 2000–2024 годов, превзойдя средний результат золотых медалистов!
В чём секрет? AG2 расширила язык для описания геометрических понятий, усовершенствовала символический движок (переписав его на C++ и ускорив алгоритмы), внедрила мощную языковую модель Gemini и разработала инновационный алгоритм поиска Shared Knowledge Ensemble of Search Trees (SKEST). Это позволило эффективно сочетать работу языковой модели и символического движка, демонстрируя суперчеловеческое творчество в решении задач.
P.S. Возможно ли, что следующие великие открытия в математике будут сделаны искусственным интеллектом?
Статья
Google DeepMind представила AlphaGeometry2 (AG2) — революционный прорыв в решении сложнейших геометрических задач. AG2 достигла впечатляющих 84% успеха на задачах IMO 2000–2024 годов, превзойдя средний результат золотых медалистов!
В чём секрет? AG2 расширила язык для описания геометрических понятий, усовершенствовала символический движок (переписав его на C++ и ускорив алгоритмы), внедрила мощную языковую модель Gemini и разработала инновационный алгоритм поиска Shared Knowledge Ensemble of Search Trees (SKEST). Это позволило эффективно сочетать работу языковой модели и символического движка, демонстрируя суперчеловеческое творчество в решении задач.
P.S. Возможно ли, что следующие великие открытия в математике будут сделаны искусственным интеллектом?
Статья
Как обработать 3 миллиона токенов на одном GPU и не взорвать видеокарту?
Оказывается, это реально! В свежей статье про InfiniteHiP предлагают метод расширения контекста языковых моделей до 3 миллионов токенов на одном GPU.
Проблема длинных контекстов: внимание требует квадратичных ресурсов, что осложняет работу с длинными последовательностями. Но авторы придумали хитрый способ — модульное иерархическое прореживание внимания: отбрасывают неважные токены и фокусируются на важном, используя разреженность и локальность в матрицах внимания.
Кроме того, InfiniteHiP позволяет работать за пределами предобученной длины контекста без дополнительного обучения. То есть, можно взять любую модель и сразу применять их подход.
Теперь можно скормить модели огромный контекст и получить адекватный ответ, не сжигая всю видеопамять.
P.S. Может, скоро наши языковые модели смогут помнить всё, что мы когда-либо им скармливали?
Статья
Оказывается, это реально! В свежей статье про InfiniteHiP предлагают метод расширения контекста языковых моделей до 3 миллионов токенов на одном GPU.
Проблема длинных контекстов: внимание требует квадратичных ресурсов, что осложняет работу с длинными последовательностями. Но авторы придумали хитрый способ — модульное иерархическое прореживание внимания: отбрасывают неважные токены и фокусируются на важном, используя разреженность и локальность в матрицах внимания.
Кроме того, InfiniteHiP позволяет работать за пределами предобученной длины контекста без дополнительного обучения. То есть, можно взять любую модель и сразу применять их подход.
Теперь можно скормить модели огромный контекст и получить адекватный ответ, не сжигая всю видеопамять.
P.S. Может, скоро наши языковые модели смогут помнить всё, что мы когда-либо им скармливали?
Статья
LLMs – стохастические попугаи или будущие эйнштейны?
Говорят, большие языковые модели просто повторяют то, что видели в данных, не понимая сути. Исследователи решили это проверить экспериментально, создав задачу PHYSICO. Моделям предложили не просто вспомнить определения физических законов, а применить их к абстрактным задачам в непривычном формате.
И что же? GPT-4 и другие блестяще справляются с простыми заданиями: определения, формулы – как по нотам. Но когда дело дошло до применения знаний в новых ситуациях, особенно представленных в виде абстрактных сеток, модели растерялись. Никакие дообучения не помогли.
Это подтверждает, что LLM пока действительно больше похожи на "стохастических попугаев", чем на настоящих мыслителей. Кажется, они знают всё, но глубокого понимания им не хватает.
P.S. Как думаете, смогут ли будущие модели преодолеть этот барьер и научиться по-настоящему понимать мир, а не просто повторять выученное?
Статья
Говорят, большие языковые модели просто повторяют то, что видели в данных, не понимая сути. Исследователи решили это проверить экспериментально, создав задачу PHYSICO. Моделям предложили не просто вспомнить определения физических законов, а применить их к абстрактным задачам в непривычном формате.
И что же? GPT-4 и другие блестяще справляются с простыми заданиями: определения, формулы – как по нотам. Но когда дело дошло до применения знаний в новых ситуациях, особенно представленных в виде абстрактных сеток, модели растерялись. Никакие дообучения не помогли.
Это подтверждает, что LLM пока действительно больше похожи на "стохастических попугаев", чем на настоящих мыслителей. Кажется, они знают всё, но глубокого понимания им не хватает.
P.S. Как думаете, смогут ли будущие модели преодолеть этот барьер и научиться по-настоящему понимать мир, а не просто повторять выученное?
Статья
LLM с контекстом в 3 миллиона токенов на одном GPU? Это стало реальностью благодаря InfiniteHiP!
Исследователи представили новую архитектуру для больших языковых моделей, позволяющую расширить длину контекста до 3 миллионов токенов на одном GPU. InfiniteHiP использует модульный разреженный механизм внимания для эффективной обработки длинных последовательностей, а также оптимизацию KV-кэша для экономии памяти GPU.
В работе сочетаются лучшие практики существующих методов, таких как FlashAttention и HiP Attention, но с ключевыми улучшениями: более высокая точность, параллелизация и гибкость управления. При этом модель не теряет в качестве генерации текста на длинных контекстах.
P.S. Возможно, мы на пороге эпохи языковых моделей с практически бесконечным контекстом. Как это изменит наши взаимодействия с AI?
Статья
Исследователи представили новую архитектуру для больших языковых моделей, позволяющую расширить длину контекста до 3 миллионов токенов на одном GPU. InfiniteHiP использует модульный разреженный механизм внимания для эффективной обработки длинных последовательностей, а также оптимизацию KV-кэша для экономии памяти GPU.
В работе сочетаются лучшие практики существующих методов, таких как FlashAttention и HiP Attention, но с ключевыми улучшениями: более высокая точность, параллелизация и гибкость управления. При этом модель не теряет в качестве генерации текста на длинных контекстах.
P.S. Возможно, мы на пороге эпохи языковых моделей с практически бесконечным контекстом. Как это изменит наши взаимодействия с AI?
Статья
Случайные попугаи среди LLM: миф или реальность?
Помните, как многие говорили, что большие языковые модели (LLM) — это просто "случайные попугаи", которые повторяют заученные тексты без настоящего понимания? Так вот, в свежей статье авторы решили проверить это на практике.
Они разработали задачу PHYSICO, где моделям нужно было не только вспомнить определения физических понятий, но и применить их в абстрактных ситуациях, представленных в виде сеток (что-то вроде игр с клеточками). Результат? LLM блестяще справились с заданиями на запоминание, но при попытке проявить глубокое понимание сильно уступили людям.
Интересно, что даже дополнительные обучения и хитрые подсказки не помогли моделям существенно улучшить результат. Выходит, что нынешние LLM действительно больше "попугаи", чем "понимающие".
P.S. Ждём с нетерпением, когда же ИИ научится не только повторять, но и по-настоящему понимать. Или, может быть, нам стоит пересмотреть подходы к обучению моделей?
Статья
Помните, как многие говорили, что большие языковые модели (LLM) — это просто "случайные попугаи", которые повторяют заученные тексты без настоящего понимания? Так вот, в свежей статье авторы решили проверить это на практике.
Они разработали задачу PHYSICO, где моделям нужно было не только вспомнить определения физических понятий, но и применить их в абстрактных ситуациях, представленных в виде сеток (что-то вроде игр с клеточками). Результат? LLM блестяще справились с заданиями на запоминание, но при попытке проявить глубокое понимание сильно уступили людям.
Интересно, что даже дополнительные обучения и хитрые подсказки не помогли моделям существенно улучшить результат. Выходит, что нынешние LLM действительно больше "попугаи", чем "понимающие".
P.S. Ждём с нетерпением, когда же ИИ научится не только повторять, но и по-настоящему понимать. Или, может быть, нам стоит пересмотреть подходы к обучению моделей?
Статья
Как ускорить Stable Diffusion, убрав лишние слои из текстового энкодера?
Вы знали, что текстовый энкодер в диффузионных моделях (например, T5-XXL) занимает более 70% параметров, но даёт лишь 0,5% вычислений? Это значит, он съедает кучу памяти, но мало влияет на скорость. Авторы статьи "Skrr" решили это исправить, пропуская ("Skip") ненужные слои и переиспользуя ("Re-use") остальные. Они применили специальную метрику и beam search для оптимального выбора слоёв. В результате они существенно уменьшили размер энкодера, сохранив качество изображений и соответствие тексту!
Теперь модель занимает меньше памяти и может работать на устройствах с ограниченными ресурсами. Возможно, скоро мы сможем запускать сложную генерацию изображений прямо на смартфонах!
P.S. Как думаете, что ещё можно оптимизировать в диффузионных моделях?
Статья
Вы знали, что текстовый энкодер в диффузионных моделях (например, T5-XXL) занимает более 70% параметров, но даёт лишь 0,5% вычислений? Это значит, он съедает кучу памяти, но мало влияет на скорость. Авторы статьи "Skrr" решили это исправить, пропуская ("Skip") ненужные слои и переиспользуя ("Re-use") остальные. Они применили специальную метрику и beam search для оптимального выбора слоёв. В результате они существенно уменьшили размер энкодера, сохранив качество изображений и соответствие тексту!
Теперь модель занимает меньше памяти и может работать на устройствах с ограниченными ресурсами. Возможно, скоро мы сможем запускать сложную генерацию изображений прямо на смартфонах!
P.S. Как думаете, что ещё можно оптимизировать в диффузионных моделях?
Статья
Как найти нужную модель в миллионе нейросетей без описания?
На Hugging Face более миллиона моделей, и большинство из них плохо описаны. Как же найти модель, которая распознаёт нужный нам объект, например, "собаку"? Учёные предложили способ искать модели по их весам, без метаданных!
Идея проста: подаём на вход модели фиксированный набор изображений (проб) и смотрим, как она реагирует на каждый выход (логит). Так получаем "отпечаток" каждого логита модели. Этот отпечаток можно сравнить с другими или даже с текстовым описанием через CLIP!
Чтобы ускорить процесс, они придумали "коллаборативный пробинг", который сокращает количество проб, необходимых для описания моделей.
Теперь мы можем искать модели по функционалу, а не по метаданным.
P.S. Поможет ли такой способ поиска нам находить идеальные модели без долгих тренировок?
Статья
На Hugging Face более миллиона моделей, и большинство из них плохо описаны. Как же найти модель, которая распознаёт нужный нам объект, например, "собаку"? Учёные предложили способ искать модели по их весам, без метаданных!
Идея проста: подаём на вход модели фиксированный набор изображений (проб) и смотрим, как она реагирует на каждый выход (логит). Так получаем "отпечаток" каждого логита модели. Этот отпечаток можно сравнить с другими или даже с текстовым описанием через CLIP!
Чтобы ускорить процесс, они придумали "коллаборативный пробинг", который сокращает количество проб, необходимых для описания моделей.
Теперь мы можем искать модели по функционалу, а не по метаданным.
P.S. Поможет ли такой способ поиска нам находить идеальные модели без долгих тренировок?
Статья
Как измерить способность больших моделей видеть, думать и действовать в реальном мире?
Недавно наткнулся на занятную работу, где исследователи представили новый бенчмарк для оценки мульти-модальных больших языковых моделей (MLLM) в роли "воплощённых агентов". Эти агенты должны выполнять задачи в виртуальных средах, используя зрение и текстовые инструкции.
Бенчмарк называется EMBODIED BENCH и включает 1128 тестовых заданий в четырёх разных средах. Особенность этого бенчмарка в том, что он оценивает не только общую способность моделей решать задачи, но и их отдельные умения: понимание сложных инструкций, пространственное мышление, долгосрочное планирование и другие.
Авторы протестировали 13 ведущих моделей и обнаружили, что даже самые современные MLLM всё ещё испытывают трудности с низкоуровневыми задачами, требующими точного управления и восприятия.
P.S. Интересно, смогут ли будущие модели преодолеть эти ограничения и стать по-настоящему универсальными агентами?
Статья
Недавно наткнулся на занятную работу, где исследователи представили новый бенчмарк для оценки мульти-модальных больших языковых моделей (MLLM) в роли "воплощённых агентов". Эти агенты должны выполнять задачи в виртуальных средах, используя зрение и текстовые инструкции.
Бенчмарк называется EMBODIED BENCH и включает 1128 тестовых заданий в четырёх разных средах. Особенность этого бенчмарка в том, что он оценивает не только общую способность моделей решать задачи, но и их отдельные умения: понимание сложных инструкций, пространственное мышление, долгосрочное планирование и другие.
Авторы протестировали 13 ведущих моделей и обнаружили, что даже самые современные MLLM всё ещё испытывают трудности с низкоуровневыми задачами, требующими точного управления и восприятия.
P.S. Интересно, смогут ли будущие модели преодолеть эти ограничения и стать по-настоящему универсальными агентами?
Статья
Как научить модели самим улучшать свои цитаты без человеческой помощи?
Известно, что LLM иногда "галлюцинируют" — придумывают факты. Чтобы предотвратить это, модели учат точно цитировать источники, но это требует аннотаций или дорогих API.
В свежей статье предложен метод SelfCite, позволяющий моделям самим улучшать свои цитаты без аннотаций. Модель оценивает свои цитаты, удаляя или оставляя цитируемые предложения, и измеряет, как это влияет на вероятность ответа.
В результате модель выбирает лучшие цитаты или обучается улучшать их качество без дополнительных данных. Это ведёт к значительному улучшению без участия человека.
P.S. Если модели будут сами себя совершенствовать, останется ли нам что-либо делать?
Статья
Известно, что LLM иногда "галлюцинируют" — придумывают факты. Чтобы предотвратить это, модели учат точно цитировать источники, но это требует аннотаций или дорогих API.
В свежей статье предложен метод SelfCite, позволяющий моделям самим улучшать свои цитаты без аннотаций. Модель оценивает свои цитаты, удаляя или оставляя цитируемые предложения, и измеряет, как это влияет на вероятность ответа.
В результате модель выбирает лучшие цитаты или обучается улучшать их качество без дополнительных данных. Это ведёт к значительному улучшению без участия человека.
P.S. Если модели будут сами себя совершенствовать, останется ли нам что-либо делать?
Статья
Как научить LLM понимать 3D мир без лишних энкодеров?
Обычно, чтобы LLM могла работать с 3D данными, используют отдельные энкодеры для обработки облаков точек. Но это добавляет сложности и ограничения: фиксированное разрешение, несоответствие семантики и т.п. А что если убрать энкодер и заставить LLM самой разбираться с 3D?
Авторы новой статьи так и сделали! Они предложили подход, где LLM сама обучается понимать 3D данные, используя стратегии встраивания семантики и иерархической агрегации геометрии. Их модель ENEL без энкодера показала результаты на уровне лучших моделей с энкодерами, таких как PointLLM и ShapeLLM.
P.S. Кажется, LLM становятся всё более универсальными. Смогут ли они скоро обрабатывать любые данные без дополнительных модулей? Интересно, что будет дальше!
Статья
Обычно, чтобы LLM могла работать с 3D данными, используют отдельные энкодеры для обработки облаков точек. Но это добавляет сложности и ограничения: фиксированное разрешение, несоответствие семантики и т.п. А что если убрать энкодер и заставить LLM самой разбираться с 3D?
Авторы новой статьи так и сделали! Они предложили подход, где LLM сама обучается понимать 3D данные, используя стратегии встраивания семантики и иерархической агрегации геометрии. Их модель ENEL без энкодера показала результаты на уровне лучших моделей с энкодерами, таких как PointLLM и ShapeLLM.
P.S. Кажется, LLM становятся всё более универсальными. Смогут ли они скоро обрабатывать любые данные без дополнительных модулей? Интересно, что будет дальше!
Статья
Новая эра высококачественного 3D: как TripoSG делает модели из одного изображения.
Создание реалистичных 3D-моделей из одного изображения всегда было сложной задачей из-за проблем с качеством и соответствием деталей. В свежей работе представлена модель **TripoSG**, которая устанавливает новый стандарт в 3D-генерации. Авторы используют ректифицированный потоковый трансформер и тщательно отобранный крупномасштабный датасет для обучения. Ключевые моменты: применение SDF вместо стандартного оккупационного представления для более точной геометрии, внедрение нормалей поверхности в процесс обучения и масштабирование модели до 4 миллиардов параметров с высоким латентным разрешением.
В результате **TripoSG** генерирует 3D-модели с беспрецедентной детализацией и точным соответствием входному изображению, опережая все предыдущие подходы.
P.S. Возможно, скоро создание сложных 3D-моделей станет таким же простым, как генерация картинок в нейросетях?
Статья
Создание реалистичных 3D-моделей из одного изображения всегда было сложной задачей из-за проблем с качеством и соответствием деталей. В свежей работе представлена модель **TripoSG**, которая устанавливает новый стандарт в 3D-генерации. Авторы используют ректифицированный потоковый трансформер и тщательно отобранный крупномасштабный датасет для обучения. Ключевые моменты: применение SDF вместо стандартного оккупационного представления для более точной геометрии, внедрение нормалей поверхности в процесс обучения и масштабирование модели до 4 миллиардов параметров с высоким латентным разрешением.
В результате **TripoSG** генерирует 3D-модели с беспрецедентной детализацией и точным соответствием входному изображению, опережая все предыдущие подходы.
P.S. Возможно, скоро создание сложных 3D-моделей станет таким же простым, как генерация картинок в нейросетях?
Статья
Как научить ИИ не просто отвечать за Шерлока Холмса, а действительно стать им?
В свежей работе исследователи представили CoSER – огромный датасет персонажей из 771 известной книги, который позволяет обучить языковую модель не просто подражать героям, а полноценно вживаться в их роли. Вместо синтетических диалогов они использовали реальные диалоги и описания из книг, включая мысли и действия персонажей. Такой подход значительно улучшает способность моделей точно передавать характеры и манеру речи героев.
Но это ещё не всё. Они предложили метод Given-Circumstance Acting (GCA), основанный на театральных практиках. Модель обучается играть роль персонажа в заданных обстоятельствах, как актёр на сцене. Это не только повышает качество имитации, но и открывает новые возможности для создания более реалистичных AI-агентов.
P.S. А если ИИ научится вживаться в роли героев, смогут ли они переосмыслить сюжет и предложить новые повороты в наших любимых историях?
Статья
В свежей работе исследователи представили CoSER – огромный датасет персонажей из 771 известной книги, который позволяет обучить языковую модель не просто подражать героям, а полноценно вживаться в их роли. Вместо синтетических диалогов они использовали реальные диалоги и описания из книг, включая мысли и действия персонажей. Такой подход значительно улучшает способность моделей точно передавать характеры и манеру речи героев.
Но это ещё не всё. Они предложили метод Given-Circumstance Acting (GCA), основанный на театральных практиках. Модель обучается играть роль персонажа в заданных обстоятельствах, как актёр на сцене. Это не только повышает качество имитации, но и открывает новые возможности для создания более реалистичных AI-агентов.
P.S. А если ИИ научится вживаться в роли героев, смогут ли они переосмыслить сюжет и предложить новые повороты в наших любимых историях?
Статья
Qwen2.5-VL: новая эра для LVLM!
Alibaba представила Qwen2.5-VL — новую визуально-лингвистическую модель с улучшенным пониманием изображений и видео.
Модель вводит четыре ключевых нововведения: window attention для ускорения инференса; динамическое FPS-сэмплирование для продвинутого понимания видео; улучшенную позиционную кодировку MRoPE, синхронизированную с абсолютным временем; и огромный обучающий корпус в 4,1 триллиона токенов.
Qwen2.5-VL способна точно парсить документы, включая таблицы, графики и рукописный текст; связывать объекты в разных форматах, включая абсолютные координаты и JSON; понимать длинные видео и точно определять нужные моменты; обладает усовершенствованными агентными функциями для устройств.
Эта модель устанавливает новый стандарт для LVLM, приближаясь по качеству к GPT-4 и превосходя многие закрытые модели. Будущее LVLM уже здесь!
Статья
Alibaba представила Qwen2.5-VL — новую визуально-лингвистическую модель с улучшенным пониманием изображений и видео.
Модель вводит четыре ключевых нововведения: window attention для ускорения инференса; динамическое FPS-сэмплирование для продвинутого понимания видео; улучшенную позиционную кодировку MRoPE, синхронизированную с абсолютным временем; и огромный обучающий корпус в 4,1 триллиона токенов.
Qwen2.5-VL способна точно парсить документы, включая таблицы, графики и рукописный текст; связывать объекты в разных форматах, включая абсолютные координаты и JSON; понимать длинные видео и точно определять нужные моменты; обладает усовершенствованными агентными функциями для устройств.
Эта модель устанавливает новый стандарт для LVLM, приближаясь по качеству к GPT-4 и превосходя многие закрытые модели. Будущее LVLM уже здесь!
Статья
Как научить автопилот водить как человек и избегать ошибок? Дайте ему поучиться на своих собственных ДТП — но в симуляции!
Большинство систем автономного вождения обучают модели подражать человеку, используя Imitation Learning. Но такие модели не понимают причинно-следственных связей и не умеют реагировать на неожиданные ситуации. Авторы предлагают обучать автопилот с помощью Reinforcement Learning в фотореалистичной 3DGS-среде. Там модель может безопасно тренироваться на своих ошибках и учиться избегать аварий. Чтобы модель оставалась похожей на человека, они комбинируют RL и IL. Их метод RAD снизил количество аварий в 3 раза по сравнению с IL-подходами. Это большой шаг к более безопасному автономному вождению.
Статья
Большинство систем автономного вождения обучают модели подражать человеку, используя Imitation Learning. Но такие модели не понимают причинно-следственных связей и не умеют реагировать на неожиданные ситуации. Авторы предлагают обучать автопилот с помощью Reinforcement Learning в фотореалистичной 3DGS-среде. Там модель может безопасно тренироваться на своих ошибках и учиться избегать аварий. Чтобы модель оставалась похожей на человека, они комбинируют RL и IL. Их метод RAD снизил количество аварий в 3 раза по сравнению с IL-подходами. Это большой шаг к более безопасному автономному вождению.
Статья
Можно ли сгенерировать песню по текстовому описанию за один шаг?
В статье "SongGen: одностадийный трансформер для генерации песен" представлена открытая модель, способная создавать песни по тексту описания и лирике, а также клонировать голос по 3-секундному образцу!
SongGen одновременно генерирует вокал и сопровождение, позволяя управлять инструментами, жанром, настроением и другими музыкальными элементами.
Авторы решили проблему нечеткого вокала, добавив дополнительную задачу предсказания вокальных токенов при обучении.
Код, веса модели и данные выложены в открытый доступ, что открывает новые возможности для исследований в области генерации музыки.
Но не стоит забывать о рисках: технология может быть использована для создания дипфейков голоса. Авторы подчеркивают важность ответственного использования модели.
P.S. Кажется, скоро каждый сможет стать композитором!
Статья
В статье "SongGen: одностадийный трансформер для генерации песен" представлена открытая модель, способная создавать песни по тексту описания и лирике, а также клонировать голос по 3-секундному образцу!
SongGen одновременно генерирует вокал и сопровождение, позволяя управлять инструментами, жанром, настроением и другими музыкальными элементами.
Авторы решили проблему нечеткого вокала, добавив дополнительную задачу предсказания вокальных токенов при обучении.
Код, веса модели и данные выложены в открытый доступ, что открывает новые возможности для исследований в области генерации музыки.
Но не стоит забывать о рисках: технология может быть использована для создания дипфейков голоса. Авторы подчеркивают важность ответственного использования модели.
P.S. Кажется, скоро каждый сможет стать композитором!
Статья