Что делать, когда ИИ уже знает ответы на все наши вопросы?
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Что делать, когда ИИ уже знает ответы на все наши вопросы?
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Что делать, когда ИИ уже знает ответы на все наши вопросы?
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Что делать, когда ИИ уже знает ответы на все наши вопросы?
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Как следить за мыслительным процессом LLM, ничего не зная о её данных?
Наши коллеги из МФТИ предложили новый способ понять, как большие языковые модели обрабатывают информацию. Обычно модели — «чёрные ящики», и сложно разобраться, как они кодируют и трансформируют семантические признаки. Но исследователи использовали разреженные автоэнкодеры (SAE) и косинусное сходство между их декодерами, чтобы отследить, как признаки возникают, распространяются или исчезают на разных слоях модели.
Они создали «графы потоков», показывающие эволюцию признаков через слои модели, включая MLP, attention и residual. Это позволяет увидеть, как модель формирует свои «мысли» и как разные модули влияют на появление новых признаков или изменение существующих.
Это помогает точнее управлять поведением модели, «направляя» её, воздействуя на конкретные признаки на нескольких слоях одновременно.
P.S. Возможно, скоро мы сможем не только понимать, как думают модели, но и направлять их мысли в нужное русло?
Статья
Наши коллеги из МФТИ предложили новый способ понять, как большие языковые модели обрабатывают информацию. Обычно модели — «чёрные ящики», и сложно разобраться, как они кодируют и трансформируют семантические признаки. Но исследователи использовали разреженные автоэнкодеры (SAE) и косинусное сходство между их декодерами, чтобы отследить, как признаки возникают, распространяются или исчезают на разных слоях модели.
Они создали «графы потоков», показывающие эволюцию признаков через слои модели, включая MLP, attention и residual. Это позволяет увидеть, как модель формирует свои «мысли» и как разные модули влияют на появление новых признаков или изменение существующих.
Это помогает точнее управлять поведением модели, «направляя» её, воздействуя на конкретные признаки на нескольких слоях одновременно.
P.S. Возможно, скоро мы сможем не только понимать, как думают модели, но и направлять их мысли в нужное русло?
Статья
Как узнать, что происходит внутри огромных языковых моделей, и научиться ими управлять?
Исследователи нашли способ проследить, как "идеи" (фичи) путешествуют через слои LLM. Они используют Sparse Autoencoders (SAEs), чтобы вытащить интерпретируемые фичи из скрытых состояний модели. Потом, сравнивая веса декодеров на разных слоях с помощью косинусного сходства, они строят "графы потока" этих фичей. Это как если бы мы следили за мыслями модели, наблюдая, как информация рождается, меняется или исчезает в процессе обработки текста.
Этот подход помогает понять, какие части модели отвечают за то или иное поведение, и даже позволяет "рулить" генерацией, активируя или подавляя определённые фичи на разных слоях. Представьте, что вы можете не только общаться с моделью, но и слегка корректировать её мысли!
P.S. Может быть, скоро мы сможем заставить LLM генерировать именно то, что нам нужно, и никакого галлюцинирования?
Статья
Исследователи нашли способ проследить, как "идеи" (фичи) путешествуют через слои LLM. Они используют Sparse Autoencoders (SAEs), чтобы вытащить интерпретируемые фичи из скрытых состояний модели. Потом, сравнивая веса декодеров на разных слоях с помощью косинусного сходства, они строят "графы потока" этих фичей. Это как если бы мы следили за мыслями модели, наблюдая, как информация рождается, меняется или исчезает в процессе обработки текста.
Этот подход помогает понять, какие части модели отвечают за то или иное поведение, и даже позволяет "рулить" генерацией, активируя или подавляя определённые фичи на разных слоях. Представьте, что вы можете не только общаться с моделью, но и слегка корректировать её мысли!
P.S. Может быть, скоро мы сможем заставить LLM генерировать именно то, что нам нужно, и никакого галлюцинирования?
Статья
Математические олимпиады покорены AI? AlphaGeometry2 обошёл золотых медалистов IMO!
Google DeepMind представил AlphaGeometry2 — новую версию системы для решения труднейших геометрических задач Международной математической олимпиады. AG1 решал 54% задач, но AG2 поднял планку до 84%, превзойдя среднестатистического золотого медалиста!
Как это удалось? Расширили язык системы, усилили символьный движок, внедрили новый алгоритм поиска и натренировали мощную языковую модель на архитектуре Gemini. Теперь даже самые сложные головоломки поддаются решению.
Скоро ли AI полностью заменит нас в решении математических задач?
P.S. Что вы думаете о будущем, где искусственный интеллект решает задачи, непосильные человеку?
Статья
Google DeepMind представил AlphaGeometry2 — новую версию системы для решения труднейших геометрических задач Международной математической олимпиады. AG1 решал 54% задач, но AG2 поднял планку до 84%, превзойдя среднестатистического золотого медалиста!
Как это удалось? Расширили язык системы, усилили символьный движок, внедрили новый алгоритм поиска и натренировали мощную языковую модель на архитектуре Gemini. Теперь даже самые сложные головоломки поддаются решению.
Скоро ли AI полностью заменит нас в решении математических задач?
P.S. Что вы думаете о будущем, где искусственный интеллект решает задачи, непосильные человеку?
Статья
Как увидеть внутреннюю «кухню» больших языковых моделей с помощью потоков признаков?
Обычно LLM считаются "чёрным ящиком", и понять, как они хранят и преобразуют семантическую информацию, непросто. Но новые исследования предлагают использовать Sparse Autoencoders (SAE) для отслеживания эволюции признаков через различные слои модели. Вместо того чтобы анализировать только один слой или остаточный поток, они предлагают выстроить "графы потоков", которые показывают, как признаки зарождаются, распространяются или исчезают внутри модели.
Это позволяет обнаружить "жизненный цикл" признаков, понять их эволюцию и увидеть, как они могут формировать вычислительные схемы внутри модели. Такой подход не только углубляет наше понимание внутренней работы LLM, но и позволяет более точно управлять их поведением.
P.S. Возможно, благодаря таким методам мы сможем сделать LLM более прозрачными и подконтрольными? Как думаете, к чему это приведёт в будущем?
Статья
Обычно LLM считаются "чёрным ящиком", и понять, как они хранят и преобразуют семантическую информацию, непросто. Но новые исследования предлагают использовать Sparse Autoencoders (SAE) для отслеживания эволюции признаков через различные слои модели. Вместо того чтобы анализировать только один слой или остаточный поток, они предлагают выстроить "графы потоков", которые показывают, как признаки зарождаются, распространяются или исчезают внутри модели.
Это позволяет обнаружить "жизненный цикл" признаков, понять их эволюцию и увидеть, как они могут формировать вычислительные схемы внутри модели. Такой подход не только углубляет наше понимание внутренней работы LLM, но и позволяет более точно управлять их поведением.
P.S. Возможно, благодаря таким методам мы сможем сделать LLM более прозрачными и подконтрольными? Как думаете, к чему это приведёт в будущем?
Статья
ИИ выходит на уровень золотых медалистов по геометрии! (by Google DeepMind)
AlphaGeometry2 от DeepMind смог решить 84% геометрических задач с Международной математической олимпиады 2000-2024 годов! Для сравнения, предыдущая версия AG1 справлялась с 54%.
Как они этого добились? Расширили язык описания, улучшили символьный движок, разработали новый алгоритм поиска и обучили языковую модель Gemini на огромном датасете. Короче, заморочились по полной.
Модель не только решает задачи, но и иногда проявляет суперчеловеческое творчество в решениях! Это серьезный шаг к ИИ, способному рассуждать и решать математику как человек.
Что дальше? Роботы будут выигрывать олимпиады вместо школьников? Как думаете?
P.S. Пора ли нам начинать переживать за свои профессии?
Статья
AlphaGeometry2 от DeepMind смог решить 84% геометрических задач с Международной математической олимпиады 2000-2024 годов! Для сравнения, предыдущая версия AG1 справлялась с 54%.
Как они этого добились? Расширили язык описания, улучшили символьный движок, разработали новый алгоритм поиска и обучили языковую модель Gemini на огромном датасете. Короче, заморочились по полной.
Модель не только решает задачи, но и иногда проявляет суперчеловеческое творчество в решениях! Это серьезный шаг к ИИ, способному рассуждать и решать математику как человек.
Что дальше? Роботы будут выигрывать олимпиады вместо школьников? Как думаете?
P.S. Пора ли нам начинать переживать за свои профессии?
Статья
Кто бы мог подумать, что запятые и предлоги — настоящие хранители памяти в LLM!
Авторы LLM-Microscope разработали инструменты для изучения внутренних процессов больших языковых моделей. Они выяснили, что такие "филлеры", как пунктуация, союзы и артикли, играют ключевую роль в сохранении контекста и понимании текста. Удаление этих, казалось бы, незначительных токенов резко ухудшает качество на сложных задачах вроде MMLU и BABILong-4k.
Оказывается, LLM используют запятые и предлоги как своего рода "якоря памяти". Это удивительное открытие может привести к новым подходам в интерпретируемости и обучении языковых моделей.
P.S. А какие ещё секреты скрываются в недрах нейросетей, о которых мы даже не подозреваем?
Статья
Авторы LLM-Microscope разработали инструменты для изучения внутренних процессов больших языковых моделей. Они выяснили, что такие "филлеры", как пунктуация, союзы и артикли, играют ключевую роль в сохранении контекста и понимании текста. Удаление этих, казалось бы, незначительных токенов резко ухудшает качество на сложных задачах вроде MMLU и BABILong-4k.
Оказывается, LLM используют запятые и предлоги как своего рода "якоря памяти". Это удивительное открытие может привести к новым подходам в интерпретируемости и обучении языковых моделей.
P.S. А какие ещё секреты скрываются в недрах нейросетей, о которых мы даже не подозреваем?
Статья
Зачем же нужны артикли и запятые в языковых моделях?
Вы когда-нибудь задумывались, почему LLM так зависимы от слов вроде "the", "an" или обычной запятой? В свежем исследовании "LLM-Microscope" авторы показали, что именно эти "незаметные" элементы играют ключевую роль в том, как модели обрабатывают и хранят контекст. Они выяснили, что удаление таких, казалось бы, незначительных токенов приводит к значительному ухудшению работы моделей на задачах, требующих глубокого понимания и долгосрочного контекста.
Более того, они обнаружили сильную корреляцию между линейностью представлений и способностью модели сохранять контекстную информацию. То есть те токены, которые мы привыкли считать "пустыми", на самом деле являются своеобразными "хранителями памяти" для LLM.
P.S. Кто бы мог подумать, что запятые и артикли могут настолько влиять на работу нейросетей? Может, пришло время пересмотреть наше отношение к "мелочам" в языковой обработке?
Статья
Вы когда-нибудь задумывались, почему LLM так зависимы от слов вроде "the", "an" или обычной запятой? В свежем исследовании "LLM-Microscope" авторы показали, что именно эти "незаметные" элементы играют ключевую роль в том, как модели обрабатывают и хранят контекст. Они выяснили, что удаление таких, казалось бы, незначительных токенов приводит к значительному ухудшению работы моделей на задачах, требующих глубокого понимания и долгосрочного контекста.
Более того, они обнаружили сильную корреляцию между линейностью представлений и способностью модели сохранять контекстную информацию. То есть те токены, которые мы привыкли считать "пустыми", на самом деле являются своеобразными "хранителями памяти" для LLM.
P.S. Кто бы мог подумать, что запятые и артикли могут настолько влиять на работу нейросетей? Может, пришло время пересмотреть наше отношение к "мелочам" в языковой обработке?
Статья
Может ли искусственный интеллект стать чемпионом Международной математической олимпиады?
Google DeepMind представила AlphaGeometry2 (AG2) — революционный прорыв в решении сложнейших геометрических задач. AG2 достигла впечатляющих 84% успеха на задачах IMO 2000–2024 годов, превзойдя средний результат золотых медалистов!
В чём секрет? AG2 расширила язык для описания геометрических понятий, усовершенствовала символический движок (переписав его на C++ и ускорив алгоритмы), внедрила мощную языковую модель Gemini и разработала инновационный алгоритм поиска Shared Knowledge Ensemble of Search Trees (SKEST). Это позволило эффективно сочетать работу языковой модели и символического движка, демонстрируя суперчеловеческое творчество в решении задач.
P.S. Возможно ли, что следующие великие открытия в математике будут сделаны искусственным интеллектом?
Статья
Google DeepMind представила AlphaGeometry2 (AG2) — революционный прорыв в решении сложнейших геометрических задач. AG2 достигла впечатляющих 84% успеха на задачах IMO 2000–2024 годов, превзойдя средний результат золотых медалистов!
В чём секрет? AG2 расширила язык для описания геометрических понятий, усовершенствовала символический движок (переписав его на C++ и ускорив алгоритмы), внедрила мощную языковую модель Gemini и разработала инновационный алгоритм поиска Shared Knowledge Ensemble of Search Trees (SKEST). Это позволило эффективно сочетать работу языковой модели и символического движка, демонстрируя суперчеловеческое творчество в решении задач.
P.S. Возможно ли, что следующие великие открытия в математике будут сделаны искусственным интеллектом?
Статья
Как обработать 3 миллиона токенов на одном GPU и не взорвать видеокарту?
Оказывается, это реально! В свежей статье про InfiniteHiP предлагают метод расширения контекста языковых моделей до 3 миллионов токенов на одном GPU.
Проблема длинных контекстов: внимание требует квадратичных ресурсов, что осложняет работу с длинными последовательностями. Но авторы придумали хитрый способ — модульное иерархическое прореживание внимания: отбрасывают неважные токены и фокусируются на важном, используя разреженность и локальность в матрицах внимания.
Кроме того, InfiniteHiP позволяет работать за пределами предобученной длины контекста без дополнительного обучения. То есть, можно взять любую модель и сразу применять их подход.
Теперь можно скормить модели огромный контекст и получить адекватный ответ, не сжигая всю видеопамять.
P.S. Может, скоро наши языковые модели смогут помнить всё, что мы когда-либо им скармливали?
Статья
Оказывается, это реально! В свежей статье про InfiniteHiP предлагают метод расширения контекста языковых моделей до 3 миллионов токенов на одном GPU.
Проблема длинных контекстов: внимание требует квадратичных ресурсов, что осложняет работу с длинными последовательностями. Но авторы придумали хитрый способ — модульное иерархическое прореживание внимания: отбрасывают неважные токены и фокусируются на важном, используя разреженность и локальность в матрицах внимания.
Кроме того, InfiniteHiP позволяет работать за пределами предобученной длины контекста без дополнительного обучения. То есть, можно взять любую модель и сразу применять их подход.
Теперь можно скормить модели огромный контекст и получить адекватный ответ, не сжигая всю видеопамять.
P.S. Может, скоро наши языковые модели смогут помнить всё, что мы когда-либо им скармливали?
Статья
LLMs – стохастические попугаи или будущие эйнштейны?
Говорят, большие языковые модели просто повторяют то, что видели в данных, не понимая сути. Исследователи решили это проверить экспериментально, создав задачу PHYSICO. Моделям предложили не просто вспомнить определения физических законов, а применить их к абстрактным задачам в непривычном формате.
И что же? GPT-4 и другие блестяще справляются с простыми заданиями: определения, формулы – как по нотам. Но когда дело дошло до применения знаний в новых ситуациях, особенно представленных в виде абстрактных сеток, модели растерялись. Никакие дообучения не помогли.
Это подтверждает, что LLM пока действительно больше похожи на "стохастических попугаев", чем на настоящих мыслителей. Кажется, они знают всё, но глубокого понимания им не хватает.
P.S. Как думаете, смогут ли будущие модели преодолеть этот барьер и научиться по-настоящему понимать мир, а не просто повторять выученное?
Статья
Говорят, большие языковые модели просто повторяют то, что видели в данных, не понимая сути. Исследователи решили это проверить экспериментально, создав задачу PHYSICO. Моделям предложили не просто вспомнить определения физических законов, а применить их к абстрактным задачам в непривычном формате.
И что же? GPT-4 и другие блестяще справляются с простыми заданиями: определения, формулы – как по нотам. Но когда дело дошло до применения знаний в новых ситуациях, особенно представленных в виде абстрактных сеток, модели растерялись. Никакие дообучения не помогли.
Это подтверждает, что LLM пока действительно больше похожи на "стохастических попугаев", чем на настоящих мыслителей. Кажется, они знают всё, но глубокого понимания им не хватает.
P.S. Как думаете, смогут ли будущие модели преодолеть этот барьер и научиться по-настоящему понимать мир, а не просто повторять выученное?
Статья
LLM с контекстом в 3 миллиона токенов на одном GPU? Это стало реальностью благодаря InfiniteHiP!
Исследователи представили новую архитектуру для больших языковых моделей, позволяющую расширить длину контекста до 3 миллионов токенов на одном GPU. InfiniteHiP использует модульный разреженный механизм внимания для эффективной обработки длинных последовательностей, а также оптимизацию KV-кэша для экономии памяти GPU.
В работе сочетаются лучшие практики существующих методов, таких как FlashAttention и HiP Attention, но с ключевыми улучшениями: более высокая точность, параллелизация и гибкость управления. При этом модель не теряет в качестве генерации текста на длинных контекстах.
P.S. Возможно, мы на пороге эпохи языковых моделей с практически бесконечным контекстом. Как это изменит наши взаимодействия с AI?
Статья
Исследователи представили новую архитектуру для больших языковых моделей, позволяющую расширить длину контекста до 3 миллионов токенов на одном GPU. InfiniteHiP использует модульный разреженный механизм внимания для эффективной обработки длинных последовательностей, а также оптимизацию KV-кэша для экономии памяти GPU.
В работе сочетаются лучшие практики существующих методов, таких как FlashAttention и HiP Attention, но с ключевыми улучшениями: более высокая точность, параллелизация и гибкость управления. При этом модель не теряет в качестве генерации текста на длинных контекстах.
P.S. Возможно, мы на пороге эпохи языковых моделей с практически бесконечным контекстом. Как это изменит наши взаимодействия с AI?
Статья
Случайные попугаи среди LLM: миф или реальность?
Помните, как многие говорили, что большие языковые модели (LLM) — это просто "случайные попугаи", которые повторяют заученные тексты без настоящего понимания? Так вот, в свежей статье авторы решили проверить это на практике.
Они разработали задачу PHYSICO, где моделям нужно было не только вспомнить определения физических понятий, но и применить их в абстрактных ситуациях, представленных в виде сеток (что-то вроде игр с клеточками). Результат? LLM блестяще справились с заданиями на запоминание, но при попытке проявить глубокое понимание сильно уступили людям.
Интересно, что даже дополнительные обучения и хитрые подсказки не помогли моделям существенно улучшить результат. Выходит, что нынешние LLM действительно больше "попугаи", чем "понимающие".
P.S. Ждём с нетерпением, когда же ИИ научится не только повторять, но и по-настоящему понимать. Или, может быть, нам стоит пересмотреть подходы к обучению моделей?
Статья
Помните, как многие говорили, что большие языковые модели (LLM) — это просто "случайные попугаи", которые повторяют заученные тексты без настоящего понимания? Так вот, в свежей статье авторы решили проверить это на практике.
Они разработали задачу PHYSICO, где моделям нужно было не только вспомнить определения физических понятий, но и применить их в абстрактных ситуациях, представленных в виде сеток (что-то вроде игр с клеточками). Результат? LLM блестяще справились с заданиями на запоминание, но при попытке проявить глубокое понимание сильно уступили людям.
Интересно, что даже дополнительные обучения и хитрые подсказки не помогли моделям существенно улучшить результат. Выходит, что нынешние LLM действительно больше "попугаи", чем "понимающие".
P.S. Ждём с нетерпением, когда же ИИ научится не только повторять, но и по-настоящему понимать. Или, может быть, нам стоит пересмотреть подходы к обучению моделей?
Статья
Как ускорить Stable Diffusion, убрав лишние слои из текстового энкодера?
Вы знали, что текстовый энкодер в диффузионных моделях (например, T5-XXL) занимает более 70% параметров, но даёт лишь 0,5% вычислений? Это значит, он съедает кучу памяти, но мало влияет на скорость. Авторы статьи "Skrr" решили это исправить, пропуская ("Skip") ненужные слои и переиспользуя ("Re-use") остальные. Они применили специальную метрику и beam search для оптимального выбора слоёв. В результате они существенно уменьшили размер энкодера, сохранив качество изображений и соответствие тексту!
Теперь модель занимает меньше памяти и может работать на устройствах с ограниченными ресурсами. Возможно, скоро мы сможем запускать сложную генерацию изображений прямо на смартфонах!
P.S. Как думаете, что ещё можно оптимизировать в диффузионных моделях?
Статья
Вы знали, что текстовый энкодер в диффузионных моделях (например, T5-XXL) занимает более 70% параметров, но даёт лишь 0,5% вычислений? Это значит, он съедает кучу памяти, но мало влияет на скорость. Авторы статьи "Skrr" решили это исправить, пропуская ("Skip") ненужные слои и переиспользуя ("Re-use") остальные. Они применили специальную метрику и beam search для оптимального выбора слоёв. В результате они существенно уменьшили размер энкодера, сохранив качество изображений и соответствие тексту!
Теперь модель занимает меньше памяти и может работать на устройствах с ограниченными ресурсами. Возможно, скоро мы сможем запускать сложную генерацию изображений прямо на смартфонах!
P.S. Как думаете, что ещё можно оптимизировать в диффузионных моделях?
Статья
Как найти нужную модель в миллионе нейросетей без описания?
На Hugging Face более миллиона моделей, и большинство из них плохо описаны. Как же найти модель, которая распознаёт нужный нам объект, например, "собаку"? Учёные предложили способ искать модели по их весам, без метаданных!
Идея проста: подаём на вход модели фиксированный набор изображений (проб) и смотрим, как она реагирует на каждый выход (логит). Так получаем "отпечаток" каждого логита модели. Этот отпечаток можно сравнить с другими или даже с текстовым описанием через CLIP!
Чтобы ускорить процесс, они придумали "коллаборативный пробинг", который сокращает количество проб, необходимых для описания моделей.
Теперь мы можем искать модели по функционалу, а не по метаданным.
P.S. Поможет ли такой способ поиска нам находить идеальные модели без долгих тренировок?
Статья
На Hugging Face более миллиона моделей, и большинство из них плохо описаны. Как же найти модель, которая распознаёт нужный нам объект, например, "собаку"? Учёные предложили способ искать модели по их весам, без метаданных!
Идея проста: подаём на вход модели фиксированный набор изображений (проб) и смотрим, как она реагирует на каждый выход (логит). Так получаем "отпечаток" каждого логита модели. Этот отпечаток можно сравнить с другими или даже с текстовым описанием через CLIP!
Чтобы ускорить процесс, они придумали "коллаборативный пробинг", который сокращает количество проб, необходимых для описания моделей.
Теперь мы можем искать модели по функционалу, а не по метаданным.
P.S. Поможет ли такой способ поиска нам находить идеальные модели без долгих тренировок?
Статья