Что делать, когда ИИ уже знает ответы на все наши вопросы?
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Что делать, когда ИИ уже знает ответы на все наши вопросы?
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Что делать, когда ИИ уже знает ответы на все наши вопросы?
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Что делать, когда ИИ уже знает ответы на все наши вопросы?
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Как следить за мыслительным процессом LLM, ничего не зная о её данных?
Наши коллеги из МФТИ предложили новый способ понять, как большие языковые модели обрабатывают информацию. Обычно модели — «чёрные ящики», и сложно разобраться, как они кодируют и трансформируют семантические признаки. Но исследователи использовали разреженные автоэнкодеры (SAE) и косинусное сходство между их декодерами, чтобы отследить, как признаки возникают, распространяются или исчезают на разных слоях модели.
Они создали «графы потоков», показывающие эволюцию признаков через слои модели, включая MLP, attention и residual. Это позволяет увидеть, как модель формирует свои «мысли» и как разные модули влияют на появление новых признаков или изменение существующих.
Это помогает точнее управлять поведением модели, «направляя» её, воздействуя на конкретные признаки на нескольких слоях одновременно.
P.S. Возможно, скоро мы сможем не только понимать, как думают модели, но и направлять их мысли в нужное русло?
Статья
Наши коллеги из МФТИ предложили новый способ понять, как большие языковые модели обрабатывают информацию. Обычно модели — «чёрные ящики», и сложно разобраться, как они кодируют и трансформируют семантические признаки. Но исследователи использовали разреженные автоэнкодеры (SAE) и косинусное сходство между их декодерами, чтобы отследить, как признаки возникают, распространяются или исчезают на разных слоях модели.
Они создали «графы потоков», показывающие эволюцию признаков через слои модели, включая MLP, attention и residual. Это позволяет увидеть, как модель формирует свои «мысли» и как разные модули влияют на появление новых признаков или изменение существующих.
Это помогает точнее управлять поведением модели, «направляя» её, воздействуя на конкретные признаки на нескольких слоях одновременно.
P.S. Возможно, скоро мы сможем не только понимать, как думают модели, но и направлять их мысли в нужное русло?
Статья
Как узнать, что происходит внутри огромных языковых моделей, и научиться ими управлять?
Исследователи нашли способ проследить, как "идеи" (фичи) путешествуют через слои LLM. Они используют Sparse Autoencoders (SAEs), чтобы вытащить интерпретируемые фичи из скрытых состояний модели. Потом, сравнивая веса декодеров на разных слоях с помощью косинусного сходства, они строят "графы потока" этих фичей. Это как если бы мы следили за мыслями модели, наблюдая, как информация рождается, меняется или исчезает в процессе обработки текста.
Этот подход помогает понять, какие части модели отвечают за то или иное поведение, и даже позволяет "рулить" генерацией, активируя или подавляя определённые фичи на разных слоях. Представьте, что вы можете не только общаться с моделью, но и слегка корректировать её мысли!
P.S. Может быть, скоро мы сможем заставить LLM генерировать именно то, что нам нужно, и никакого галлюцинирования?
Статья
Исследователи нашли способ проследить, как "идеи" (фичи) путешествуют через слои LLM. Они используют Sparse Autoencoders (SAEs), чтобы вытащить интерпретируемые фичи из скрытых состояний модели. Потом, сравнивая веса декодеров на разных слоях с помощью косинусного сходства, они строят "графы потока" этих фичей. Это как если бы мы следили за мыслями модели, наблюдая, как информация рождается, меняется или исчезает в процессе обработки текста.
Этот подход помогает понять, какие части модели отвечают за то или иное поведение, и даже позволяет "рулить" генерацией, активируя или подавляя определённые фичи на разных слоях. Представьте, что вы можете не только общаться с моделью, но и слегка корректировать её мысли!
P.S. Может быть, скоро мы сможем заставить LLM генерировать именно то, что нам нужно, и никакого галлюцинирования?
Статья
Математические олимпиады покорены AI? AlphaGeometry2 обошёл золотых медалистов IMO!
Google DeepMind представил AlphaGeometry2 — новую версию системы для решения труднейших геометрических задач Международной математической олимпиады. AG1 решал 54% задач, но AG2 поднял планку до 84%, превзойдя среднестатистического золотого медалиста!
Как это удалось? Расширили язык системы, усилили символьный движок, внедрили новый алгоритм поиска и натренировали мощную языковую модель на архитектуре Gemini. Теперь даже самые сложные головоломки поддаются решению.
Скоро ли AI полностью заменит нас в решении математических задач?
P.S. Что вы думаете о будущем, где искусственный интеллект решает задачи, непосильные человеку?
Статья
Google DeepMind представил AlphaGeometry2 — новую версию системы для решения труднейших геометрических задач Международной математической олимпиады. AG1 решал 54% задач, но AG2 поднял планку до 84%, превзойдя среднестатистического золотого медалиста!
Как это удалось? Расширили язык системы, усилили символьный движок, внедрили новый алгоритм поиска и натренировали мощную языковую модель на архитектуре Gemini. Теперь даже самые сложные головоломки поддаются решению.
Скоро ли AI полностью заменит нас в решении математических задач?
P.S. Что вы думаете о будущем, где искусственный интеллект решает задачи, непосильные человеку?
Статья
Как увидеть внутреннюю «кухню» больших языковых моделей с помощью потоков признаков?
Обычно LLM считаются "чёрным ящиком", и понять, как они хранят и преобразуют семантическую информацию, непросто. Но новые исследования предлагают использовать Sparse Autoencoders (SAE) для отслеживания эволюции признаков через различные слои модели. Вместо того чтобы анализировать только один слой или остаточный поток, они предлагают выстроить "графы потоков", которые показывают, как признаки зарождаются, распространяются или исчезают внутри модели.
Это позволяет обнаружить "жизненный цикл" признаков, понять их эволюцию и увидеть, как они могут формировать вычислительные схемы внутри модели. Такой подход не только углубляет наше понимание внутренней работы LLM, но и позволяет более точно управлять их поведением.
P.S. Возможно, благодаря таким методам мы сможем сделать LLM более прозрачными и подконтрольными? Как думаете, к чему это приведёт в будущем?
Статья
Обычно LLM считаются "чёрным ящиком", и понять, как они хранят и преобразуют семантическую информацию, непросто. Но новые исследования предлагают использовать Sparse Autoencoders (SAE) для отслеживания эволюции признаков через различные слои модели. Вместо того чтобы анализировать только один слой или остаточный поток, они предлагают выстроить "графы потоков", которые показывают, как признаки зарождаются, распространяются или исчезают внутри модели.
Это позволяет обнаружить "жизненный цикл" признаков, понять их эволюцию и увидеть, как они могут формировать вычислительные схемы внутри модели. Такой подход не только углубляет наше понимание внутренней работы LLM, но и позволяет более точно управлять их поведением.
P.S. Возможно, благодаря таким методам мы сможем сделать LLM более прозрачными и подконтрольными? Как думаете, к чему это приведёт в будущем?
Статья
ИИ выходит на уровень золотых медалистов по геометрии! (by Google DeepMind)
AlphaGeometry2 от DeepMind смог решить 84% геометрических задач с Международной математической олимпиады 2000-2024 годов! Для сравнения, предыдущая версия AG1 справлялась с 54%.
Как они этого добились? Расширили язык описания, улучшили символьный движок, разработали новый алгоритм поиска и обучили языковую модель Gemini на огромном датасете. Короче, заморочились по полной.
Модель не только решает задачи, но и иногда проявляет суперчеловеческое творчество в решениях! Это серьезный шаг к ИИ, способному рассуждать и решать математику как человек.
Что дальше? Роботы будут выигрывать олимпиады вместо школьников? Как думаете?
P.S. Пора ли нам начинать переживать за свои профессии?
Статья
AlphaGeometry2 от DeepMind смог решить 84% геометрических задач с Международной математической олимпиады 2000-2024 годов! Для сравнения, предыдущая версия AG1 справлялась с 54%.
Как они этого добились? Расширили язык описания, улучшили символьный движок, разработали новый алгоритм поиска и обучили языковую модель Gemini на огромном датасете. Короче, заморочились по полной.
Модель не только решает задачи, но и иногда проявляет суперчеловеческое творчество в решениях! Это серьезный шаг к ИИ, способному рассуждать и решать математику как человек.
Что дальше? Роботы будут выигрывать олимпиады вместо школьников? Как думаете?
P.S. Пора ли нам начинать переживать за свои профессии?
Статья
Кто бы мог подумать, что запятые и предлоги — настоящие хранители памяти в LLM!
Авторы LLM-Microscope разработали инструменты для изучения внутренних процессов больших языковых моделей. Они выяснили, что такие "филлеры", как пунктуация, союзы и артикли, играют ключевую роль в сохранении контекста и понимании текста. Удаление этих, казалось бы, незначительных токенов резко ухудшает качество на сложных задачах вроде MMLU и BABILong-4k.
Оказывается, LLM используют запятые и предлоги как своего рода "якоря памяти". Это удивительное открытие может привести к новым подходам в интерпретируемости и обучении языковых моделей.
P.S. А какие ещё секреты скрываются в недрах нейросетей, о которых мы даже не подозреваем?
Статья
Авторы LLM-Microscope разработали инструменты для изучения внутренних процессов больших языковых моделей. Они выяснили, что такие "филлеры", как пунктуация, союзы и артикли, играют ключевую роль в сохранении контекста и понимании текста. Удаление этих, казалось бы, незначительных токенов резко ухудшает качество на сложных задачах вроде MMLU и BABILong-4k.
Оказывается, LLM используют запятые и предлоги как своего рода "якоря памяти". Это удивительное открытие может привести к новым подходам в интерпретируемости и обучении языковых моделей.
P.S. А какие ещё секреты скрываются в недрах нейросетей, о которых мы даже не подозреваем?
Статья