Что делать, когда ИИ уже знает ответы на все наши вопросы?
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Что делать, когда ИИ уже знает ответы на все наши вопросы?
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Что делать, когда ИИ уже знает ответы на все наши вопросы?
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Что делать, когда ИИ уже знает ответы на все наши вопросы?
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Как следить за мыслительным процессом LLM, ничего не зная о её данных?
Наши коллеги из МФТИ предложили новый способ понять, как большие языковые модели обрабатывают информацию. Обычно модели — «чёрные ящики», и сложно разобраться, как они кодируют и трансформируют семантические признаки. Но исследователи использовали разреженные автоэнкодеры (SAE) и косинусное сходство между их декодерами, чтобы отследить, как признаки возникают, распространяются или исчезают на разных слоях модели.
Они создали «графы потоков», показывающие эволюцию признаков через слои модели, включая MLP, attention и residual. Это позволяет увидеть, как модель формирует свои «мысли» и как разные модули влияют на появление новых признаков или изменение существующих.
Это помогает точнее управлять поведением модели, «направляя» её, воздействуя на конкретные признаки на нескольких слоях одновременно.
P.S. Возможно, скоро мы сможем не только понимать, как думают модели, но и направлять их мысли в нужное русло?
Статья
Наши коллеги из МФТИ предложили новый способ понять, как большие языковые модели обрабатывают информацию. Обычно модели — «чёрные ящики», и сложно разобраться, как они кодируют и трансформируют семантические признаки. Но исследователи использовали разреженные автоэнкодеры (SAE) и косинусное сходство между их декодерами, чтобы отследить, как признаки возникают, распространяются или исчезают на разных слоях модели.
Они создали «графы потоков», показывающие эволюцию признаков через слои модели, включая MLP, attention и residual. Это позволяет увидеть, как модель формирует свои «мысли» и как разные модули влияют на появление новых признаков или изменение существующих.
Это помогает точнее управлять поведением модели, «направляя» её, воздействуя на конкретные признаки на нескольких слоях одновременно.
P.S. Возможно, скоро мы сможем не только понимать, как думают модели, но и направлять их мысли в нужное русло?
Статья
Как узнать, что происходит внутри огромных языковых моделей, и научиться ими управлять?
Исследователи нашли способ проследить, как "идеи" (фичи) путешествуют через слои LLM. Они используют Sparse Autoencoders (SAEs), чтобы вытащить интерпретируемые фичи из скрытых состояний модели. Потом, сравнивая веса декодеров на разных слоях с помощью косинусного сходства, они строят "графы потока" этих фичей. Это как если бы мы следили за мыслями модели, наблюдая, как информация рождается, меняется или исчезает в процессе обработки текста.
Этот подход помогает понять, какие части модели отвечают за то или иное поведение, и даже позволяет "рулить" генерацией, активируя или подавляя определённые фичи на разных слоях. Представьте, что вы можете не только общаться с моделью, но и слегка корректировать её мысли!
P.S. Может быть, скоро мы сможем заставить LLM генерировать именно то, что нам нужно, и никакого галлюцинирования?
Статья
Исследователи нашли способ проследить, как "идеи" (фичи) путешествуют через слои LLM. Они используют Sparse Autoencoders (SAEs), чтобы вытащить интерпретируемые фичи из скрытых состояний модели. Потом, сравнивая веса декодеров на разных слоях с помощью косинусного сходства, они строят "графы потока" этих фичей. Это как если бы мы следили за мыслями модели, наблюдая, как информация рождается, меняется или исчезает в процессе обработки текста.
Этот подход помогает понять, какие части модели отвечают за то или иное поведение, и даже позволяет "рулить" генерацией, активируя или подавляя определённые фичи на разных слоях. Представьте, что вы можете не только общаться с моделью, но и слегка корректировать её мысли!
P.S. Может быть, скоро мы сможем заставить LLM генерировать именно то, что нам нужно, и никакого галлюцинирования?
Статья
Математические олимпиады покорены AI? AlphaGeometry2 обошёл золотых медалистов IMO!
Google DeepMind представил AlphaGeometry2 — новую версию системы для решения труднейших геометрических задач Международной математической олимпиады. AG1 решал 54% задач, но AG2 поднял планку до 84%, превзойдя среднестатистического золотого медалиста!
Как это удалось? Расширили язык системы, усилили символьный движок, внедрили новый алгоритм поиска и натренировали мощную языковую модель на архитектуре Gemini. Теперь даже самые сложные головоломки поддаются решению.
Скоро ли AI полностью заменит нас в решении математических задач?
P.S. Что вы думаете о будущем, где искусственный интеллект решает задачи, непосильные человеку?
Статья
Google DeepMind представил AlphaGeometry2 — новую версию системы для решения труднейших геометрических задач Международной математической олимпиады. AG1 решал 54% задач, но AG2 поднял планку до 84%, превзойдя среднестатистического золотого медалиста!
Как это удалось? Расширили язык системы, усилили символьный движок, внедрили новый алгоритм поиска и натренировали мощную языковую модель на архитектуре Gemini. Теперь даже самые сложные головоломки поддаются решению.
Скоро ли AI полностью заменит нас в решении математических задач?
P.S. Что вы думаете о будущем, где искусственный интеллект решает задачи, непосильные человеку?
Статья
Как увидеть внутреннюю «кухню» больших языковых моделей с помощью потоков признаков?
Обычно LLM считаются "чёрным ящиком", и понять, как они хранят и преобразуют семантическую информацию, непросто. Но новые исследования предлагают использовать Sparse Autoencoders (SAE) для отслеживания эволюции признаков через различные слои модели. Вместо того чтобы анализировать только один слой или остаточный поток, они предлагают выстроить "графы потоков", которые показывают, как признаки зарождаются, распространяются или исчезают внутри модели.
Это позволяет обнаружить "жизненный цикл" признаков, понять их эволюцию и увидеть, как они могут формировать вычислительные схемы внутри модели. Такой подход не только углубляет наше понимание внутренней работы LLM, но и позволяет более точно управлять их поведением.
P.S. Возможно, благодаря таким методам мы сможем сделать LLM более прозрачными и подконтрольными? Как думаете, к чему это приведёт в будущем?
Статья
Обычно LLM считаются "чёрным ящиком", и понять, как они хранят и преобразуют семантическую информацию, непросто. Но новые исследования предлагают использовать Sparse Autoencoders (SAE) для отслеживания эволюции признаков через различные слои модели. Вместо того чтобы анализировать только один слой или остаточный поток, они предлагают выстроить "графы потоков", которые показывают, как признаки зарождаются, распространяются или исчезают внутри модели.
Это позволяет обнаружить "жизненный цикл" признаков, понять их эволюцию и увидеть, как они могут формировать вычислительные схемы внутри модели. Такой подход не только углубляет наше понимание внутренней работы LLM, но и позволяет более точно управлять их поведением.
P.S. Возможно, благодаря таким методам мы сможем сделать LLM более прозрачными и подконтрольными? Как думаете, к чему это приведёт в будущем?
Статья