Lost in the Middle: How Language Models Use Long Contexts
Примерно год назад вышла статья, где рассматривалась задача нахождения информации в промпте. Представьте, что вы хотите найти ответ на вопрос, зашли в гугл, набрали текст, нажали кнопку — и все результаты сконвертировали в текст и подали в LLM, после чего задали вопрос уже ей (чтобы самому не читать поисковую выдачу и сэкономить время). Кажется, задачка лёгкая, ведь вся информация уже есть в контексте, нужно лишь её найти. Но обнаружилась неприятная особенность: качество ОЧЕНЬ сильно скачет при изменении позиции правильного ответа.
Чтобы замерить эффект, авторы работы брали по 20 кусков страниц с Википедии, лишь один из которых содержал точный ответ на вопрос (а остальные были достаточно похожи, но не содержали ответ). Всего получалось ~4k токенов — порядка 8 страниц текста. А теперь давайте абзац с ответом будем перемещать — сначала поставим в начало, потом подвинем подальше, и перепробуем все позиции. Так вот если ответ был в первом абзаце, то доля правильных ответов была 76%, а если в середине, то падала ниже 55% — а ведь это уровень ответов модели на те же вопросы БЕЗ промпта (то есть «по памяти», Википедию-то она читала).
Отсюда и название статьи — «потерянные в серединке». Общую тенденцию вы можете видеть на картинке снизу — наивысшее качество в начале, хорошее в конце, а между ними пропасть.
Дополнительно в статье ещё подумали: «а что если просто информация путает модель?», и потому опробовали синтетическую задачу. Исследователи генерировали длинный JSON-словарь такого рода:
Тут в словаре есть значения слева от двоеточия, ключи, и значения справа, значения. Соответствие однозначное, и все строки были сгенерированы случайным образом. Вы просите модель выдать вам значение по ключу (то есть пишете
Даже в такой задаче при подаче более 8 тысяч токенов модель начинала зевать и ошибаться. Но почему мы об этом вообще беспокоимся? Всё дело в том, что в большом количестве задач модели хочется дать подсказку в виде полезного контекста, который зачастую либо содержит ответ, либо инструкции, либо наталкивает на правильные мысли. Если модель пропускает их — то это сказывается на её качестве во всех задачах, требующих работы с контекстом.
Примерно год назад вышла статья, где рассматривалась задача нахождения информации в промпте. Представьте, что вы хотите найти ответ на вопрос, зашли в гугл, набрали текст, нажали кнопку — и все результаты сконвертировали в текст и подали в LLM, после чего задали вопрос уже ей (чтобы самому не читать поисковую выдачу и сэкономить время). Кажется, задачка лёгкая, ведь вся информация уже есть в контексте, нужно лишь её найти. Но обнаружилась неприятная особенность: качество ОЧЕНЬ сильно скачет при изменении позиции правильного ответа.
Чтобы замерить эффект, авторы работы брали по 20 кусков страниц с Википедии, лишь один из которых содержал точный ответ на вопрос (а остальные были достаточно похожи, но не содержали ответ). Всего получалось ~4k токенов — порядка 8 страниц текста. А теперь давайте абзац с ответом будем перемещать — сначала поставим в начало, потом подвинем подальше, и перепробуем все позиции. Так вот если ответ был в первом абзаце, то доля правильных ответов была 76%, а если в середине, то падала ниже 55% — а ведь это уровень ответов модели на те же вопросы БЕЗ промпта (то есть «по памяти», Википедию-то она читала).
Отсюда и название статьи — «потерянные в серединке». Общую тенденцию вы можете видеть на картинке снизу — наивысшее качество в начале, хорошее в конце, а между ними пропасть.
Дополнительно в статье ещё подумали: «а что если просто информация путает модель?», и потому опробовали синтетическую задачу. Исследователи генерировали длинный JSON-словарь такого рода:
{"2a8d601d-1d69-4e64-9f90-8ad825a74195": "bb3ba2a5-7de8-434b-a86e-a88bb9fa7289",
"a54e2eed-e625-4570-9f74-3624e77d6684": "d1ff29be-4e2a-4208-a182-0cea716be3d4",
...
Тут в словаре есть значения слева от двоеточия, ключи, и значения справа, значения. Соответствие однозначное, и все строки были сгенерированы случайным образом. Вы просите модель выдать вам значение по ключу (то есть пишете
a54e2eed-e625-4570-9f74-3624e77d6684, а она в ответ d1ff29be-4e2a-4208-a182-0cea716be3d4). Даже в такой задаче при подаче более 8 тысяч токенов модель начинала зевать и ошибаться. Но почему мы об этом вообще беспокоимся? Всё дело в том, что в большом количестве задач модели хочется дать подсказку в виде полезного контекста, который зачастую либо содержит ответ, либо инструкции, либо наталкивает на правильные мысли. Если модель пропускает их — то это сказывается на её качестве во всех задачах, требующих работы с контекстом.
From Artificial Needles to Real Haystacks: Improving Retrieval Capabilities in LLMs by Finetuning on Synthetic Data
И вот спустя год вышло продолжение, где предлагается способ если не решить проблему полностью, то хоть точно улучшить качество. Авторы задаются вопросом: на какой задаче дообучать модели, чтобы добиться результата? Хочется универсальный метод, который 1) улучшает качество не только в этой, но и других схожих задачах 2) не ухудшает качество в других задачах 3) не приводит к галлюцинациям модели.
Все три пункта очень важны. Давно было показано, что галлюцинации лишь закрепляются, когда мы учим модель на том, что она не знает (вот частичка моей лекции с объяснением). То есть даже просто взять те же вопросы, по которым мы измеряем качество, и доучить на них — не факт, что это не приведёт к непредсказуемым ухудшениям.
Авторы находят ответ в... синтетических данных. Они генерируют множество разных промптов, схожих со словарём из предыдущего сообщения. Есть ключи, есть значения, и модель должна по первому предоставлять в ответ второе. Только выглядит чуть более читабельно:
И на запрос «дай-ка мне значения для ключа 526» модель должна выдать «словарь с номером 2, ответ 290». Таких примеров можно нагенерировать кучу, они гарантированно не ведут к галлюцинациям, и по замерам авторов лишь незначительно просаживают метрики на других общепринятых датасетах. Из интересного, пробуется несколько разных промптов, но они не так сильно отличаются. А вот важная техническая часть в том, что расчёт функции потерь во время тренировки происходит только на словах из ответа, а не промпта — мы ведь не хотим запоминать эти словари?
Метод опробовали и на GPT-3.5-Turbo, и на Mistral-7B, работает и там и там хорошо, и даже переносится на другие датасеты, требующие внимания к информации из промпта.
Результаты я скину в следующем сообщении, а тут будет вывод. Интересно, как синтетика позволяет помочь модели выработать некоторые навыки. Не думаю, что конкретно этот пример супер важен — у моделей класса Claude-2 и GPT-4 нахождение информации в промпте по этим бенчмаркам и без дообучения около-идеальное (а может это как раз потому, что компании и сами такое придумали и интегрировали). Но возникает вопрос — а для каких ещё классов задач и свойств моделей мы можем дать пинка во время дообучения?
И вот спустя год вышло продолжение, где предлагается способ если не решить проблему полностью, то хоть точно улучшить качество. Авторы задаются вопросом: на какой задаче дообучать модели, чтобы добиться результата? Хочется универсальный метод, который 1) улучшает качество не только в этой, но и других схожих задачах 2) не ухудшает качество в других задачах 3) не приводит к галлюцинациям модели.
Все три пункта очень важны. Давно было показано, что галлюцинации лишь закрепляются, когда мы учим модель на том, что она не знает (вот частичка моей лекции с объяснением). То есть даже просто взять те же вопросы, по которым мы измеряем качество, и доучить на них — не факт, что это не приведёт к непредсказуемым ухудшениям.
Авторы находят ответ в... синтетических данных. Они генерируют множество разных промптов, схожих со словарём из предыдущего сообщения. Есть ключи, есть значения, и модель должна по первому предоставлять в ответ второе. Только выглядит чуть более читабельно:
Dictionary [1] {122: 765, 4548: 1475, 4818: 4782}
Dictionary [2] {526: 290, 9205: 9318, 9278: 1565}
...
Dictionary [32] {2931: 8364, 196: 1464, 812: 5363}
И на запрос «дай-ка мне значения для ключа 526» модель должна выдать «словарь с номером 2, ответ 290». Таких примеров можно нагенерировать кучу, они гарантированно не ведут к галлюцинациям, и по замерам авторов лишь незначительно просаживают метрики на других общепринятых датасетах. Из интересного, пробуется несколько разных промптов, но они не так сильно отличаются. А вот важная техническая часть в том, что расчёт функции потерь во время тренировки происходит только на словах из ответа, а не промпта — мы ведь не хотим запоминать эти словари?
Метод опробовали и на GPT-3.5-Turbo, и на Mistral-7B, работает и там и там хорошо, и даже переносится на другие датасеты, требующие внимания к информации из промпта.
Результаты я скину в следующем сообщении, а тут будет вывод. Интересно, как синтетика позволяет помочь модели выработать некоторые навыки. Не думаю, что конкретно этот пример супер важен — у моделей класса Claude-2 и GPT-4 нахождение информации в промпте по этим бенчмаркам и без дообучения около-идеальное (а может это как раз потому, что компании и сами такое придумали и интегрировали). Но возникает вопрос — а для каких ещё классов задач и свойств моделей мы можем дать пинка во время дообучения?
Вот картинка с результатами. Тут синяя линия — это тот же самый каньон с углублением в середине, что мы видели выше.
Красная линия — это если доучить GPT-3.5-Turbo (OpenAI дают такую возможность) на примерах. качество выравнивается по всей длине, но до 100% ещё далеко.
Зеленая и оранжевая линии — это качество на той же задаче с абзацами из Википедии, но при дообучении на синтетике со словарями (2 разных линии = 2 промпта, с шаблоном желаемого ответа и без). Несмотря на то, что с конкретными знаниями это никак не связано, качество in context retrieval вырастает огого! И в серединке ничего не провисает.
Красная линия — это если доучить GPT-3.5-Turbo (OpenAI дают такую возможность) на примерах. качество выравнивается по всей длине, но до 100% ещё далеко.
Зеленая и оранжевая линии — это качество на той же задаче с абзацами из Википедии, но при дообучении на синтетике со словарями (2 разных линии = 2 промпта, с шаблоном желаемого ответа и без). Несмотря на то, что с конкретными знаниями это никак не связано, качество in context retrieval вырастает огого! И в серединке ничего не провисает.
Сиолошная
Вот картинка с результатами. Тут синяя линия — это тот же самый каньон с углублением в середине, что мы видели выше. Красная линия — это если доучить GPT-3.5-Turbo (OpenAI дают такую возможность) на примерах. качество выравнивается по всей длине, но до 100%…
А вот как этот метод работает для модели
Изначально тоже был провал, хоть документов тут сильно больше — 120 вместо 20 (и 24 тысячи токенов вместо 4), но после применения метода дообучения на синтетике крепкие 88%+ выдаёт.
Вообще конечно удивительно, как обучение на одной, с первого взгляда максимально бессмысленной и отстраненной задаче может улучшать качество там, где мы этого хотим. Что-то эти трансформеры всё таки понимают, не зря люди занимаются их интерпретируемостью! Помните я писал про Retrieval head? Думаю, такая тренировка именно эту «мышцу» модели прокачивает.
Mistral-7b-Instruct-v0.2. Изначально тоже был провал, хоть документов тут сильно больше — 120 вместо 20 (и 24 тысячи токенов вместо 4), но после применения метода дообучения на синтетике крепкие 88%+ выдаёт.
Вообще конечно удивительно, как обучение на одной, с первого взгляда максимально бессмысленной и отстраненной задаче может улучшать качество там, где мы этого хотим. Что-то эти трансформеры всё таки понимают, не зря люди занимаются их интерпретируемостью! Помните я писал про Retrieval head? Думаю, такая тренировка именно эту «мышцу» модели прокачивает.
Вот так выглядят коробки, в которых 2 недели назад компания Figure AI отправила своих гуманоидных роботов своему первому клиенту. Тогда сразу не раскрыли, кому именно повезло, но сегодня вышел апдейт — маленький флот из нескольких роботов высадился на заводе BMW в Спартанбурге (Южная Каролина, США).
Сейчас по договору идёт первая фаза, в которой стартап определит первоначальные варианты использования роботов в автомобильном производстве. Посмотрят, что к чему на заводе, приоритизируют проекты, начнут собирать данные и после этого потихоньку будут вытеснять кожаных — такой план.
Сейчас по договору идёт первая фаза, в которой стартап определит первоначальные варианты использования роботов в автомобильном производстве. Посмотрят, что к чему на заводе, приоритизируют проекты, начнут собирать данные и после этого потихоньку будут вытеснять кожаных — такой план.
А вот видео робота в действии — за полторы минуты он берёт 4 детали с одной стойки и перекладывает на другую с высокой точностью (так, чтобы штырьки вошли в отверстия). Утверждается, что точность манипулирования деталями составляет 1-3 см. Возможно, для каких-то задач этого хватит 🤷♂️ но точно ждём улучшений в будущем.
Самое главное, или почему это круто:
— Figure — партнёры OpenAI, и имеют доступ как к экспертизе, так и к передовым моделям. Анонс и демо были тут.
— Роботы управляются нейросетью end-2-end, на вход поступают пиксели с картинки камер, на выходе — действия всеми конечностями. Нет никаких промежуточных шагов, которые нужно было бы программировать вручную. По сути, из процесса масштабирования навыков убран человек, остались только данные (а раньше нужно было и то, и другое). Такой подход сейчас применяется у многих компаний-конкурентов.
— насколько я понял, передвижению нейронка обучалась в симуляции и не на конкретном заводе, а вот данные для выполнения задачи уже собирали на месте. Но это не является проблемой — ведь ту работу, которую хотят автоматизировать, каждый день выполняют люди, и собрать с них демонстрации это задача решаемая. Посмотрите, как выглядит аналогичная VR-арена у Tesla Optimus
— в видео показывается, как робот сам исправляет оплошность (деталь не так встала). В теории такое может выучиться и без демонстраций (по сравнению состояний «нужно» и «как есть»), но скорее всего люди делали нечто похожее
— прогресс тут не постепенный, а очень ступенчатый. До определённого уровня такие роботы абсолютно бесполезны (это мы наблюдали последние 10+ лет), а с какого-то уровня уже могут исполнять сразу много задач (потому что требуются во многом схожие навыки). Но конкретный прогноз дать сложно, будем следить за обстановкой. Моя ставка, что сначала задач будет 2-3, потом 5-10, потом 20, а потом уже и почти все работяги имеют железяку в смене, и не на одном заводе. Главное на регуляции и забастовки не нарваться 😶🌫
Самое главное, или почему это круто:
— Figure — партнёры OpenAI, и имеют доступ как к экспертизе, так и к передовым моделям. Анонс и демо были тут.
— Роботы управляются нейросетью end-2-end, на вход поступают пиксели с картинки камер, на выходе — действия всеми конечностями. Нет никаких промежуточных шагов, которые нужно было бы программировать вручную. По сути, из процесса масштабирования навыков убран человек, остались только данные (а раньше нужно было и то, и другое). Такой подход сейчас применяется у многих компаний-конкурентов.
— насколько я понял, передвижению нейронка обучалась в симуляции и не на конкретном заводе, а вот данные для выполнения задачи уже собирали на месте. Но это не является проблемой — ведь ту работу, которую хотят автоматизировать, каждый день выполняют люди, и собрать с них демонстрации это задача решаемая. Посмотрите, как выглядит аналогичная VR-арена у Tesla Optimus
— в видео показывается, как робот сам исправляет оплошность (деталь не так встала). В теории такое может выучиться и без демонстраций (по сравнению состояний «нужно» и «как есть»), но скорее всего люди делали нечто похожее
— прогресс тут не постепенный, а очень ступенчатый. До определённого уровня такие роботы абсолютно бесполезны (это мы наблюдали последние 10+ лет), а с какого-то уровня уже могут исполнять сразу много задач (потому что требуются во многом схожие навыки). Но конкретный прогноз дать сложно, будем следить за обстановкой. Моя ставка, что сначала задач будет 2-3, потом 5-10, потом 20, а потом уже и почти все работяги имеют железяку в смене, и не на одном заводе. Главное на регуляции и забастовки не нарваться 😶🌫
Please open Telegram to view this post
VIEW IN TELEGRAM
FxTwitter / FixupX
Figure (@Figure_robot)
Figure + BMW Group's Spartanburg Plant
→ Fully autonomous
→ AI-driven vision model
→ Neural Networks for all grasps
→ Fully autonomous
→ AI-driven vision model
→ Neural Networks for all grasps
Появилось немного свободного времени, думаю написать лонг (не такой, как про Sora, раза в два короче, на 15-17 минут чтения). Есть несколько идей, между которыми разрываюсь.
Пожалуйста, напишите в комментарии, о чём вам было бы интересно почитать и в чём подразобраться (только не в одно слово, а хотя бы полный тезис одним предложением). Лайкайте комментарии с темами, которые нравятся вам. Минимизируйте спам и шуточки.
Среди идей (в основном, непроработанных):
— основы механической интерпретируемости трансформеров, или что мы знаем о чёрных ящиках - нейросетях
— LLM для улучшения обучения LLM (на основе этой работы)
— «Нет, опенсурсные модели не догнали GPT-4» (про LLAMA-3 и оценку Эло-рейтинга, немного устаревший топик)
— «Образование в эпоху AI» (краткая версия, без опроса экспертов из индустрии и продуманных предсказаний о будущем)
— Почему ближайшее будущее AI индустрии во многом зависит от GPT-5?
Предлагайте ваши или выражайте заинтересованность в указанных опциях💬
Пожалуйста, напишите в комментарии, о чём вам было бы интересно почитать и в чём подразобраться (только не в одно слово, а хотя бы полный тезис одним предложением). Лайкайте комментарии с темами, которые нравятся вам. Минимизируйте спам и шуточки.
Среди идей (в основном, непроработанных):
— основы механической интерпретируемости трансформеров, или что мы знаем о чёрных ящиках - нейросетях
— LLM для улучшения обучения LLM (на основе этой работы)
— «Нет, опенсурсные модели не догнали GPT-4» (про LLAMA-3 и оценку Эло-рейтинга, немного устаревший топик)
— «Образование в эпоху AI» (краткая версия, без опроса экспертов из индустрии и продуманных предсказаний о будущем)
— Почему ближайшее будущее AI индустрии во многом зависит от GPT-5?
Предлагайте ваши или выражайте заинтересованность в указанных опциях
Please open Telegram to view this post
VIEW IN TELEGRAM
Сиолошная
Появилось немного свободного времени, думаю написать лонг (не такой, как про Sora, раза в два короче, на 15-17 минут чтения). Есть несколько идей, между которыми разрываюсь. Пожалуйста, напишите в комментарии, о чём вам было бы интересно почитать и в чём…
Судя по комментариям, почти все выбирают одну тему из трех. Давайте проголосуем.
Anonymous Poll
43%
Основы механической интерпретируемости трансформеров, или что мы знаем о чёрных ящиках - нейросетях
39%
Образование в эпоху AI(краткая версия, без опроса экспертов из индустрии и продуманных предсказаний)
44%
Почему ближайшее будущее AI индустрии во многом зависит от GPT-5?
По традиции, SpaceX выпустили ролик с итогами прошедшего тестового запуска Starship. Посмотреть его можно вот тут на ютубе.
Напомню, пуск оказался более чем успешным — главной целью для корабля было пережить вход в атмосферу, а он смог даже включить двигатели и осуществить посадочный манёвр с мягким приводнением. Всё это несмотря на то, что прогорел плавник для управления; однако он держался до конца🫡
В общем, финал полёта удивил не только зрителей, но и людей в командном центре — вот скриншоты из концовки видео🥵 люди сами не верят, что получилось 🙏
А ещё! Как обычно, анонсировали следующий полёт — и заявили о попытке посадки ускорителя на башню. Будем считать это официальным анонсом, а не просто словами Elon'а (он говорил, что скорее всего будут пробовать, но «посмотрим»). Очень-очень ждём!🚀
Напомню, пуск оказался более чем успешным — главной целью для корабля было пережить вход в атмосферу, а он смог даже включить двигатели и осуществить посадочный манёвр с мягким приводнением. Всё это несмотря на то, что прогорел плавник для управления; однако он держался до конца
В общем, финал полёта удивил не только зрителей, но и людей в командном центре — вот скриншоты из концовки видео
А ещё! Как обычно, анонсировали следующий полёт — и заявили о попытке посадки ускорителя на башню. Будем считать это официальным анонсом, а не просто словами Elon'а (он говорил, что скорее всего будут пробовать, но «посмотрим»). Очень-очень ждём!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Наткнулся на дискуссию Dwarkesh с пользователями ManifoldMarkets — сообщества, где люди делают предсказания и ставят деньги буквально на всё подряд: выборы, AI, политика, экономика.
Тема разговора — «Как выглядит март 2020-го для ИИ?». Почему именно март 20-го? Потому что это был момент, когда каждый СЕО компании, каждый руководитель страны, пресса, общество — все начали обращать внимание на COVID-19, все поняли, что это основная вещь, которая сейчас происходит. Это не означало, что нет других вещей, требующих внимания, но COVID у почти всех был первым пунктом повестки. Так вот если ИИ продолжит своё развитие, должны ли мы ожидать схожего момента?
Или может даже имеет смысл начать с января 2020-го. В Китае уже вспышка, доктора дают неутешительные прогнозы, как и эпидемиологи; эксперты ходят на ковёр к президенту и дают рекомендации по обезопашиванию населения. В это же время часть людей просто не верит и считает новости хайпом и преувеличением. Другая часть просто не обращает внимания и продолжает крутиться в колесе. А если вы не знали, то 2 из 3 отцов-основателя глубокого обучения говорят, что нужно опасаться ИИ и замедлить развитие, вводить регуляции. И в Белом доме, и в Сенате идут обсуждения.
С болезнями в серьёзных обсуждениях (на высших уровнях) чуть попроще. Есть показатель смертности, его оценка может варьироваться, но не на порядок. То ли дело оценка вероятности конца света у ИИ-специалистов, любое число от 0 до 100. Занятно, но в аудитории нашлась врач скорой помощи, работавшая в Нью-Йорке, и она говорит, что «Даже когда почти у каждого был знакомый или знакомый знакомого, который умер, люди всё равно продолжали не верить в серьёзность, выходили на улицы, собирались тусить, не соблюдали меры предосторожности. Я думаю, что это просто человеческая природа, не верить, что вещи настолько плохи. Я думала очень много, и пришла к выводу, что даже более высокая смертность не изменила бы что либо». Так что может даже если топовые исследователи сойдутся во мнении, что опасность есть и она вот такая – маловероятно, что какие-то меры регуляций будут поддержаны обществом (да уже слышно «это же монополия, как у алкоголя! всех хотят выжить с рынка»).
<дальше в видео шли обсуждения разных аналогий с созданием атомной бомбы, мировым правительством, принципами функционирования рынка и государств, но это менее интересные тезисы>
Что думаете вы, какое событие может на это повлиять? Найм двузначного процента AI-сотрудников Fortune-500 компанией?
Тема разговора — «Как выглядит март 2020-го для ИИ?». Почему именно март 20-го? Потому что это был момент, когда каждый СЕО компании, каждый руководитель страны, пресса, общество — все начали обращать внимание на COVID-19, все поняли, что это основная вещь, которая сейчас происходит. Это не означало, что нет других вещей, требующих внимания, но COVID у почти всех был первым пунктом повестки. Так вот если ИИ продолжит своё развитие, должны ли мы ожидать схожего момента?
Или может даже имеет смысл начать с января 2020-го. В Китае уже вспышка, доктора дают неутешительные прогнозы, как и эпидемиологи; эксперты ходят на ковёр к президенту и дают рекомендации по обезопашиванию населения. В это же время часть людей просто не верит и считает новости хайпом и преувеличением. Другая часть просто не обращает внимания и продолжает крутиться в колесе. А если вы не знали, то 2 из 3 отцов-основателя глубокого обучения говорят, что нужно опасаться ИИ и замедлить развитие, вводить регуляции. И в Белом доме, и в Сенате идут обсуждения.
С болезнями в серьёзных обсуждениях (на высших уровнях) чуть попроще. Есть показатель смертности, его оценка может варьироваться, но не на порядок. То ли дело оценка вероятности конца света у ИИ-специалистов, любое число от 0 до 100. Занятно, но в аудитории нашлась врач скорой помощи, работавшая в Нью-Йорке, и она говорит, что «Даже когда почти у каждого был знакомый или знакомый знакомого, который умер, люди всё равно продолжали не верить в серьёзность, выходили на улицы, собирались тусить, не соблюдали меры предосторожности. Я думаю, что это просто человеческая природа, не верить, что вещи настолько плохи. Я думала очень много, и пришла к выводу, что даже более высокая смертность не изменила бы что либо». Так что может даже если топовые исследователи сойдутся во мнении, что опасность есть и она вот такая – маловероятно, что какие-то меры регуляций будут поддержаны обществом (да уже слышно «это же монополия, как у алкоголя! всех хотят выжить с рынка»).
<дальше в видео шли обсуждения разных аналогий с созданием атомной бомбы, мировым правительством, принципами функционирования рынка и государств, но это менее интересные тезисы>
Что думаете вы, какое событие может на это повлиять? Найм двузначного процента AI-сотрудников Fortune-500 компанией?
В ноябре я писал про инициативу компании XTX Markets. Они выделили $10M чтобы подстегнуть прогресс AI в математике, и совместно с организаторами Международной Олимпиадой по Математике (International Mathematical Olympiad, IMO), спонсировали конкурс AIMOPrize. В его рамках на Kaggle, соревновательной площадке с задачами по машинному обучению, пару дней назад закончилось одноимённое соревнование.
Для него авторы приготовили 110 новых олимпиадных задач (то есть до этого если схожие и были, то лишь просто подобные). На 50 штуках решения оцениваются по ходу трёхмесячного соревнования, а на оставшихся 50 определяется победитель (перезапуском решений с новыми задачами, к которым ни у кого нет доступа). И ещё 10 задач были даны как примеры, с ними можете ознакомиться тут, чтобы прикинуть примерную сложность.
Решения принимаются в виде упакованного архива с кодом и моделями и запускаются в изолированном окружении, из которого даже логи нельзя читать (чтобы задачи не увидели). И конечно же никаких вызовов моделей OpenAI/Anthropic не был разрешено.
Результаты получились смешными. Команда, занявшая первое место, вырвалась вперёд, и её решение справилось с 29 задачами. Второе место осилило 22 задачи, 3-4 20 задач, и остальные меньше. Шутка в том, что ещё 3 месяца назад, почти в самом начале соревнования, опубликовали решение, которое (как оказалось после окончания) осилило 21 задачу. То есть почти все команды за 3 месяца, как бы сильно не пыхтели, не смогли улучшить решение так, чтобы оно обобщалось на новые, невиданные до этого проблемы.
Иначе говоря, если вы просто скопировали это решение и немного пошаманили с параметрами (основных два, напишу ниже), и это не испортило решение больше чем на 1 задачу — вы получаете золото. На 3 — серебро (то есть 18-19 задач).
А решение достаточно простое. Берётся китайская модель MMOS-DeepSeekMath-7B, натренированная на решение схожих задач через написание кода на Python. Для неё делается 2 промпта. Для каждой задачи генерируется до 19 решений. Иногда можно сгенерировать меньше — например, если первые сколько-то программ дают один и тот же ответ, то можно не продолжать, ведь вы уже уверены в результате. Так или иначе, после генерации ответы агрегируются методом голосования большинством: какой чаще был, тот и записываем.
Вот количество генераций — это один параметр. Люди пытались немного поменять логику отсечения (когда нужно браться за следующую задачу), или делать чуть больше/меньше генераций. Второй параметр — это температура генерации, которая отвечает за случайность. Так как генерируется больше десятка решений, то хочется, чтобы они немного да отличались. Поэтому мы позволяем иногда брать не самое вероятное следующее слово, а, скажем, второе или третье. Тут люди прям сильно крутили температуру, пытались понять, что лучше😁 накрутились, что пролетели мимо золотых медалей.
Третье место уже выложило своё решение, они там то сё пробовали, анализировали ошибки, но итог мы знаем (21 балл🤓 ). Буду очень ждать решение первого места, интересно, что сделали ребята. Они сказали, что дообучали свою LLM, но и китайской модели тоже не чужда математика и задачки.
===
Главная критика соревнования — ограничение на ресурсы. 50 задач должны решаться за 9 часов на двух видеокарточках T4...выпущенных в 2018м году. Памяти мало, большие модели не влазят, приходится жить с LLM на 7B. Генерация жутко медленная (~100 ток/с с батчом), про трансформеры и LLM тогда не знали, оптимизации нуль. Организаторов понять можно, им нужно прогонять сотни и тысячи решений, ресурсы не бесконечны, но это является большим ограничивающим фактором для участников. Скорее всего, можно было бы решить больше, 35-37 задач, если бы просто дали больше времени (24 часа вместо 9?) и карточка посовременнее. И это грустно😪 надеюсь, в следующем году авторы исправятся, накинут побольше GPU, и мы увидим прорывы. Ведь главный приз в почти миллион долларов остался неразыгранным: для него нужно решить 47 задач.
В начале соревнования я дал предсказание, что из-за ограниченных ресурсов скорее всего никто не сможет набрать больше 30🤓
Для него авторы приготовили 110 новых олимпиадных задач (то есть до этого если схожие и были, то лишь просто подобные). На 50 штуках решения оцениваются по ходу трёхмесячного соревнования, а на оставшихся 50 определяется победитель (перезапуском решений с новыми задачами, к которым ни у кого нет доступа). И ещё 10 задач были даны как примеры, с ними можете ознакомиться тут, чтобы прикинуть примерную сложность.
Решения принимаются в виде упакованного архива с кодом и моделями и запускаются в изолированном окружении, из которого даже логи нельзя читать (чтобы задачи не увидели). И конечно же никаких вызовов моделей OpenAI/Anthropic не был разрешено.
Результаты получились смешными. Команда, занявшая первое место, вырвалась вперёд, и её решение справилось с 29 задачами. Второе место осилило 22 задачи, 3-4 20 задач, и остальные меньше. Шутка в том, что ещё 3 месяца назад, почти в самом начале соревнования, опубликовали решение, которое (как оказалось после окончания) осилило 21 задачу. То есть почти все команды за 3 месяца, как бы сильно не пыхтели, не смогли улучшить решение так, чтобы оно обобщалось на новые, невиданные до этого проблемы.
Иначе говоря, если вы просто скопировали это решение и немного пошаманили с параметрами (основных два, напишу ниже), и это не испортило решение больше чем на 1 задачу — вы получаете золото. На 3 — серебро (то есть 18-19 задач).
А решение достаточно простое. Берётся китайская модель MMOS-DeepSeekMath-7B, натренированная на решение схожих задач через написание кода на Python. Для неё делается 2 промпта. Для каждой задачи генерируется до 19 решений. Иногда можно сгенерировать меньше — например, если первые сколько-то программ дают один и тот же ответ, то можно не продолжать, ведь вы уже уверены в результате. Так или иначе, после генерации ответы агрегируются методом голосования большинством: какой чаще был, тот и записываем.
Вот количество генераций — это один параметр. Люди пытались немного поменять логику отсечения (когда нужно браться за следующую задачу), или делать чуть больше/меньше генераций. Второй параметр — это температура генерации, которая отвечает за случайность. Так как генерируется больше десятка решений, то хочется, чтобы они немного да отличались. Поэтому мы позволяем иногда брать не самое вероятное следующее слово, а, скажем, второе или третье. Тут люди прям сильно крутили температуру, пытались понять, что лучше
Третье место уже выложило своё решение, они там то сё пробовали, анализировали ошибки, но итог мы знаем (21 балл
===
Главная критика соревнования — ограничение на ресурсы. 50 задач должны решаться за 9 часов на двух видеокарточках T4...выпущенных в 2018м году. Памяти мало, большие модели не влазят, приходится жить с LLM на 7B. Генерация жутко медленная (~100 ток/с с батчом), про трансформеры и LLM тогда не знали, оптимизации нуль. Организаторов понять можно, им нужно прогонять сотни и тысячи решений, ресурсы не бесконечны, но это является большим ограничивающим фактором для участников. Скорее всего, можно было бы решить больше, 35-37 задач, если бы просто дали больше времени (24 часа вместо 9?) и карточка посовременнее. И это грустно
В начале соревнования я дал предсказание, что из-за ограниченных ресурсов скорее всего никто не сможет набрать больше 30
Please open Telegram to view this post
VIEW IN TELEGRAM
В июне Google закрыл Google Podcasts, которым я пользовался долгое время. Идеально минимальный дизайн без ненужных фич, простое бесплатное скачивание + прослушивание в оффлайне хоть где, никакой регистрации (просто обычный аккаунт Google), и большинство авторов там постили.
Очень грустно😢 мне завтра лететь 7 часов, придётся как-то по другому слушать(
1. Spotify - вне своей страны нельзя больше 14 суток пользоваться
2. Apple Podcasts - у меня андроид🤷♂️
3. YouTube Music - не пробовал, но там нет двух из двух подкастов, которые я сейчас проверил
👍 офигенно. Берите на заметку, незанятая ниша. Ну или подскажите мне, пожалуйста, чем пользоваться.
Очередной убитый гуглом сервис😂
The podcast in the question: https://www.latent.space/p/yitay
Очень грустно
1. Spotify - вне своей страны нельзя больше 14 суток пользоваться
2. Apple Podcasts - у меня андроид
3. YouTube Music - не пробовал, но там нет двух из двух подкастов, которые я сейчас проверил
Очередной убитый гуглом сервис
The podcast in the question: https://www.latent.space/p/yitay
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Gamedev suffering (Andrei Apanasik (Balancy))
Индюк: отправил питч дек с AI-артом
Инвестор: сразу отклонил чисто из-за этого
И в таких тредах опять улюлюканье и полная поддержка этих чуваков, что очень грустно видеть. Особенно от Рами такое читать печально, учитывая его прошлый вклад в инди-индустрию.
Я не касаюсь вопроса легальности и авторских прав на арт. Первый пчел в треде даже этот момент не свалидировал, а просто реджектнул проект. Это реально просто слепая ненависть к технологии.
Чем AI-арт в этом контексте отличается от купленного/взятого бесплатно (не своего) арта в ассет сторе? Откуда уверенность, что все AI-шки на тыренном арте работают?
1. Есть базы с работами, на использование которых дали добро
2. Есть уже сети, обученные на своём арте
Кто что думает?
UPD: мой основной посыл в том, что сейчас слишком много ненависти чисто вокруг самой технологии. Оно, конечно, помогает в деле форсирования законотворцев, но я всё больше наблюдаю именно слепую ненависть, что может много вреда нанести.
#AI
Инвестор: сразу отклонил чисто из-за этого
И в таких тредах опять улюлюканье и полная поддержка этих чуваков, что очень грустно видеть. Особенно от Рами такое читать печально, учитывая его прошлый вклад в инди-индустрию.
Я не касаюсь вопроса легальности и авторских прав на арт. Первый пчел в треде даже этот момент не свалидировал, а просто реджектнул проект. Это реально просто слепая ненависть к технологии.
Чем AI-арт в этом контексте отличается от купленного/взятого бесплатно (не своего) арта в ассет сторе? Откуда уверенность, что все AI-шки на тыренном арте работают?
1. Есть базы с работами, на использование которых дали добро
2. Есть уже сети, обученные на своём арте
Кто что думает?
UPD: мой основной посыл в том, что сейчас слишком много ненависти чисто вокруг самой технологии. Оно, конечно, помогает в деле форсирования законотворцев, но я всё больше наблюдаю именно слепую ненависть, что может много вреда нанести.
#AI
Forwarded from Love. Death. Transformers.
Привет!
Мы влабараторию ебаного ресерча Vikhr models открываем летние стажировки
Что по задачам:
- Мержинг, стакинг, замеринг, эволюционка поверх LLM cтакинга
- собирать крутые инструкт сеты, у нас много gpt4 токенов, если хочется трогать руками RAG, агентность, function calling и прочие хайповые слова - велком!
- Учить Lora на разные задачи и трогать кучу очень интерсных задач (SPPO, DPO, KTO)
- Есть целых! 4v100 и к конце лета приедет а6000
- Собрать самые крутые и самые мемные бенчмарки😎
- развлекатся с vllm, быстрым инференсом и при желании строить опенсуср
- если вам хочется заводить свою шизо идею а на работе не дают - велком, мы сами такие
Оплата: в авторах на хабре, вероятно на arxiv, уникальный опыт(сорян денег реально нет, мы реально работаем на энтузиазме)
Скидывать cv, нюдсы, вопросы, ответы, предложения в: https://forms.gle/54BLnMMxZuNNboev6
Мы в
Что по задачам:
- Мержинг, стакинг, замеринг, эволюционка поверх LLM cтакинга
- собирать крутые инструкт сеты, у нас много gpt4 токенов, если хочется трогать руками RAG, агентность, function calling и прочие хайповые слова - велком!
- Учить Lora на разные задачи и трогать кучу очень интерсных задач (SPPO, DPO, KTO)
- Есть целых! 4v100 и к конце лета приедет а6000
- Собрать самые крутые и самые мемные бенчмарки
- развлекатся с vllm, быстрым инференсом и при желании строить опенсуср
- если вам хочется заводить свою шизо идею а на работе не дают - велком,
Оплата: в авторах на хабре, вероятно на arxiv, уникальный опыт(сорян денег реально нет, мы реально работаем на энтузиазме)
Скидывать cv, нюдсы, вопросы, ответы, предложения в: https://forms.gle/54BLnMMxZuNNboev6
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from БлоGнот
Ходят слухи, что концепция поменялась — Microsoft отказалась от места наблюдателя в борде OpenAI, Apple тоже не станет таким наблюдателем. Вместо этого OpenAI будет проводить регулярные встречи для инвесторов, на которых Apple, Microsoft и ряд других компаний-инвесторов будут получать всю информацию.
Так делается для того, чтобы снять возможную точку для претензий антимонопольных регуляторов — кое-кто даже уже начал расследование участия Microsoft в OpenAI с точки зрения соблюдения требований законодательства.
Стоит понимать, что это не просто формальные шаги — какими бы не были регулярными встречи инвесторов, они не заменят присутствия на реальных заседаниях совета директоров, где принимаются решения, пусть и без права голоса.
https://www.ft.com/content/ecfa69df-5d1c-4177-9b14-a3a73072db12
Так делается для того, чтобы снять возможную точку для претензий антимонопольных регуляторов — кое-кто даже уже начал расследование участия Microsoft в OpenAI с точки зрения соблюдения требований законодательства.
Стоит понимать, что это не просто формальные шаги — какими бы не были регулярными встречи инвесторов, они не заменят присутствия на реальных заседаниях совета директоров, где принимаются решения, пусть и без права голоса.
https://www.ft.com/content/ecfa69df-5d1c-4177-9b14-a3a73072db12
Послушал свежее интервью Microsoft CTO Kevin Scott, и почти всё обсуждение строилось вокруг AI и дальнейшего развития. Microsoft вообще чем-то другим занимается? 🤣
— вопреки мнению многих скептиков, пока не видно уменьшения эффективности масштабирования моделей. Делаешь больше, учишь дольше — получаешь модель лучше
— к сожалению, людям это сложнее прочувствовать, так как вместо наблюдения за кривой развития мы лишь получаем одну точку (фронтир модель) раз в сколько-то месяцев или лет, так как датацентры нужно построить, инженерные задачи для масштабирования — решить
— и несмотря на то, что размеры тренировочных кластеров и не думают уменьшаться, с ростом полезности моделей и проникновения их в экономику затраты на развёртывание и применение будут в разы больше оных на обучение. Тем более кластер для применения можно делать куда меньше, а инженерных задач хоть и больше (или скорее они разнообразнее, и позволяют креатив), но и скорость итераций выше — ведь обучение моделей занимает месяцы и стоит сотни миллионов долларов.
— Scott снова рассказывает (прошлый раз был весной), что следующая фронтир модель OpenAI докажет тезисы выше, мол, развитие не замедляется, масштабирование как работало последние 6 лет, так и продолжает, и стоит рассчитывать на существенные улучшения по всем направлениям. Конечно, легко списать все подобные заявления на хайп или попытку втюхать что-то, и именно поэтому следующее поколение моделей будет важным (хотя даже там найдутся дурачки, которые будут говорить «не ну это то понятно, но вот ДАЛЬШЕ-то уже не будет развития!»). Хорошо, что хотя бы слова и дела Microsoft не расходятся — ведь они инвестируют десятки и сотни миллиардов долларов в инфраструктуру в расчёте получить с этого прибыль
И как раз к вопросу про тренировочные кластера и вычислительные мощности:
1. Elon Musk говорит, что Grok 2 уже дотренировали и сейчас полируют, скоро должен выйти (мб в следующем месяце)
2. Grok 3 планируется на конец года, и по словам Elon будет тренироваться на кластере из 100'000 H100. Очень лихо Musk запрыгнул на поезд кластеров, карты-то в дефиците, а он смог раздобыть мощности. Для справки: GPT-4 в 2022м году тренировали на 25'000 карт прошлого поколения.
3. OpenAI и Microsoft не спят и тоже заключают партнёрство с Oracle, чтобы ко второй половине 25го года построить кластер на 100'000 GB200 — это уже карты следующего поколения, каждая состоит из двух чипов, а значит как минимум в два с копейками раз мощнее. Мысленно можете читать это как 200'000 карт🔼 . Интересно, на нём ли будут тренировать GPT-6?
— вопреки мнению многих скептиков, пока не видно уменьшения эффективности масштабирования моделей. Делаешь больше, учишь дольше — получаешь модель лучше
— к сожалению, людям это сложнее прочувствовать, так как вместо наблюдения за кривой развития мы лишь получаем одну точку (фронтир модель) раз в сколько-то месяцев или лет, так как датацентры нужно построить, инженерные задачи для масштабирования — решить
— и несмотря на то, что размеры тренировочных кластеров и не думают уменьшаться, с ростом полезности моделей и проникновения их в экономику затраты на развёртывание и применение будут в разы больше оных на обучение. Тем более кластер для применения можно делать куда меньше, а инженерных задач хоть и больше (или скорее они разнообразнее, и позволяют креатив), но и скорость итераций выше — ведь обучение моделей занимает месяцы и стоит сотни миллионов долларов.
— Scott снова рассказывает (прошлый раз был весной), что следующая фронтир модель OpenAI докажет тезисы выше, мол, развитие не замедляется, масштабирование как работало последние 6 лет, так и продолжает, и стоит рассчитывать на существенные улучшения по всем направлениям. Конечно, легко списать все подобные заявления на хайп или попытку втюхать что-то, и именно поэтому следующее поколение моделей будет важным (хотя даже там найдутся дурачки, которые будут говорить «не ну это то понятно, но вот ДАЛЬШЕ-то уже не будет развития!»). Хорошо, что хотя бы слова и дела Microsoft не расходятся — ведь они инвестируют десятки и сотни миллиардов долларов в инфраструктуру в расчёте получить с этого прибыль
И как раз к вопросу про тренировочные кластера и вычислительные мощности:
1. Elon Musk говорит, что Grok 2 уже дотренировали и сейчас полируют, скоро должен выйти (мб в следующем месяце)
2. Grok 3 планируется на конец года, и по словам Elon будет тренироваться на кластере из 100'000 H100. Очень лихо Musk запрыгнул на поезд кластеров, карты-то в дефиците, а он смог раздобыть мощности. Для справки: GPT-4 в 2022м году тренировали на 25'000 карт прошлого поколения.
3. OpenAI и Microsoft не спят и тоже заключают партнёрство с Oracle, чтобы ко второй половине 25го года построить кластер на 100'000 GB200 — это уже карты следующего поколения, каждая состоит из двух чипов, а значит как минимум в два с копейками раз мощнее. Мысленно можете читать это как 200'000 карт
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Время Валеры
В который раз поражаюсь. Запросил резюме на найм в Куала Лумпур, компания British Petroleum, упомянул релокацию. Разбираю резюме - четверть на русском языке. Занавес
This media is not supported in your browser
VIEW IN TELEGRAM
Что ж, когда-то это должно было произойти. После 335 успешных миссий подряд (!) у компании SpaceX произошла осечка.
Первая ступень успешно села на платформу посреди океана — это был её 19й полёт. Проблема возникла со второй ступенью — через 2 минуты после перезапуска двигателя наблюдалось образование большого количества инея (небольшое его количество - это нормально, он всегда намораживается из дренажа, но в этот раз его было необычно много). Потенциально, это могло указывать на утечку кислорода.
Полезной нагрузкой миссии были спутники самой SpaceX — Starlink. На данный момент все спутники (20 штук) находятся ниже расчётных орбит, и хоть и начали подъем, но скорее всего сгорят в атмосфере.
❌ счётчик успешных миссий сбросился до нуля, потребуется ~3 года, чтобы снова дойти до четвёртой сотни
✅ счётчик успешных посадок подряд обновился до 255. Это был 291й полёт на уже ранее летавших ускорителях.
Видео отсюда, за часть текста с деталями и счётчики спасибо @spacex_rus
P.S.: но не унываем! В начале августа нас ждёт куда более важный полёт с попыткой посадки самого тяжелого ускорителя из когда-либо созданных!
P.P.S.: это второй за неделю пример неудачной работы второй ступени — первый был во время первого полёта новой ракеты Европейского космического агентства Ariane 6. Походу, инопланетяне гасят..👽 не хотят, чтобы мы летали далеко.
Первая ступень успешно села на платформу посреди океана — это был её 19й полёт. Проблема возникла со второй ступенью — через 2 минуты после перезапуска двигателя наблюдалось образование большого количества инея (небольшое его количество - это нормально, он всегда намораживается из дренажа, но в этот раз его было необычно много). Потенциально, это могло указывать на утечку кислорода.
Полезной нагрузкой миссии были спутники самой SpaceX — Starlink. На данный момент все спутники (20 штук) находятся ниже расчётных орбит, и хоть и начали подъем, но скорее всего сгорят в атмосфере.
❌ счётчик успешных миссий сбросился до нуля, потребуется ~3 года, чтобы снова дойти до четвёртой сотни
✅ счётчик успешных посадок подряд обновился до 255. Это был 291й полёт на уже ранее летавших ускорителях.
Видео отсюда, за часть текста с деталями и счётчики спасибо @spacex_rus
P.S.: но не унываем! В начале августа нас ждёт куда более важный полёт с попыткой посадки самого тяжелого ускорителя из когда-либо созданных!
P.P.S.: это второй за неделю пример неудачной работы второй ступени — первый был во время первого полёта новой ракеты Европейского космического агентства Ariane 6. Походу, инопланетяне гасят..
Please open Telegram to view this post
VIEW IN TELEGRAM