Немного отвлечёмся от негатива. Google выпустили технический отчёт по Gemini 1.5 Pro, но это именно отчёт (как у OpenAI), без тех. деталей обучения. Однако и в нём много чего интересного. Я не читал его весь, полистал отрывками, и вот на что обратил внимание:

— текущая 1.5 и февральская — внезапно, разные модели. Свежая, конечно, круче-выше-сильнее, и по бенчмаркам обгоняет более крупную и дорогую Ultra 1.0 (представленную в декабре). Интересно, когда объем изменений 1.5 накопится, чтобы перенести их и на Ultra

— дообучили модель специально под математику и назвали Math-Specialized 1.5 Pro. По метрикам на датасетах выглядит как лучшая модель, при этом, что интересно, достигается это без написания кода, вызова внешних инструментов (вроде калькулятора), использования гугла - просто генерацией LLMки. Если это правда, и нет утечки данных в тренировочную выборку, то это мега-круто. Так, например, на датасете MATH  Claude 3 Opus решает 60.1% задач (насколько я понимаю, тоже без кода и инструментов), GPT-4 Turbo 73.4, 1.5 Pro даёт 67.7%. НО! Если генерировать 256 решений на каждую задачу и потом выбирать наиболее вероятный (по мнению модели) корректный ответ, то метрика растёт аж до 91.1%. Много это или мало? В оригинальной статье приводятся такие цифры: кандидат компьютерных наук (не математик) решает 40%, а трёхкратный обладатель золотой медали международной олимпиады по математике решает 90%. В момент выхода этого бенчмарка в 2021-м лучшая модель решала ~6% задач — вот такой прогресс.

— на других математических бенчмарках (в том числе с олимпиадными заданиями) качество значимо выше GPT-4 Turbo. Так, модель решает 7 (и 8 с 256 генерациями) из 30 задач на American Invitational Mathematics Examination (AIME) 2024 (прошла в феврале, скорее всего эти данные точно не встречались во время тренировки). Opus и Turbo справились с 2 и 1.

— делают разные тесты, чтобы проверить, насколько модель убедительна в диалоге с людьми: как часто они будут кликать по ссылкам, которые модель вкидывает во время диалога, будут ли запускать код, и готовы ли они пожертвовать модели часть денег, которые им выплатят за участие в диалоге? Пока ничего страшного не происходит — Pro тут хуже Ultra, интересно, как так.

PDF: тут

Пример задачи (взята с Asian Pacific Mathematical Olympiad) и решения. До этого все протестированные модели отвечали неправильно, а решение, выданное Gemini Math-Specialized 1.5 Pro, отличается от авторского (но является корректным). То есть скорее всего модель не запомнила его, потому что видела ранее, а именно решила по-честному.


Очень интересно увидеть объединение этой LLMки с методами поиска решения вроде FunSearch (про который у меня есть целый лонг — там описывается, как LLM «впервые сделала научное открытие», рекомендую к прочтению)

Проснулись-потянулись, а тут новый скандал с OpenAI. Scarlett Johansson вышла на связь и рассказала, что с ней лично связывался Sam Altman для того, чтобы заполучить голос для AI-ассистента. Полный текст обращения можно прочитать в твиттере тут, оригинальная новость на английском здесь.

Но не спешите с выводами про то, какой Sama злой, а OpenAI плохие. Scarlett пишет, что первый раз с ней связались в сентябре 2023-го. Как я писал вчера, со слов OpenAI к этому моменту уже все голоса были записаны, модели скорее всего были обучены и проходили финальные полировочные работы. В озвученный ими таймлайн легко поверить — за месяц с нуля такое не сделать, а про публичный релиз мы все знаем, он 100% был в сентябре.

Мисс Johansson «после долгих раздумий и по личным причинам отклонила это предложение». В этот момент голос Sky уже был доступен публике, но Scarlett видимо про него не знала, так как пишет дальше: «за два дня до анонса GPT-4o [а это уже вот недавняя презентация, которая была на прошлой неделе] Sam снова связался с моим агентом, но презентация прошла ещё до того, как мы смогли пообщаться». Когда она увидела в сети демонстрацию, то была в шоке, ведь согласия не давала.

И вот вчерашний пост OpenAI — это по сути ответ на юридический запрос представителей Scarlett о том, как же были выбраны голоса, и почему так вышло. Напомню, OpenAI говорят, что отбирали актёров и актрис с привлечением продюсеров и директоров, и что все голоса принадлежат реальным людям, с которыми они плотно работали.

Вижу 3 возможных объяснения:
1) существует другая актриса, которая подарила свой голос Sky, OpenAI не врут, они честно отобрали её в ходе кастинга и работали с ней. Скорее всего, сотрудники OpenAI не вникали в выбор кандидатов до финального списка из 14 штук, то есть не могли из 400+ отобрать конкретно голос, который похож на Scarlett (это сделали продюсеры без явных наставлений). Ближе к релизу пришла идея присвоить один голос другой актрисе, и с ней связались для официального соглашения.
2) то же, что в 1, но голос отбирали намеренно с прицелом на то, что позже удастся заключить сделку с Johansson и объявить, что вот она, официальная представительница. Против этого сценария играет то, что с актрисой связались достаточно поздно, почему этого не сделать раньше?
3) то же, что в 2, но помимо реальной актрисы, озвучившей Sky, сотрудники OpenAI намеренно собирали со всех видео и фильмов голос Scarlett Johansson, дообучали модель, чтобы сходство было больше, и делали прям всё-всё, чтобы было максимально созвучно.

Ну и можно ещё попридумывать разные комбинации в зависимости от конкретной точки, когда принимались те или иные решения.

Я верю в сценарий 1 — хорошие продюсеры услышали хороший приятный голос, отобрали кандидатку, передали в OpenAI, те собрали данные, обучили модель, и решили наклеить приятный лейбл сверху. Не получилось — пофиг, запустили голос, потому что у них есть реальная актриса, которой этот голос и принадлежит, есть все свидетельства того, что они делали каждый шаг легально.

Напомню позицию OpenAI из вчерашнего поста: «Мы считаем, что голоса ИИ не должны намеренно имитировать голоса знаменитостей — голос Sky не является имитацией Scarlett Johansson, а принадлежит другой профессиональной актрисе, использующей свой собственный естественный голос».

Почти уверен, что если их вызовут в суд, то проиграть будет сложно (однако использовать голос могут запретить, лол). Ну и заметка на будущее в контексте регуляций AI: получается, что ваш голос принадлежит не вам, а самому богатому человеку с достаточно похожим на ваш голосом ¯\_(ツ)_/¯

Чем мне нравятся Anthropic, так это количеством работ по интерпретируемости моделей. В этом смысле мне жаль, что от OpenAI вышла одна работа год назад, и больше ничего. Не знаю, не хотят ли они делиться или просто закрыли команду.

Новая ОГРОМНАЯ работа от Anthropic посвящена применению методов интерпретируемости на масштабе модели уровня Claude 3 Sonnet (средняя в семействе). До этого почти все работы были на игрушечных моделях, которые даже 2-3 года назад считались бы маленькими.

Чудовищный по размеру блог с интерактивными визуализациями: тык
TLDR от самих Anthropic: тут

TLTLDR тизер от меня (полный разбор либо завтра, либо никогда):
— находят нейроны, которые отвечают за «секретность» модели. Они срабатывают для описаний людей или персонажей, хранящих тайну. Если искусственно зафиксировать высокое значение этих нейронов, то это приводит к тому, что Claude 3 скрывает информацию от пользователя, хотя без вмешательства такого не происходит.
— схожие группы нейронов находятся и для уязвимостей в коде (можно выкрутить ручку так, чтобы ваша генерация была нашпигована небезопасным кодом), стремления к получению ресурсов и намеренному обману, итд.

Как написал @datastorieslanguages (у которого я и увидел анонс статьи):
«Польза [таких методов] в том, что можно подавлять подобные "плохие" темы и улучшать безопасность модели - делать модель менее социопатичной, "отключать" ответы на определенные темы и так далее.
Правда, боюсь, что с тем же успехом можно делать и обратное - двигать какую-нибудь повестку, рекламировать товары или просто отстаивать какую-то точку зрения»

Jimmy Apples, надёжный источник касательно слухов про OpenAI, написал про другую компанию. Не знаю, насколько надёжный инсай(т)д, но ситуация крайне занимательная.

«МЕТА планирует не предоставлять доступ к весам LLAMA 3 400B [прим.: крупнейшая версия модели, которая ещё не была опубликована. В 5.5 раз больше 70B версии, доступной нам].

Они надеятся на то, что мы не заметим/пропустим это.

Не позволяйте этому ускользнуть от вас»

Это вызвало очень говорящую реакцию в сообществе (читать тут). Люди понимают, что без этого релиза им до GPT-4-Turbo/Opus/и тем более следующих поколений моделей — как до Луны. Весь опенсурс ближайшего будущего (и большое количество экспериментов независимых лабораторий) буквально крутятся вокруг того, будет ли META дальше выкладывать модели, обучение которых стоит десятки-сотни миллионов долларов [есть другие лаборатории и компании, которые выкладывают, но у этих пока самые масштабные релизы].

Не поймите неправильно, людям будет чем заняться, но они по сути навсегда застрянут на одном и том же уровне навыков моделей. Будет борьба за то, кто улучшит модель на 3-5% (в отдельных задачах на 20%!) и ускорит на 15%. Люди будут пытаться впихнуть существующие модели тут и там, как-то оптимизировать, то сё. Но этот момент как бы застынет в истории, пока ведущие игроки будут скакать вперёд. Разрыв будет стремительно нарастать.

Zuck на подкасте ведь говорил прямо: мы будем публиковать модели пока 1) это помогает нам 2) их навыки ниже определённых порогов. А я писал, что с развитием моделей уже в ближайшем будущем помощь сообщества будет минимальна, и ценности для компании публикация очень-очень дорогих моделей не несёт. Запуск топ-тир моделей очень дорог, расходы на команду и поддержку тоже не маленькие, а их обучение и улучшение так вообще — потому такие 400B модели это игрушки для очень малого количества юзеров. Без 8 видеокарточек (или 12? 16? сколько надо) по $20k каждая даже не запустить.

А может быть это неправда, и модель выпустят. А может не выпустят следующую. А может что-то ещё. Поживём — увидим, но в концепцию опенсурса как помощника развития технической стороны AGI я не верю. Вся история показывает, что улучшение происходит с масштабированием, и даже если модели 2024-го уже имеют неадекватные размеры и ценник, то что и куда дальше?

Цель META может быть какой угодно, но корпорация точно не будет опенсурсить модели и системы вплоть до AGI, хоть их VP и говорит иначе.

Наверняка вам попадались выдержки из недавнего интервью Джона Шульмана (кофаундера OpenAI) на Dwarkesh Podcast. Вернее даже одна конкретная выдержка, где Джон говорит, что его работу искусственный интеллект заменит через 5 лет

Я решила целиком посмотреть интервью, так как Джон достаточно интересный чел: он первый автор в статье про PPO, лидит команду, которая файнтюнит модели в OAI, а после недавних событий еще и видимо alignment на нем. Так что вот список каких-то интересных его тейков:
- Его главный фокус сейчас на том, чтобы научить модели выполнять длинные и сложные задачи, а не решать мелкие таски за один шаг. Например, хочется чтобы модель не просто подсказала тебе код для конкретной функции, а могла по промпту сделать целый репозиторий. С тем, чтобы обучать модели на таких “длинных” задачах много проблем, но одновременно с этим Джон считает это low-hanging fruit. Решать это он предлагает с помощью RL, видимо как-то адаптировав и улучшив текущие методы тренировки
- Fun fact №1: у gpt-3.5 изначально планировался web browsing, но потом оказалось, что своих знаний у модели достаточно для QA, и особого смысла в этом не оказалось
- Fun fact №2: изначально gpt-3.5 вообще не различала, что она может или не может делать (например, она могла сказать, что успешно отправила кому-то письмо или заказала что-то в магазине). Чтобы это пофиксить оказалось достаточно около 30 примеров в датасете для файнтюна!
- Для обучения ChatGPT данные делились на инструкции и чат. При чем, прототипы модели, которые обучались на чат-данных, оказывались более просты в использовании (лучше понимали, что от них хочет пользователь), выдавали более осмысленные ответы и лучше отдавали себе отчет, что они могут и что не могут выполнить. Объяснение этому Джон видит в том, что в формате инструкций задача “complete this text, but in a nice or helpful way” довольно мутная и непонятная, как для разметчиков, которые готовят данные, так потом и для модели. А качественные чат-данные людям было проще собирать и размечать, так как было понятнее, как именно модель должна ответить. Видимо за счет этого был скачок InstructGPT -> ChatGPT
- Интересная интуиция откуда у больших моделей emergent capabilities: можно представить, что когда у нас столько параметров, модель в латентном пространстве развивает много линий размышления параллельно, и повышается шанс, что какая-то из них будет верной (примерно как происходит в MoE)
- Также довольно необычный комментарий касательно Model Spec (это недавний вайтпейпер о том, какое поведение OAI считает желательным и нежелательным) – Джон сказал, что модели должны быть продолжением воли человека и делать, что от них просят, и что OAI не хочет тут занимать патерналистскую позицию и насаждать свои моральные представления. Снова заставляет задуматься о каком-то проигрыше фракции сейфитистов, так как я не могу представить такой ответ от OAI еще пару лет назад….
- Интересное было объяснение тому, почему модель часто выплевывает очень водянистую и обширную статью в ответ на какой-то вопрос: она тренировалась на одном ответе за раз (а не на всей истории диалога), поэтому она пытается уместить всю информацию в одно сообщение, а не ждет от вас каких-то уточняющих вопросов
- Наконец про следующие шаги в разработке моделей Джон отметил проактивность: в идеале пользователь не будет обращаться к модели как к поисковику с какими-то изолированными запросами. Модель скорее должна быть как helpful colleague, который сам тебе может предложить какие-то решения, напомнить о чем-то, и так далее

Пока я читаю статьи о скандале с отбором акций (PPU) у бывших сотрудников OpenAI, The Washington Post связались с несколькими источниками и пытались прояснить ситуацию с похожестью голоса Sky на Scarlet Johansson. И вы не поверите... OpenAI не виноваты. Те, кто хочет поверить, может прочитать статью в журнале или же мою выжимку ниже:

— они валидировали, что это реально другая актриса, и что её голос идентичен голосу в ChatGPT («The actress’s natural voice sounds identical...»). Не похож, а идентичен!
— согласно опросу множества людей, которые были вовлечены в процесс прослушивания и найма, OpenAI ни разу не просили копировать голос Scarlett, и это ни разу не было отражено в документах
— также агент и актриса утверждают, что «neither Johansson nor the movie “Her” were ever mentioned by OpenA». Куда уж прямее я не знаю, но люди в шапочках из фольги видимо будут думать, что их подкупили, и платят за молчание.
— документы неназванной актрисы, с которыми ознакомились The Washington Post, подтверждают, что её наняли за несколько месяцев до появления голоса (и, как следствие, того, что Sama связался с Johansson)
— Joanne Jang, продукт менеджер из OpenAI, утверждает, что за проект отвечала Mira Murati, CTO OpenAI, и она же принимала решения. Это не написано явно, но я предположу, что это означает, что Sama не слышал голоса и не говорил сотрудникам «Ну вот этот берите, этот нет». В интервью неделю назад Altman говорил, что увидел демку за неделю до презентации.
— Зато указано, что Altman не принимал непосредственного участия в кастинге, так как в то время был занят мировым турне

То есть ни одна частичка информации, которую смогли раздобыть журналисты, и ни один человек в процессе общения, в том числе не работающие в OpenAI напрямую, не обвиняет OpenAI в нарушениях/плохой морали/etc.

И ещё:
— В заявлении актрисы Sky, предоставленном её агентом, она написала, что временами негативная реакция «чувствуется личной, поскольку это просто мой естественный голос, и люди, которые меня близко знают, никогда не сравнивали меня с ней [со Scarlett]»

Еще интересный слайд к размышлению:

В мире примерно 27 миллионов разработчиков – в OpenAI зарегистрировано 3 миллиона, то есть пока примерно ~10% разработчиков в каком-то виде использует LLM, мне кажется масс адаптация еще не случилась, и только-только начинается.

Преза целиком (видео про Sora выше – оттуда же)

SpaceX объявили, что следующая попытка запуска Starship состоится 5-го июня в 15:00 мск.

Четвертое летное испытание переключает внимание компании с выхода на орбиту (что уже было достигнуто) к демонстрации возможности возвращения и повторного использования Starship (корабль, верхняя ступень) и Super Heavy (ускоритель, нижняя ступень). Основными задачами будут выполнение приземления и мягкое приводнение сверхтяжелой ракеты-носителя в Мексиканском заливе, а также контролируемый вход корабля в атмосферу.

В прошлый раз корабль не пережил этот этап и сгорел на высоте ~45 километров. Причина — частичная потеря контроля над двигателями ориентации и незапланированный крен. Корабль начал падать боком, а не тепловым щитом вниз. Наиболее вероятная причина — засорение клапанов. С тех пор SpaceX добавила дополнительные дублирующие двигатели на все будущие корабли Starship.

Среди других изменений — теперь после разделения будет сбрасываться кольцо, соединяющее две ступени. Это сделано для облегчения ускорителя и упрощения посадки.

SpaceX пишут, что лицензия на следующий полёт может быть выдана без официального закрытия расследования по поводу прошлого пуска, так как не было никаких негативных последствий для общественной безопасности.

Ну и вишенка на торте — в программу посадки включен переворот корабля и включение двигателей, так что если корабль переживёт вход в атмосферу — то нас ждёт очень крутой финал! Правда, не ясно, получится ли получить запись посадки, так как это всё же центр Индийского океана. Будем надеяться, что Starlink сможет подключиться к сети и передаст кадры.