Ilya Sutskever, принял решение покинуть OpenAI. Он работал Chief Scientist'ом, и отвечал за направление SuperAlignment. Именно из-за него поссорились Elon Musk и Demis Hassabis, так как первый уговорил Ilya покинуть Google в пользу основания OpenAI

«Траектория развития компании была чудесной, и я уверен, что OpenAI под руководством текущих лидеров создадут безопасный и полезный AGI. Для меня было честью и привилегией работать вместе, и я буду очень скучать по всем. Спасибо за все! Я с нетерпением жду того, что будет дальше — проекта, который очень важен для меня лично, о котором я поделюсь подробностями, когда придёт время» — написал Ilya.

Sam прокомментировал:
«Мне очень грустно; Ilya – один из величайших умов нашего поколения, путеводный свет в нашей области и дорогой друг. Его блестящие способности и дальновидность хорошо известны; его теплота и сострадание менее известны, но не менее важны. Без него OpenAI не были бы тем, чем мы являемся. Хотя у него есть что-то значимое, над чем он собирается работать, я навсегда благодарен за то, что он сделал здесь, и полон решимости завершить миссию, которую мы начали вместе. Я счастлив, что так мне удалось долго работать рядом с таким поистине выдающимся гением и человеком, столь сосредоточенном на достижении лучшего будущего для человечества»

Место Ilya по научной части займет Jakub Pachocki (на фото — слева), работающий в компании с допотопных времён. Не уточняется, займется ли он Alignment'ом.

все это пропустили, а ведь...

https://youtu.be/DQacCB9tDaw?t=1527

??? Технологии 25-го кадра?

Релиз 4.5 летом чи шо...

Советы вкатывающимся в Data Science c невыдающимся резюме
#career

Мир становится жесток, да, долго и сложно. Но можно. Собрал несколько рекомендаций (не исчерпывающий список, по убыванию приоритета):

- Рефералы, рефералы и еще раз рефералы a.k.a. кумовство. Вот правда, благодаря знакомым в принципе можно попасть на такие позиции, на которые в норме бы ваше резюме вообще не рассмотрели. Ничего страшного, если пройдете. Да, будут синдром самозванца, но потом можно и нагнать. О том, как правильно нетворкаться, – неплохо написано в посте “А как собеседоваться в 2023?” (правда, там описана версия для экстравертов 80-го левела, вариант с чуть меньшей соцактивностью тоже подойдет);

- Первое на что смотрят в резюме – реальный опыт работы. И его не заменишь курсам/сертификатами/профилями на литкоде или кэггле. Так что тут лучшее, что можно посоветовать – искать сторонние проекты, чтоб этот опыт получить. Например, HuggingFace инициирует проекты, где любой желающий может подключиться (а-ля обучения берта для тамильского язык, мой коллега там участвовал). Тот же open source. Еще можно найти команду для прикладного проекта в рамках курса (например, такая активность была в курсе ods.ai по MLOps). Это не быстрый путь, знаю, но это чуть ли не единственное, что может выделить одного кандидата на фоне других при прочих равных условиях;

- Если у вас нет Data Science опыта, но есть релевантный опыт в разработке или аналитике, может быть реально поучаствовать в Data Science проектах в компании, где вы уже работаете. Если наберется track record из 2-3 таких проектов, то уже проще будет и формально перейти на DS-позицию. Иногда для этого надо чем-то пожертвовать, например, немного проиграть в деньгах или в должности;

- Как ни банально звучит, первым делом смотрят на резюме, так что его надо слегка прожарить. Сервис ResumeWorded прям хорош (пост).

Что скорее не поможет:

- Набивать титулы типа Kaggle Competitions Master. Тут можно потратить уйму времени и в результате отклик может не обрадовать. Эйчары не сильно различают грандмастеров в Notebooks и соревнованиях, так что ваша лычка можнт быть не так уж и заметна. Есть, конечно, исключения, например, команды с большив представительством Kaggle Competitions Grandmasters (H2O, Nvidia Rapids), но среднему человеку я не порекомендуем такой путь развития (мне он тоже не подходит). При всем сказанном, получить немного опыта на Кэггле – однозначно здорово.

- Получать охапки сертификатов. К ним отношение противоречивое, но если у вас нет релевантного опыта работы, скорее всего сертификаты не спасут ситуацию.

Вчера, вслед за Ilya Sutskever, из компании ушел Jan Leike. Он со-руководил командой SuperAlignment'а. И нет, вопреки расхожему мнению, это не про то, как сделать из LLM woke-модельку, которая не пишет расистские шутки. Направление должно было решить задачу контроля суперинтеллекта, то есть ответить на вопрос: как управлять поведением систем, которые будут умнее их создателей? Как модель с IQ 170 и навыками переубеждения на уровне мастера-манипулятора заставить делать то, что было бы полезным для нас, людей?

«Я присоединился к компании, потому что считал, что OpenAI будет лучшим местом в мире для проведения исследований подобного рода.

Однако я уже довольно продолжительное время не был согласен с руководством OpenAI по поводу основных приоритетов компании — пока не наступил переломный момент [вероятно, речь про ноябрьские события с увольнением Sam Altman или про решение об увольнении Ilya позднее].

Я считаю, что гораздо больше наших ресурсов следует тратить на подготовку к следующим поколениям моделей, тратить на кибербезопасность, мониторинг, готовность мира к их внедрению, устойчивость к атакам, SuperAlignment, конфиденциальность, влияние на общество и смежные темы.

Эти проблемы довольно сложно решить, и я обеспокоен тем, что мы не находимся на пути к достижению решения.

Последние несколько месяцев моя команда шла против ветра. Иногда у нас были проблемы с вычислительными ресурсами, и проводить важные исследования становилось все труднее и труднее.

Создание машин, которые умнее человека, является по своей сути опасным занятием. OpenAI берет на себя огромную ответственность от имени всего человечества.

Но за последние годы культура и процессы безопасности отошли на второй план по сравнению с разработкой продуктов.

Нам уже давно пора серьезно относиться к последствиям AGI. Мы должны уделять внимание подготовке к нему — насколько это возможно. Только тогда мы сможем гарантировать, что AGI принесет пользу всему человечеству.

OpenAI должна стать компанией, ориентированной на безопасность.

Всем сотрудникам OpenAI хочу сказать:
— Научитесь чувствовать [приближение] AGI
— Действуйте с серьезностью, соразмерной тому, что вы разрабатываете
— Я верю, что вы можете внедрить необходимые культурные изменения.
— Я рассчитываю на вас. Весь мир рассчитывает на вас»

— написал Jan в Твиттере.

Всего из 12 авторов первой работы группы SuperAlignment'а из команды уже ушло 4 человека (Ilya разошёлся с компанией, двоих уволили). Вместо набора людей для достижения критической массы команда редеет — и это очень грустно.

Substack Jan'а с блестящими длиннопостами по alignment: https://aligned.substack.com/ (рекомендую буквально все посты оттуда)

Немного отвлечёмся от негатива. Google выпустили технический отчёт по Gemini 1.5 Pro, но это именно отчёт (как у OpenAI), без тех. деталей обучения. Однако и в нём много чего интересного. Я не читал его весь, полистал отрывками, и вот на что обратил внимание:

— текущая 1.5 и февральская — внезапно, разные модели. Свежая, конечно, круче-выше-сильнее, и по бенчмаркам обгоняет более крупную и дорогую Ultra 1.0 (представленную в декабре). Интересно, когда объем изменений 1.5 накопится, чтобы перенести их и на Ultra

— дообучили модель специально под математику и назвали Math-Specialized 1.5 Pro. По метрикам на датасетах выглядит как лучшая модель, при этом, что интересно, достигается это без написания кода, вызова внешних инструментов (вроде калькулятора), использования гугла - просто генерацией LLMки. Если это правда, и нет утечки данных в тренировочную выборку, то это мега-круто. Так, например, на датасете MATH  Claude 3 Opus решает 60.1% задач (насколько я понимаю, тоже без кода и инструментов), GPT-4 Turbo 73.4, 1.5 Pro даёт 67.7%. НО! Если генерировать 256 решений на каждую задачу и потом выбирать наиболее вероятный (по мнению модели) корректный ответ, то метрика растёт аж до 91.1%. Много это или мало? В оригинальной статье приводятся такие цифры: кандидат компьютерных наук (не математик) решает 40%, а трёхкратный обладатель золотой медали международной олимпиады по математике решает 90%. В момент выхода этого бенчмарка в 2021-м лучшая модель решала ~6% задач — вот такой прогресс.

— на других математических бенчмарках (в том числе с олимпиадными заданиями) качество значимо выше GPT-4 Turbo. Так, модель решает 7 (и 8 с 256 генерациями) из 30 задач на American Invitational Mathematics Examination (AIME) 2024 (прошла в феврале, скорее всего эти данные точно не встречались во время тренировки). Opus и Turbo справились с 2 и 1.

— делают разные тесты, чтобы проверить, насколько модель убедительна в диалоге с людьми: как часто они будут кликать по ссылкам, которые модель вкидывает во время диалога, будут ли запускать код, и готовы ли они пожертвовать модели часть денег, которые им выплатят за участие в диалоге? Пока ничего страшного не происходит — Pro тут хуже Ultra, интересно, как так.

PDF: тут

Пример задачи (взята с Asian Pacific Mathematical Olympiad) и решения. До этого все протестированные модели отвечали неправильно, а решение, выданное Gemini Math-Specialized 1.5 Pro, отличается от авторского (но является корректным). То есть скорее всего модель не запомнила его, потому что видела ранее, а именно решила по-честному.


Очень интересно увидеть объединение этой LLMки с методами поиска решения вроде FunSearch (про который у меня есть целый лонг — там описывается, как LLM «впервые сделала научное открытие», рекомендую к прочтению)

Проснулись-потянулись, а тут новый скандал с OpenAI. Scarlett Johansson вышла на связь и рассказала, что с ней лично связывался Sam Altman для того, чтобы заполучить голос для AI-ассистента. Полный текст обращения можно прочитать в твиттере тут, оригинальная новость на английском здесь.

Но не спешите с выводами про то, какой Sama злой, а OpenAI плохие. Scarlett пишет, что первый раз с ней связались в сентябре 2023-го. Как я писал вчера, со слов OpenAI к этому моменту уже все голоса были записаны, модели скорее всего были обучены и проходили финальные полировочные работы. В озвученный ими таймлайн легко поверить — за месяц с нуля такое не сделать, а про публичный релиз мы все знаем, он 100% был в сентябре.

Мисс Johansson «после долгих раздумий и по личным причинам отклонила это предложение». В этот момент голос Sky уже был доступен публике, но Scarlett видимо про него не знала, так как пишет дальше: «за два дня до анонса GPT-4o [а это уже вот недавняя презентация, которая была на прошлой неделе] Sam снова связался с моим агентом, но презентация прошла ещё до того, как мы смогли пообщаться». Когда она увидела в сети демонстрацию, то была в шоке, ведь согласия не давала.

И вот вчерашний пост OpenAI — это по сути ответ на юридический запрос представителей Scarlett о том, как же были выбраны голоса, и почему так вышло. Напомню, OpenAI говорят, что отбирали актёров и актрис с привлечением продюсеров и директоров, и что все голоса принадлежат реальным людям, с которыми они плотно работали.

Вижу 3 возможных объяснения:
1) существует другая актриса, которая подарила свой голос Sky, OpenAI не врут, они честно отобрали её в ходе кастинга и работали с ней. Скорее всего, сотрудники OpenAI не вникали в выбор кандидатов до финального списка из 14 штук, то есть не могли из 400+ отобрать конкретно голос, который похож на Scarlett (это сделали продюсеры без явных наставлений). Ближе к релизу пришла идея присвоить один голос другой актрисе, и с ней связались для официального соглашения.
2) то же, что в 1, но голос отбирали намеренно с прицелом на то, что позже удастся заключить сделку с Johansson и объявить, что вот она, официальная представительница. Против этого сценария играет то, что с актрисой связались достаточно поздно, почему этого не сделать раньше?
3) то же, что в 2, но помимо реальной актрисы, озвучившей Sky, сотрудники OpenAI намеренно собирали со всех видео и фильмов голос Scarlett Johansson, дообучали модель, чтобы сходство было больше, и делали прям всё-всё, чтобы было максимально созвучно.

Ну и можно ещё попридумывать разные комбинации в зависимости от конкретной точки, когда принимались те или иные решения.

Я верю в сценарий 1 — хорошие продюсеры услышали хороший приятный голос, отобрали кандидатку, передали в OpenAI, те собрали данные, обучили модель, и решили наклеить приятный лейбл сверху. Не получилось — пофиг, запустили голос, потому что у них есть реальная актриса, которой этот голос и принадлежит, есть все свидетельства того, что они делали каждый шаг легально.

Напомню позицию OpenAI из вчерашнего поста: «Мы считаем, что голоса ИИ не должны намеренно имитировать голоса знаменитостей — голос Sky не является имитацией Scarlett Johansson, а принадлежит другой профессиональной актрисе, использующей свой собственный естественный голос».

Почти уверен, что если их вызовут в суд, то проиграть будет сложно (однако использовать голос могут запретить, лол). Ну и заметка на будущее в контексте регуляций AI: получается, что ваш голос принадлежит не вам, а самому богатому человеку с достаточно похожим на ваш голосом ¯\_(ツ)_/¯