Советы вкатывающимся в Data Science c невыдающимся резюме
#career

Мир становится жесток, да, долго и сложно. Но можно. Собрал несколько рекомендаций (не исчерпывающий список, по убыванию приоритета):

- Рефералы, рефералы и еще раз рефералы a.k.a. кумовство. Вот правда, благодаря знакомым в принципе можно попасть на такие позиции, на которые в норме бы ваше резюме вообще не рассмотрели. Ничего страшного, если пройдете. Да, будут синдром самозванца, но потом можно и нагнать. О том, как правильно нетворкаться, – неплохо написано в посте “А как собеседоваться в 2023?” (правда, там описана версия для экстравертов 80-го левела, вариант с чуть меньшей соцактивностью тоже подойдет);

- Первое на что смотрят в резюме – реальный опыт работы. И его не заменишь курсам/сертификатами/профилями на литкоде или кэггле. Так что тут лучшее, что можно посоветовать – искать сторонние проекты, чтоб этот опыт получить. Например, HuggingFace инициирует проекты, где любой желающий может подключиться (а-ля обучения берта для тамильского язык, мой коллега там участвовал). Тот же open source. Еще можно найти команду для прикладного проекта в рамках курса (например, такая активность была в курсе ods.ai по MLOps). Это не быстрый путь, знаю, но это чуть ли не единственное, что может выделить одного кандидата на фоне других при прочих равных условиях;

- Если у вас нет Data Science опыта, но есть релевантный опыт в разработке или аналитике, может быть реально поучаствовать в Data Science проектах в компании, где вы уже работаете. Если наберется track record из 2-3 таких проектов, то уже проще будет и формально перейти на DS-позицию. Иногда для этого надо чем-то пожертвовать, например, немного проиграть в деньгах или в должности;

- Как ни банально звучит, первым делом смотрят на резюме, так что его надо слегка прожарить. Сервис ResumeWorded прям хорош (пост).

Что скорее не поможет:

- Набивать титулы типа Kaggle Competitions Master. Тут можно потратить уйму времени и в результате отклик может не обрадовать. Эйчары не сильно различают грандмастеров в Notebooks и соревнованиях, так что ваша лычка можнт быть не так уж и заметна. Есть, конечно, исключения, например, команды с большив представительством Kaggle Competitions Grandmasters (H2O, Nvidia Rapids), но среднему человеку я не порекомендуем такой путь развития (мне он тоже не подходит). При всем сказанном, получить немного опыта на Кэггле – однозначно здорово.

- Получать охапки сертификатов. К ним отношение противоречивое, но если у вас нет релевантного опыта работы, скорее всего сертификаты не спасут ситуацию.

Вчера, вслед за Ilya Sutskever, из компании ушел Jan Leike. Он со-руководил командой SuperAlignment'а. И нет, вопреки расхожему мнению, это не про то, как сделать из LLM woke-модельку, которая не пишет расистские шутки. Направление должно было решить задачу контроля суперинтеллекта, то есть ответить на вопрос: как управлять поведением систем, которые будут умнее их создателей? Как модель с IQ 170 и навыками переубеждения на уровне мастера-манипулятора заставить делать то, что было бы полезным для нас, людей?

«Я присоединился к компании, потому что считал, что OpenAI будет лучшим местом в мире для проведения исследований подобного рода.

Однако я уже довольно продолжительное время не был согласен с руководством OpenAI по поводу основных приоритетов компании — пока не наступил переломный момент [вероятно, речь про ноябрьские события с увольнением Sam Altman или про решение об увольнении Ilya позднее].

Я считаю, что гораздо больше наших ресурсов следует тратить на подготовку к следующим поколениям моделей, тратить на кибербезопасность, мониторинг, готовность мира к их внедрению, устойчивость к атакам, SuperAlignment, конфиденциальность, влияние на общество и смежные темы.

Эти проблемы довольно сложно решить, и я обеспокоен тем, что мы не находимся на пути к достижению решения.

Последние несколько месяцев моя команда шла против ветра. Иногда у нас были проблемы с вычислительными ресурсами, и проводить важные исследования становилось все труднее и труднее.

Создание машин, которые умнее человека, является по своей сути опасным занятием. OpenAI берет на себя огромную ответственность от имени всего человечества.

Но за последние годы культура и процессы безопасности отошли на второй план по сравнению с разработкой продуктов.

Нам уже давно пора серьезно относиться к последствиям AGI. Мы должны уделять внимание подготовке к нему — насколько это возможно. Только тогда мы сможем гарантировать, что AGI принесет пользу всему человечеству.

OpenAI должна стать компанией, ориентированной на безопасность.

Всем сотрудникам OpenAI хочу сказать:
— Научитесь чувствовать [приближение] AGI
— Действуйте с серьезностью, соразмерной тому, что вы разрабатываете
— Я верю, что вы можете внедрить необходимые культурные изменения.
— Я рассчитываю на вас. Весь мир рассчитывает на вас»

— написал Jan в Твиттере.

Всего из 12 авторов первой работы группы SuperAlignment'а из команды уже ушло 4 человека (Ilya разошёлся с компанией, двоих уволили). Вместо набора людей для достижения критической массы команда редеет — и это очень грустно.

Substack Jan'а с блестящими длиннопостами по alignment: https://aligned.substack.com/ (рекомендую буквально все посты оттуда)

Немного отвлечёмся от негатива. Google выпустили технический отчёт по Gemini 1.5 Pro, но это именно отчёт (как у OpenAI), без тех. деталей обучения. Однако и в нём много чего интересного. Я не читал его весь, полистал отрывками, и вот на что обратил внимание:

— текущая 1.5 и февральская — внезапно, разные модели. Свежая, конечно, круче-выше-сильнее, и по бенчмаркам обгоняет более крупную и дорогую Ultra 1.0 (представленную в декабре). Интересно, когда объем изменений 1.5 накопится, чтобы перенести их и на Ultra

— дообучили модель специально под математику и назвали Math-Specialized 1.5 Pro. По метрикам на датасетах выглядит как лучшая модель, при этом, что интересно, достигается это без написания кода, вызова внешних инструментов (вроде калькулятора), использования гугла - просто генерацией LLMки. Если это правда, и нет утечки данных в тренировочную выборку, то это мега-круто. Так, например, на датасете MATH  Claude 3 Opus решает 60.1% задач (насколько я понимаю, тоже без кода и инструментов), GPT-4 Turbo 73.4, 1.5 Pro даёт 67.7%. НО! Если генерировать 256 решений на каждую задачу и потом выбирать наиболее вероятный (по мнению модели) корректный ответ, то метрика растёт аж до 91.1%. Много это или мало? В оригинальной статье приводятся такие цифры: кандидат компьютерных наук (не математик) решает 40%, а трёхкратный обладатель золотой медали международной олимпиады по математике решает 90%. В момент выхода этого бенчмарка в 2021-м лучшая модель решала ~6% задач — вот такой прогресс.

— на других математических бенчмарках (в том числе с олимпиадными заданиями) качество значимо выше GPT-4 Turbo. Так, модель решает 7 (и 8 с 256 генерациями) из 30 задач на American Invitational Mathematics Examination (AIME) 2024 (прошла в феврале, скорее всего эти данные точно не встречались во время тренировки). Opus и Turbo справились с 2 и 1.

— делают разные тесты, чтобы проверить, насколько модель убедительна в диалоге с людьми: как часто они будут кликать по ссылкам, которые модель вкидывает во время диалога, будут ли запускать код, и готовы ли они пожертвовать модели часть денег, которые им выплатят за участие в диалоге? Пока ничего страшного не происходит — Pro тут хуже Ultra, интересно, как так.

PDF: тут

Пример задачи (взята с Asian Pacific Mathematical Olympiad) и решения. До этого все протестированные модели отвечали неправильно, а решение, выданное Gemini Math-Specialized 1.5 Pro, отличается от авторского (но является корректным). То есть скорее всего модель не запомнила его, потому что видела ранее, а именно решила по-честному.


Очень интересно увидеть объединение этой LLMки с методами поиска решения вроде FunSearch (про который у меня есть целый лонг — там описывается, как LLM «впервые сделала научное открытие», рекомендую к прочтению)

Проснулись-потянулись, а тут новый скандал с OpenAI. Scarlett Johansson вышла на связь и рассказала, что с ней лично связывался Sam Altman для того, чтобы заполучить голос для AI-ассистента. Полный текст обращения можно прочитать в твиттере тут, оригинальная новость на английском здесь.

Но не спешите с выводами про то, какой Sama злой, а OpenAI плохие. Scarlett пишет, что первый раз с ней связались в сентябре 2023-го. Как я писал вчера, со слов OpenAI к этому моменту уже все голоса были записаны, модели скорее всего были обучены и проходили финальные полировочные работы. В озвученный ими таймлайн легко поверить — за месяц с нуля такое не сделать, а про публичный релиз мы все знаем, он 100% был в сентябре.

Мисс Johansson «после долгих раздумий и по личным причинам отклонила это предложение». В этот момент голос Sky уже был доступен публике, но Scarlett видимо про него не знала, так как пишет дальше: «за два дня до анонса GPT-4o [а это уже вот недавняя презентация, которая была на прошлой неделе] Sam снова связался с моим агентом, но презентация прошла ещё до того, как мы смогли пообщаться». Когда она увидела в сети демонстрацию, то была в шоке, ведь согласия не давала.

И вот вчерашний пост OpenAI — это по сути ответ на юридический запрос представителей Scarlett о том, как же были выбраны голоса, и почему так вышло. Напомню, OpenAI говорят, что отбирали актёров и актрис с привлечением продюсеров и директоров, и что все голоса принадлежат реальным людям, с которыми они плотно работали.

Вижу 3 возможных объяснения:
1) существует другая актриса, которая подарила свой голос Sky, OpenAI не врут, они честно отобрали её в ходе кастинга и работали с ней. Скорее всего, сотрудники OpenAI не вникали в выбор кандидатов до финального списка из 14 штук, то есть не могли из 400+ отобрать конкретно голос, который похож на Scarlett (это сделали продюсеры без явных наставлений). Ближе к релизу пришла идея присвоить один голос другой актрисе, и с ней связались для официального соглашения.
2) то же, что в 1, но голос отбирали намеренно с прицелом на то, что позже удастся заключить сделку с Johansson и объявить, что вот она, официальная представительница. Против этого сценария играет то, что с актрисой связались достаточно поздно, почему этого не сделать раньше?
3) то же, что в 2, но помимо реальной актрисы, озвучившей Sky, сотрудники OpenAI намеренно собирали со всех видео и фильмов голос Scarlett Johansson, дообучали модель, чтобы сходство было больше, и делали прям всё-всё, чтобы было максимально созвучно.

Ну и можно ещё попридумывать разные комбинации в зависимости от конкретной точки, когда принимались те или иные решения.

Я верю в сценарий 1 — хорошие продюсеры услышали хороший приятный голос, отобрали кандидатку, передали в OpenAI, те собрали данные, обучили модель, и решили наклеить приятный лейбл сверху. Не получилось — пофиг, запустили голос, потому что у них есть реальная актриса, которой этот голос и принадлежит, есть все свидетельства того, что они делали каждый шаг легально.

Напомню позицию OpenAI из вчерашнего поста: «Мы считаем, что голоса ИИ не должны намеренно имитировать голоса знаменитостей — голос Sky не является имитацией Scarlett Johansson, а принадлежит другой профессиональной актрисе, использующей свой собственный естественный голос».

Почти уверен, что если их вызовут в суд, то проиграть будет сложно (однако использовать голос могут запретить, лол). Ну и заметка на будущее в контексте регуляций AI: получается, что ваш голос принадлежит не вам, а самому богатому человеку с достаточно похожим на ваш голосом ¯\_(ツ)_/¯

Чем мне нравятся Anthropic, так это количеством работ по интерпретируемости моделей. В этом смысле мне жаль, что от OpenAI вышла одна работа год назад, и больше ничего. Не знаю, не хотят ли они делиться или просто закрыли команду.

Новая ОГРОМНАЯ работа от Anthropic посвящена применению методов интерпретируемости на масштабе модели уровня Claude 3 Sonnet (средняя в семействе). До этого почти все работы были на игрушечных моделях, которые даже 2-3 года назад считались бы маленькими.

Чудовищный по размеру блог с интерактивными визуализациями: тык
TLDR от самих Anthropic: тут

TLTLDR тизер от меня (полный разбор либо завтра, либо никогда):
— находят нейроны, которые отвечают за «секретность» модели. Они срабатывают для описаний людей или персонажей, хранящих тайну. Если искусственно зафиксировать высокое значение этих нейронов, то это приводит к тому, что Claude 3 скрывает информацию от пользователя, хотя без вмешательства такого не происходит.
— схожие группы нейронов находятся и для уязвимостей в коде (можно выкрутить ручку так, чтобы ваша генерация была нашпигована небезопасным кодом), стремления к получению ресурсов и намеренному обману, итд.

Как написал @datastorieslanguages (у которого я и увидел анонс статьи):
«Польза [таких методов] в том, что можно подавлять подобные "плохие" темы и улучшать безопасность модели - делать модель менее социопатичной, "отключать" ответы на определенные темы и так далее.
Правда, боюсь, что с тем же успехом можно делать и обратное - двигать какую-нибудь повестку, рекламировать товары или просто отстаивать какую-то точку зрения»

Jimmy Apples, надёжный источник касательно слухов про OpenAI, написал про другую компанию. Не знаю, насколько надёжный инсай(т)д, но ситуация крайне занимательная.

«МЕТА планирует не предоставлять доступ к весам LLAMA 3 400B [прим.: крупнейшая версия модели, которая ещё не была опубликована. В 5.5 раз больше 70B версии, доступной нам].

Они надеятся на то, что мы не заметим/пропустим это.

Не позволяйте этому ускользнуть от вас»

Это вызвало очень говорящую реакцию в сообществе (читать тут). Люди понимают, что без этого релиза им до GPT-4-Turbo/Opus/и тем более следующих поколений моделей — как до Луны. Весь опенсурс ближайшего будущего (и большое количество экспериментов независимых лабораторий) буквально крутятся вокруг того, будет ли META дальше выкладывать модели, обучение которых стоит десятки-сотни миллионов долларов [есть другие лаборатории и компании, которые выкладывают, но у этих пока самые масштабные релизы].

Не поймите неправильно, людям будет чем заняться, но они по сути навсегда застрянут на одном и том же уровне навыков моделей. Будет борьба за то, кто улучшит модель на 3-5% (в отдельных задачах на 20%!) и ускорит на 15%. Люди будут пытаться впихнуть существующие модели тут и там, как-то оптимизировать, то сё. Но этот момент как бы застынет в истории, пока ведущие игроки будут скакать вперёд. Разрыв будет стремительно нарастать.

Zuck на подкасте ведь говорил прямо: мы будем публиковать модели пока 1) это помогает нам 2) их навыки ниже определённых порогов. А я писал, что с развитием моделей уже в ближайшем будущем помощь сообщества будет минимальна, и ценности для компании публикация очень-очень дорогих моделей не несёт. Запуск топ-тир моделей очень дорог, расходы на команду и поддержку тоже не маленькие, а их обучение и улучшение так вообще — потому такие 400B модели это игрушки для очень малого количества юзеров. Без 8 видеокарточек (или 12? 16? сколько надо) по $20k каждая даже не запустить.

А может быть это неправда, и модель выпустят. А может не выпустят следующую. А может что-то ещё. Поживём — увидим, но в концепцию опенсурса как помощника развития технической стороны AGI я не верю. Вся история показывает, что улучшение происходит с масштабированием, и даже если модели 2024-го уже имеют неадекватные размеры и ценник, то что и куда дальше?

Цель META может быть какой угодно, но корпорация точно не будет опенсурсить модели и системы вплоть до AGI, хоть их VP и говорит иначе.

Наверняка вам попадались выдержки из недавнего интервью Джона Шульмана (кофаундера OpenAI) на Dwarkesh Podcast. Вернее даже одна конкретная выдержка, где Джон говорит, что его работу искусственный интеллект заменит через 5 лет

Я решила целиком посмотреть интервью, так как Джон достаточно интересный чел: он первый автор в статье про PPO, лидит команду, которая файнтюнит модели в OAI, а после недавних событий еще и видимо alignment на нем. Так что вот список каких-то интересных его тейков:
- Его главный фокус сейчас на том, чтобы научить модели выполнять длинные и сложные задачи, а не решать мелкие таски за один шаг. Например, хочется чтобы модель не просто подсказала тебе код для конкретной функции, а могла по промпту сделать целый репозиторий. С тем, чтобы обучать модели на таких “длинных” задачах много проблем, но одновременно с этим Джон считает это low-hanging fruit. Решать это он предлагает с помощью RL, видимо как-то адаптировав и улучшив текущие методы тренировки
- Fun fact №1: у gpt-3.5 изначально планировался web browsing, но потом оказалось, что своих знаний у модели достаточно для QA, и особого смысла в этом не оказалось
- Fun fact №2: изначально gpt-3.5 вообще не различала, что она может или не может делать (например, она могла сказать, что успешно отправила кому-то письмо или заказала что-то в магазине). Чтобы это пофиксить оказалось достаточно около 30 примеров в датасете для файнтюна!
- Для обучения ChatGPT данные делились на инструкции и чат. При чем, прототипы модели, которые обучались на чат-данных, оказывались более просты в использовании (лучше понимали, что от них хочет пользователь), выдавали более осмысленные ответы и лучше отдавали себе отчет, что они могут и что не могут выполнить. Объяснение этому Джон видит в том, что в формате инструкций задача “complete this text, but in a nice or helpful way” довольно мутная и непонятная, как для разметчиков, которые готовят данные, так потом и для модели. А качественные чат-данные людям было проще собирать и размечать, так как было понятнее, как именно модель должна ответить. Видимо за счет этого был скачок InstructGPT -> ChatGPT
- Интересная интуиция откуда у больших моделей emergent capabilities: можно представить, что когда у нас столько параметров, модель в латентном пространстве развивает много линий размышления параллельно, и повышается шанс, что какая-то из них будет верной (примерно как происходит в MoE)
- Также довольно необычный комментарий касательно Model Spec (это недавний вайтпейпер о том, какое поведение OAI считает желательным и нежелательным) – Джон сказал, что модели должны быть продолжением воли человека и делать, что от них просят, и что OAI не хочет тут занимать патерналистскую позицию и насаждать свои моральные представления. Снова заставляет задуматься о каком-то проигрыше фракции сейфитистов, так как я не могу представить такой ответ от OAI еще пару лет назад….
- Интересное было объяснение тому, почему модель часто выплевывает очень водянистую и обширную статью в ответ на какой-то вопрос: она тренировалась на одном ответе за раз (а не на всей истории диалога), поэтому она пытается уместить всю информацию в одно сообщение, а не ждет от вас каких-то уточняющих вопросов
- Наконец про следующие шаги в разработке моделей Джон отметил проактивность: в идеале пользователь не будет обращаться к модели как к поисковику с какими-то изолированными запросами. Модель скорее должна быть как helpful colleague, который сам тебе может предложить какие-то решения, напомнить о чем-то, и так далее