Всем привет!
Меня зовут Котенков Игорь, я работаю в сфере Data Science, конкретнее - в Machine Learning. Мне нравится делиться информацией и знаниями. Раньше я работал в AliExpress Россия на должности тимлида ML-команды (мой LinkedIn тык), до этого погрёб полтора года в Яндексе, а ещё раньше - в X5 (был одним из первых сотрудников того-самого департамента анализа больших данных).
Веду курсы по машинному обучению, платные и бесплатные, записываю лекции и интервью, читаю и объясняю статьи...и пока ещё ненавижу оливки. В миру известен как See All в ТГ и stm в слаке ODS.
К сожалению, количество чатов, в которые хочется закинуть свои сообщения, стало слишком большим - поэтому я решил создать канал как единую точку, где буду делиться контентом.
В основном стоит ожидать чего-то связанного с моими интересами:
— последние веяния в машинном обучении, новые модели, подходы;
— их разборы, комментарии и мысли по дальнейшему развитию технологий;
— особенно то, что касается NLP и Large Language Models (да-да, вот эти модные ChatGPT и прочие);
— видеоигры, их дизайн, сюжет, нарратив, новости вокруг игровой индустрии;
— киберспорт, чаще всего DotA 2, CS:GO, Apex Legends, Trackmania;
— виртуальная реальность, игры, девайсы;
— космос в целом и SpaceX в частности; программа Starship, майнинг астероидов;
— криптовалюты, реже финансы в целом;
— просто мысли out of context: моё горение на английский язык, заметки из путешествий, etc.
(список будет дополняться).
А еще мне говорят, что я регулярно приношу интересные стикерпаки - чаще с котами. Так что stay tuned!
Но канал не превратится в зеркало твиттера или в поток бессознательного. Не стоит ожидать новых постов каждый день. А ещё тут не будет рекламы, по крайней мере платной - буду репостить только то, что считаю полезным из других каналов (а годных источников очень много, уж поверьте).
ОДНАКО! У канала есть чат-дискуссия - не забывайте туда вступать, чтобы не пропускать бурлящие обсуждения!
P.S.: у нас тут все на "ты"
Меня зовут Котенков Игорь, я работаю в сфере Data Science, конкретнее - в Machine Learning. Мне нравится делиться информацией и знаниями. Раньше я работал в AliExpress Россия на должности тимлида ML-команды (мой LinkedIn тык), до этого погрёб полтора года в Яндексе, а ещё раньше - в X5 (был одним из первых сотрудников того-самого департамента анализа больших данных).
Веду курсы по машинному обучению, платные и бесплатные, записываю лекции и интервью, читаю и объясняю статьи...и пока ещё ненавижу оливки. В миру известен как See All в ТГ и stm в слаке ODS.
К сожалению, количество чатов, в которые хочется закинуть свои сообщения, стало слишком большим - поэтому я решил создать канал как единую точку, где буду делиться контентом.
В основном стоит ожидать чего-то связанного с моими интересами:
— последние веяния в машинном обучении, новые модели, подходы;
— их разборы, комментарии и мысли по дальнейшему развитию технологий;
— особенно то, что касается NLP и Large Language Models (да-да, вот эти модные ChatGPT и прочие);
— видеоигры, их дизайн, сюжет, нарратив, новости вокруг игровой индустрии;
— киберспорт, чаще всего DotA 2, CS:GO, Apex Legends, Trackmania;
— виртуальная реальность, игры, девайсы;
— космос в целом и SpaceX в частности; программа Starship, майнинг астероидов;
— криптовалюты, реже финансы в целом;
— просто мысли out of context: моё горение на английский язык, заметки из путешествий, etc.
(список будет дополняться).
А еще мне говорят, что я регулярно приношу интересные стикерпаки - чаще с котами. Так что stay tuned!
Но канал не превратится в зеркало твиттера или в поток бессознательного. Не стоит ожидать новых постов каждый день. А ещё тут не будет рекламы, по крайней мере платной - буду репостить только то, что считаю полезным из других каналов (а годных источников очень много, уж поверьте).
ОДНАКО! У канала есть чат-дискуссия - не забывайте туда вступать, чтобы не пропускать бурлящие обсуждения!
P.S.: у нас тут все на "ты"
Какие материалы у меня есть / чем я могут быть полезен / что посмотреть:
<--ЛЁГКИЕ, НЕТЕХНИЧЕСКИЕ МАТЕРИАЛЫ-->
Текст:
—🔥 Блогпост на хабре про историю развития GPT от Т9 к ChatGPT, написанный для объяснения простым языком (он же на VC, а в клубе Вастрика краткая история рождения статья); ВИДЕОВЕРСИЯ (1M+ просмотров!)
—🔥 Блогпост на хабре про Sora, модель генерации видео (которая на самом деле должна симулировать виртуальные миры, лол)
— Блогпост на хабре про GPT-4 и новую политику "Open"AI по непубликации исследований; ВИДЕОВЕРСИЯ
— Блогпост на хабре про обновление и развитие GPT-4 и обзор OpenAI DevDay 2023;
— Блокпост Вастрика про опасности AI, и почему не нужно закрывать глаза на (некоторые) тезисы Юдковского. Я помогал в качестве редактора, не основного автора; ВИДЕОВЕРСИЯ
Видео:
— Интервью на канале Karpov.Courses (чтобы лучше понять, кто что где я);
— Подкаст-интервью с Александром Ильиным на тему ChatGPT, AGI, их влияния на нашу жизнь. Последние 20 минут трещим про мою карьеру;
—🔥 Открывающий доклад конференции Global CIO (на английском 🇬🇧), в котором я рассказываю, что такое AI и почему его можно (нужно) начинать использовать сотрудникам уже сегодня, для увеличения персональной эффективности;
—🔥 Доклад с Podlodka Product Crew про текущее состояние LLM / AI-ассистентов, где простым и понятным языком сначала развеиваю 4 мифа, а затем рассказываю про будущее AI.
<--ЛЁГКИЕ, НЕТЕХНИЧЕСКИЕ МАТЕРИАЛЫ-->
Текст:
—
—
— Блогпост на хабре про GPT-4 и новую политику "Open"AI по непубликации исследований; ВИДЕОВЕРСИЯ
— Блогпост на хабре про обновление и развитие GPT-4 и обзор OpenAI DevDay 2023;
— Блокпост Вастрика про опасности AI, и почему не нужно закрывать глаза на (некоторые) тезисы Юдковского. Я помогал в качестве редактора, не основного автора; ВИДЕОВЕРСИЯ
Видео:
— Интервью на канале Karpov.Courses (чтобы лучше понять, кто что где я);
— Подкаст-интервью с Александром Ильиным на тему ChatGPT, AGI, их влияния на нашу жизнь. Последние 20 минут трещим про мою карьеру;
—
—
Please open Telegram to view this post
VIEW IN TELEGRAM
_________________________________________________________________________
<--СРЕДНЯЯ СЛОЖНОСТЬ, ПОПУЛЯРНО ПРО ТЕХНОЛОГИИ-->
Текст:
— Бесплатный курс по базовому Python (очень простым и понятным языком, специально для быстрого старта);
—🔥 Блогпост на хабре про WebGPT (модель с подключением к браузеру) как способ решения проблем ChatGPT;
—🔥 Блогпост на хабре с разбором статьи DeepMind, в которой заявляется, что LLM впервые совершила научное открытие;
Видео:
—🔥 Лекция «What's next for OpenAI?», в которой рассказываю про дальнейший рисерч OpenAI и 8 потенциальных направлений исследований;
—🔥 Лекция (обзорная) для ИТМО про то, как работают LLM, как они подключаются к реальному миру и могут на него влиять, и описывающая наше ближайшее будущее и самые интересные направления работы;
— Видео-подкаст с Алексеем Хахуновым про устройство плагинов для ChatGPT, в котором на пальцах разберем, как работает интеграция с поиском Bing;
— Видео-подкаст на Рабкоре с Кали Новской про опасности ИИ, политику и многое другое;
— Рассказ моей команды в AliExpress о том, как у нас работает матчинг в проде: блог с первой частью рассказа, полное видео с митапа (приглашенные спикеры из Яндекса и Озона, см. таймкоды);
<--СРЕДНЯЯ СЛОЖНОСТЬ, ПОПУЛЯРНО ПРО ТЕХНОЛОГИИ-->
Текст:
— Бесплатный курс по базовому Python (очень простым и понятным языком, специально для быстрого старта);
—
—
Видео:
—
—
— Видео-подкаст с Алексеем Хахуновым про устройство плагинов для ChatGPT, в котором на пальцах разберем, как работает интеграция с поиском Bing;
— Видео-подкаст на Рабкоре с Кали Новской про опасности ИИ, политику и многое другое;
— Рассказ моей команды в AliExpress о том, как у нас работает матчинг в проде: блог с первой частью рассказа, полное видео с митапа (приглашенные спикеры из Яндекса и Озона, см. таймкоды);
Please open Telegram to view this post
VIEW IN TELEGRAM
_________________________________________________________________________
<--ВЫСОКАЯ СЛОЖНОСТЬ, ТЕХНИЧЕСКИЕ ДЕТАЛИ И РАЗБОРЫ-->
Текст:
— гайд по промптингу LLM для генерации синтетических данных: Generating Synthetic Dataset for RAG и Tackling Generated Datasets Diversity
Видео:
—🔥 Детальнейшая видео-лекция про устройство трансформера, со всеми нюансами;
—🔥 (плейлист на YouTube) 10+ часовой мини-курс по NLP «Полная история семейства GPT»;
—🔥 Лекция «RLHF Intro: from Zero to Aligned Intelligent Systems» в рамках DataFest 2023 (была признана лучей лекцией ODS в 2023);
— Мини-серия комментариев к ML System Design Interviews, с Валерой Бабушкиным: (1) выбор рекламы к показу в ленте соцсети, (2) ценообразование на маркетплейсе, (3) матчинг товаров в онлайн-магазине;
— Лекция по деревьям решений, методам ансамблирования и (ГЛАВНОЕ) градиентным бустингам;
— Лекция про языковые модели, основанные на принципе поиска ближайших соседей: часть 1, часть 2;
— Вебинар по неградиентным методам оптимизации, с большим количеством практики;
<--ВЫСОКАЯ СЛОЖНОСТЬ, ТЕХНИЧЕСКИЕ ДЕТАЛИ И РАЗБОРЫ-->
Текст:
— гайд по промптингу LLM для генерации синтетических данных: Generating Synthetic Dataset for RAG и Tackling Generated Datasets Diversity
Видео:
—
—
—
— Мини-серия комментариев к ML System Design Interviews, с Валерой Бабушкиным: (1) выбор рекламы к показу в ленте соцсети, (2) ценообразование на маркетплейсе, (3) матчинг товаров в онлайн-магазине;
— Лекция по деревьям решений, методам ансамблирования и (ГЛАВНОЕ) градиентным бустингам;
— Лекция про языковые модели, основанные на принципе поиска ближайших соседей: часть 1, часть 2;
— Вебинар по неградиентным методам оптимизации, с большим количеством практики;
Please open Telegram to view this post
VIEW IN TELEGRAM
Начнем блог с твита СЕО OpenAI, где он рассказывает, сколько человек у них работает - 375. Мне интересен этот факт потому, что недавно обсуждал с коллегами конверсию расходов на персонал в какой-нибудь заметный результат. Правда, цифрами мы оперировали другими - по последним открытым данным, в начале 2022го в OpenAI работало порядка 169 человек.
На фоне общих увольнений в индустрии бигтеха такой рост за неполный год выглядит значимым, хотя в абсолютных цифрах как будто yet-another-department (в Google работает больше 200,000 людей, к примеру). Здорово, что у OpenAI дела идут хорошо, и активный рост лишь способствует наращиванию позиций на рынке AI/LLM.
И вот эти люди трудятся над нашим будущим, создавая технологии искусственного интеллекта в широчайшем наборе областей - от генерации изображений до обучения чатботов. Поражает их продуктивность!
На фоне общих увольнений в индустрии бигтеха такой рост за неполный год выглядит значимым, хотя в абсолютных цифрах как будто yet-another-department (в Google работает больше 200,000 людей, к примеру). Здорово, что у OpenAI дела идут хорошо, и активный рост лишь способствует наращиванию позиций на рынке AI/LLM.
И вот эти люди трудятся над нашим будущим, создавая технологии искусственного интеллекта в широчайшем наборе областей - от генерации изображений до обучения чатботов. Поражает их продуктивность!
Сиолошная
Начнем блог с твита СЕО OpenAI, где он рассказывает, сколько человек у них работает - 375. Мне интересен этот факт потому, что недавно обсуждал с коллегами конверсию расходов на персонал в какой-нибудь заметный результат. Правда, цифрами мы оперировали другими…
Продолжая тему OpenAI и value в пересчёте на одного сотрудника. Но вообще это не так удивительно, если вспомнить, что Sam Altman - автор прошлого твита, СЕО OpenAI - был когда-то директором YCombinator, одного из престижнейших и старейших стартап-акселераторов.
Умеет человек делать бизнес, умеет видеть перспективы и поднимать инвестиции, что ещё сказать)
Умеет человек делать бизнес, умеет видеть перспективы и поднимать инвестиции, что ещё сказать)
Возможно вам попадалось видео на ютубе, где один достаточно популярный бигтех-блоггер жаловался на реджект после собеседования в стартап с 22 летним СЕО (вот оно). Это было 3 года назад, и стартап тот назывался Scale AI. По сути это Толока на стероидах, то есть в сущности платформа для разметки и генерации данных. Она соединяет AI-стартапы с одной стороны (как потребителей этой самой разметки), и людей, готовых продать своё время за компьютером, выполняя рутинные задачки, с другой.
Еще ~год назад я увидел, что OpenAI пользуются их услугами для найма контрактных сотрудников, которые будут помогать готовить данные для моделей, основанных на GPT (включая ChatGPT?). Вот он, успех :)
Но я бы об этом не писал, если бы не два факта:
1) ScaleAI недавно провели хакатон prompt-инжинеринга. То есть люди собирались и пытались придумать, какой текст можно подавать в большие языковые модели, чтобы научить их решать новые задачи без дорого обучения (условно, попросить решить задачу шаг за шагом, объясняя каждый этап, чтобы в итоге модель рассуждала и не делала простые ошибки). В судьях даже был Andrej Karpathy!
2) победное решение хакатона "GPT is all you need for backend" выложено в опенсурс (тык).
Твиттер-тред с объяснением того, что внутри - тут. Если вкратце, то LLM (GPT3) выступает в роли бэкенд-сервера, реагирующего на API-вызовы, и генерирует JSON-ответы. Модель справляется с обращением со сложными структурами данных внутри, а логику формирует по простому текстовому описанию (те самые ТЗ для разработчиков💀 )
Еще ~год назад я увидел, что OpenAI пользуются их услугами для найма контрактных сотрудников, которые будут помогать готовить данные для моделей, основанных на GPT (включая ChatGPT?). Вот он, успех :)
Но я бы об этом не писал, если бы не два факта:
1) ScaleAI недавно провели хакатон prompt-инжинеринга. То есть люди собирались и пытались придумать, какой текст можно подавать в большие языковые модели, чтобы научить их решать новые задачи без дорого обучения (условно, попросить решить задачу шаг за шагом, объясняя каждый этап, чтобы в итоге модель рассуждала и не делала простые ошибки). В судьях даже был Andrej Karpathy!
2) победное решение хакатона "GPT is all you need for backend" выложено в опенсурс (тык).
Твиттер-тред с объяснением того, что внутри - тут. Если вкратце, то LLM (GPT3) выступает в роли бэкенд-сервера, реагирующего на API-вызовы, и генерирует JSON-ответы. Модель справляется с обращением со сложными структурами данных внутри, а логику формирует по простому текстовому описанию (те самые ТЗ для разработчиков
Please open Telegram to view this post
VIEW IN TELEGRAM
NASA и DARPA (Управление перспективных исследовательских проектов Министерства обороны США) объявили о партнерстве в рамках проекта по испытанию ядерных двигателей в космосе.
> Over the course of the development, NASA and DARPA will collaborate on assembly of the engine before the in-space demonstration as early as 2027. (читай 2030)
https://fxtwitter.com/NASA/status/1617906246199218177
Эти проекты очень важны, если мы хотим летать даже в рамках Солнечной системы достаточно быстро (не по 10 лет к последним планетам). Ядерные двигатели работают не с такой мощностью, как обычные (и поэтому, например, не помогут оторваться от Земли), однако они работают ВСЁ время полета, за счет чего суммарно развивают огромную тягу. А ещё топливо не весит сотни тонн!
Итого прицнип прост: после вывода на орбиту указываешь направление, включаешь - и наслаждаешься путешествием :)
UPD: два интересных видео с объяснением деталей и проблем таких двигателей: раз, два
> Over the course of the development, NASA and DARPA will collaborate on assembly of the engine before the in-space demonstration as early as 2027. (читай 2030)
https://fxtwitter.com/NASA/status/1617906246199218177
Эти проекты очень важны, если мы хотим летать даже в рамках Солнечной системы достаточно быстро (не по 10 лет к последним планетам). Ядерные двигатели работают не с такой мощностью, как обычные (и поэтому, например, не помогут оторваться от Земли), однако они работают ВСЁ время полета, за счет чего суммарно развивают огромную тягу. А ещё топливо не весит сотни тонн!
Итого прицнип прост: после вывода на орбиту указываешь направление, включаешь - и наслаждаешься путешествием :)
UPD: два интересных видео с объяснением деталей и проблем таких двигателей: раз, два
FixTweet / FixupX
NASA (@NASA)
We’re partnering with @DARPA to demonstrate a nuclear thermal rocket engine in space. This new engine would allow us to do more science and reach destinations faster—key steps for sending the first crewed mission to Mars. https://go.nasa.gov/3DaNirN
Please open Telegram to view this post
VIEW IN TELEGRAM
Увидел за сегодня уже третью статью/проект, связанные с Neural Rendering. Это метод, основанный на нейронных сетях, который может создавать новые изображения и видеоматериалы на основе существующих (для некоторого пространства). Как пример - делаете 20 фоток комнаты, обучаете нейронку, и получаете 3D модель, которую можно крутить-вертеть в редакторе. То есть на выходе получаются изображения реального мира(которые можно склеить в видео-пролёты) с помощью синтеза из новых позиций камеры в сложных сценах (под новыми углами). Всё это выглядит фото-реалистично. Вот первые блог-статья на моей памяти по этому топику.
Что же я увидел сейчас? Чем захотел поделиться? Угадайте по названию: InfiniCity: Infinite-Scale City Synthesis
Да, у авторов на выходе алгоритм, который из случайного шума генерит бесконечный (но связанный) мир, для которого создаётся 3д-модель, и по которой можно летать камерой 🤯 Тут уже не получается делать изображения без артефактов и изъянов, и глаз видит разницу по сравнению с тем, что демонстрируется на маленьких сценах для NeRF, однако подход просто поражает. См. пайплайн на картинке.
Сайт проекта: тык
Статья: клац
Что же я увидел сейчас? Чем захотел поделиться? Угадайте по названию: InfiniCity: Infinite-Scale City Synthesis
Да, у авторов на выходе алгоритм, который из случайного шума генерит бесконечный (но связанный) мир, для которого создаётся 3д-модель, и по которой можно летать камерой 🤯 Тут уже не получается делать изображения без артефактов и изъянов, и глаз видит разницу по сравнению с тем, что демонстрируется на маленьких сценах для NeRF, однако подход просто поражает. См. пайплайн на картинке.
Сайт проекта: тык
Статья: клац
Есть такой человек, Matei Zaharia. Он разработал более удобную и быструю альтернативу фреймворку MapReduce для обработки больших данных под названием Spark (Apache Spark после передачи в фонд). И сделал он это во время обучения в университете как часть PhD. Сейчас Matei CTO (и кофаундер) Databricks - компании с выручкой более $1B за 2022й - и профессор в Стэнфорде.
Каково было моё удивление в 2021м году, когда я обнаружил его в числе авторов статьи ColBERT: Efficient and Effective Passage Search. Бывает же такое, что у человека сфера интересов ну просто гигантская, и везде работа продуктивна. Да, разработка фреймворка обработки бльших данных. Да, разработка софта для работы с большими данными в облаке из удобного .ipynb в окне браузера. Но...обучение трансформеров на задачу поиска схожих текстов?😩 как
Архитектура эта в своё время была SotA-подходом, и элегантно ложилась на мои рабочие задачи. Про неё, кстати, можно услышать вот в этом докладе моей бывшей команды в AliExpress - мы использовали ColBERT как кандидатную модель в задаче матчинга (о ней вы еще ни раз услышите😳 ), то есть как раз таки делали "Efficient and Effective Search". У этой архитектуры есть обновленная версия (так и зовётся: v2), но это уже другой разговор. В общем, дай бог каждому таких сфер интересов и успехов.
🤔 о чем это я?
Под конец 22го года вышла ещё одна статья с его участием"Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP", с пересекающимся набором со-авторов. Код лежит тут. Твиттер тред с объяснениями от автора: тык.
TLDR:
We introduce general primitives to annotate examples for your strategy (𝗗emonstrate), gather relevant knowledge from multiple sources (𝗦earch), and generate grounded predictions (𝗣redict). Instead of crafting a prompt for the LM, you write a short 𝗗𝗦𝗣 program that assigns small tasks to the LM and a retrieval model (RM) in deliberate powerful pipelines.
Статью ещё не читал, может сделаю разбор на канал, если будет, чем поделиться.
Каково было моё удивление в 2021м году, когда я обнаружил его в числе авторов статьи ColBERT: Efficient and Effective Passage Search. Бывает же такое, что у человека сфера интересов ну просто гигантская, и везде работа продуктивна. Да, разработка фреймворка обработки бльших данных. Да, разработка софта для работы с большими данными в облаке из удобного .ipynb в окне браузера. Но...обучение трансформеров на задачу поиска схожих текстов?
Архитектура эта в своё время была SotA-подходом, и элегантно ложилась на мои рабочие задачи. Про неё, кстати, можно услышать вот в этом докладе моей бывшей команды в AliExpress - мы использовали ColBERT как кандидатную модель в задаче матчинга (о ней вы еще ни раз услышите
Под конец 22го года вышла ещё одна статья с его участием"Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP", с пересекающимся набором со-авторов. Код лежит тут. Твиттер тред с объяснениями от автора: тык.
TLDR:
We introduce general primitives to annotate examples for your strategy (𝗗emonstrate), gather relevant knowledge from multiple sources (𝗦earch), and generate grounded predictions (𝗣redict). Instead of crafting a prompt for the LM, you write a short 𝗗𝗦𝗣 program that assigns small tasks to the LM and a retrieval model (RM) in deliberate powerful pipelines.
Статью ещё не читал, может сделаю разбор на канал, если будет, чем поделиться.
Please open Telegram to view this post
VIEW IN TELEGRAM
Была такая стипендиальная программа OpenAI Scholars, на которой после отбора участникам предлагались оплата на 3 (позже 4) месяца и менторство от ведущих исследователей компании. Сейчас программу объединили с другой, и называется всё OpenAI Residency. Сейчас на неё можно податься, и релокейт обещают!
Но не об этом речь. Я смотрел проекты прошлых лет, и глаз зацепился за выпускную работу 2021го года. О ней и расскажу ниже.
⭐️ Тема: Large Scale Reward Modeling
Сайт проекта: тык
Видео с презентацией на выпускном на канале OpenAI: туц
В сфере AI существует проблема "смещения" (misalignment) ценностей и целей человечества и нейронных сетей. Наверняка вы видели или читали в фантастике про разные примеры вроде решения "убить всех людей" в ответ на запрос решения проблем. Или про переработку всего мира в скрепки. Даже если предположить, что у нас есть суперкомпьютер с ИИ, мы не можем его просто взять и использовать - скорее всего, тот начнёт предпринимать непонятные нам действия, которые не соответствуют человеческим ожиданиям.
В OpenAI есть целая alignment-команда, которая пытается решить эту проблему. О результатах её работы вы слышали совсем недавно - это ChatGPT. Эта модель тренируется угадывать человеческие предпочтения, ожидания, и соответствовать им. Процесс дообучения простой GPT-3.5 в ChatGPT и есть процесс "выравнивания" модели.
Делается это с помощью подходов, которые в общем называются RLHF, Reinforcement Learning from Human Feedback. Я бы с удовольствием расписал более подробно, но, к сожалению, поля моей тетради слишком узки...
Поэтому вкратце: люди участвуют в разметке данных для модели. Например, получают два ответа на один и тот же вопрос и выбирают, какой им больше нравится. Получается пара, где один объект "лучше" другого. На таких парах можно натренировать нейросеть, которая будет предсказывать, левый или правый ответ победит при сравнении человеком. А затем применить разнообразные методы оптимизации генерации поверх такого "оценщика". Если очень упрощать, то можно сказать, что оптимизируя генерацию с точки зрения модели-оценщика мы также оптимизируем и то, как сравнивают живые люди.
Такая модель-оценщик называется Reward Model, или RM. По сути она моделирует награду (Reward), которую получит языковая модель, если сгенерирует определенный ответ. И эти оценки очень точны по отношению к людским.
Но не об этом речь. Я смотрел проекты прошлых лет, и глаз зацепился за выпускную работу 2021го года. О ней и расскажу ниже.
Сайт проекта: тык
Видео с презентацией на выпускном на канале OpenAI: туц
В сфере AI существует проблема "смещения" (misalignment) ценностей и целей человечества и нейронных сетей. Наверняка вы видели или читали в фантастике про разные примеры вроде решения "убить всех людей" в ответ на запрос решения проблем. Или про переработку всего мира в скрепки. Даже если предположить, что у нас есть суперкомпьютер с ИИ, мы не можем его просто взять и использовать - скорее всего, тот начнёт предпринимать непонятные нам действия, которые не соответствуют человеческим ожиданиям.
В OpenAI есть целая alignment-команда, которая пытается решить эту проблему. О результатах её работы вы слышали совсем недавно - это ChatGPT. Эта модель тренируется угадывать человеческие предпочтения, ожидания, и соответствовать им. Процесс дообучения простой GPT-3.5 в ChatGPT и есть процесс "выравнивания" модели.
Делается это с помощью подходов, которые в общем называются RLHF, Reinforcement Learning from Human Feedback. Я бы с удовольствием расписал более подробно, но, к сожалению, поля моей тетради слишком узки...
Поэтому вкратце: люди участвуют в разметке данных для модели. Например, получают два ответа на один и тот же вопрос и выбирают, какой им больше нравится. Получается пара, где один объект "лучше" другого. На таких парах можно натренировать нейросеть, которая будет предсказывать, левый или правый ответ победит при сравнении человеком. А затем применить разнообразные методы оптимизации генерации поверх такого "оценщика". Если очень упрощать, то можно сказать, что оптимизируя генерацию с точки зрения модели-оценщика мы также оптимизируем и то, как сравнивают живые люди.
Такая модель-оценщик называется Reward Model, или RM. По сути она моделирует награду (Reward), которую получит языковая модель, если сгенерирует определенный ответ. И эти оценки очень точны по отношению к людским.
Please open Telegram to view this post
VIEW IN TELEGRAM