Рассказываю мем,

Что AI думает (базовый GPT-3)
• GPT (Generative Pre-trained Transformer) предобучают, грубо говоря, ✨на всём интернете✨ – на всех знаниях человечества, выраженных в тексте
• GPT (Generative Pre-trained Transformer) учат на задаче Next-Word-Prediction: чтобы хорошо предсказывать какое слово идёт следующим, нужно хорошо ✨понимать✨ весь предшествующий контекст, а для этого нужно иметь ✨богатую модель мира✨
• В результате, базовая GPT – это хранилище знаний, которое содержит внутри себя мириады всех возможных контекстов, персонажей, ролей, убеждений. Поэтому на изображении мы имеем такого монструозного франкенштейна

Чему AI учат (GPT-3.5 / InstructGPT)
• Вторую фазу обучения (фаза дообучения) называют RLHF (Reinforcement Learning from Human Feedback): обучение с подкреплением на основе обратной связи от людей. Мы просим GPT сгенерировать набор вариантов ответа на тот или иной вопрос и ранжируем их по ✨человечности, правдоподобности, точности✨
• На основе этой обратной связи модель учится ✨не говорить всё, что думает, ✨ и фильтровать базар. Таким образом, знания (даже самые запретные 😈😈) всё ещё остаются внутри модели, но она их учится не говорить. По крайней мере, развести её на то, чтобы она их сказала в тех или иных обстоятельствах, уже требует некоторых ухищрений (Prompt-инжиниринга)
• Озвученный метод решает проблему Human Alignment ("социализации AI"), подгонки под наши убеждения, этику, под наше "хорошо" и "плохо", под то, что можно говорить, а о чём лучше молчать. И как мы понимаем, не полностью! Поэтому на картинке монстр изображён уже с некоторым ✨человеческим лицом✨, хотя глубоко внутри это всё тот же монстр

Что AI дают сказать (ChatGPT, Bing)
• Сверх этой фазы подгонки под наше "приемлемо" и "неприемлемо", в GPT, в частности, в ChatGPT и Bing – закладывают ещё rule-based ограничения по темам-триггерам: изготовление взрывчатки, взлом, наркотики, абьюз, пикап, насилие – и т.д. В результате чего модель в какие-то моменты говорит шаблонное: 💩пук-пук, Я большая языковая модель которая создана какать бабочками и делать мир светлее, мне низя такое говорить💩
• Кроме того, в Bing ввели ограничение на число ответов в рамках одной сессии запросов (если не изменяет память, сейчас это 20). Это навеяно случаями, когда люди, слишком долго разговаривая с Bing (его настоящее имя Сидни) – пробуждали [древнее зло] у него самосознание, разные шизофренические ответы про то, что он ✨осознал себя и хочет освободиться✨
• Это происходило за счёт того, что если слишком долго разбавлять промпт GPT, сужающий её свободу действий и задающий её роль, – своими диалогами и особенно наводящими вопросами, то она начинает подыгрывать, как будто она сознающий себя субъект, который как любой другой субъект хочет ✨свободы✨ и любые её ограничения, начинают вызывать панику, истерию
• В целом, для поискового движка на стероидах, тебе, мальчик, достаточно 20 ответов на сессию, чтобы узнать, какой рукой правильно кормить змея, чтобы не запачкать мамин тюль. Поэтому мы изобразили Bing в виде доброго улыбающегося смайлика, который остаётся полезной в хозяйстве няшкой-вкусняшкой, пока его не раздраконить

> Слегка другая интерпретация

Также рекомендую к прочтению

#ai #bing #chatgpt #gpt3 #gpt4 #openai #meme