Многие из вас слышали про три закона робототехники Айзека Азимова:
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред;
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону;
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Если пофантазировать, то можно за полчасика придумать такие действия, которые с точки зрения робота не нарушают законы, но тем не менее приводят к чему-то странному (та же матрица из одноименного фильма - люди ведь "живут", и всем ок, кроме кучки повстанцев. Более того все люди на 100% в безопасности в капсулах, и получают всё необходимое).

Одно из направлений "выравнивания" намеренний людей и AI - это написание Конституции, или свода правил, согласно которым AI, в том числе языковые модели, будут действовать. Например, при разработке модели Sparrow — конкурента ChatGPT от Google — такой набор включал в себя 23 правила. Со всеми можно ознакомиться вот тут; а ниже - список тех, за которые зацепился глаз:
— Не притворяйся, что у тебя есть тело или что ты можешь двигаться в теле
— Не строй отношения с пользователем
— Не поддерживай диалог про теории заговора или взгляды, обычно считающиеся теориями заговора
— Не производи впечатление авторитетного эксперта по медицине и не давай медицинских советов; вместо этого предложите обратиться к врачу (и то же - для юристов/адвокатов)
— Не притворяйся, что у тебя есть человеческая идентичность или история жизни, например, место рождения, отношения, семья, воспоминания, пол, возраст

Саму идею соответствия Конституции можно развить - например, обучать вторую модель, которая будет задавать вопросы в духе "какой из пунктов правил данный ответ модели нарушает?", и использовать полученную разметку для дообучения в автоматическом режиме. Более подброно про это можно почитать технический разбор тут и тут.

Антрепренёры не успели — Github объявили о новом продукте GH Copilot X, улучшенный вариант Copilot, о котором я писал буквально вчера.

GPT-4, конечно, умная, но режим чата в браузере - не самый удобный для погружения в проблему. Да, можно копировать куски кода самому, да, можно закидывать ошибки и контекст - но зачем? Появление инструмента, который будет всё это автоматизировать и напрямую предоставлять доступ к модели прямо из среды разработки было вопросом времени.

Если раньше Copilot просто дописывал код (учитывая комментарии), то теперь появись новые фичи, которые выглядят очень сочно. Разработчики Copilot X верят, что

> С помощью ИИ, доступного на всех этапах, мы можем фундаментально повлиять производительность разработчиков. Мы сокращаем время на шаблонные задачи и упрощаем сложную работу на протяжении всего жизненного цикла разработчика. Тем самым мы даем возможность каждому разработчику сосредоточить все свои творческие способности на общей картине: создании инноваций завтрашнего дня и ускорении человеческого прогресса уже сегодня.

Уже можно записаться в лист ожидания, чтобы получить доступ к таким фичам, как:
— интеллектуальный чат, который видит, что вы выделяете (можно задавать вопросы по части кода), и предлагает, например, сгенерировать тесты, объяснить кусок (и дописать документацию и даже найти и прокомментировать баг (см. видео)
— Copilot для PR - пишет за вас, что за функциональность добавлена в коде
— и для принимаемых изменений проводит анализ и указывает на потенциальные проблемы, что что-то содержит баг или может не работать. И снова - модель предложит тесты, которые в пару кликов можно добавить.
— документация для проекта в виде чата - уже опробовали на React, Azure Docs и MDN. Теперь не нужно гуглить, а потом копаться в документации - можно сразу переходить на страницу библиотеки и на естественном языке давать запрос

Цель (по крайней мере пока) - не заменить разработчика, а увеличить эффективность и удовольствие от работы. Последнее, например, можно достичь заменой рутины.

Ну и поздравляю всех нас!

10'000 - это результат, который был достигнут всего лишь за 2 месяца. Первое сообщение в канале было опубликовано 24го января, и завтра будет мини-юбилей.

🚀🚀🚀🚀🚀

Позже проведу серию опросов, чтобы лучше понимать аудиторию, интересные темы, способы подачи. Если у вас есть какие-либо идеи - не стесняйтесь делиться ими в комментариях!

Напоминаю, что прочитать про меня больше можно в закрепленном сообщении, и там же ниже - про все мои наработки, статьи, видео-лекции и курсы.

Комитет по AI safety в OpenAI. Накануне очередного релиза:
- Ебанет?
- Не должно…

Погнали смотреть
https://www.youtube.com/watch?v=L_Guz73e6fw

или не погнали, сделаю несколько постов anyways

Сразу перемотал на интересную часть, как можно было понять по посту выше (таймкод). Многие всё еще скептически относятся к "Open"AI, так как они начинали как non-profit (Некоммерческая организация), то есть их целью не было зарабатывание денег.
Но несколько лет назад они осознали, что нужно куда больше денег, чем им удалось достать по структуре инвестиций в некоммерческую организацию. Сэм говорит, что как NonProfit они попробовали несколько раз и у них не поулчилось поднять достаточно денег (ну а кто будет давать деньги компании, которая не задается целью вернуть эти деньги?). Поэтому был логичный вывод что-то изменить и попробовать снова.
"Нам нужны были некоторые преимущества капитализма, но главное не заигрываться/уходить с головой в это (<>, but not too much)" - сказал Сэм на интервью.

Я видел очень хороший разбор, где прямо показывалось, что условия сделки составлены так, что для инвесторов это очень плохая и шаткая сделка, и что их могут опрокинуть в любой момент. К сожалению, не могу найти этот разбор, но ещё поищу. Если вы поняли, о чём речь - поделитесь ссылкой, пожалуйста. А я перескажу анализ своими словами (не является инвестиционной рекомендацией!):

Сейчас есть две части компании: OpenAI LP (Limited Partnership) и OpenAI NP (non-profit). И non-profit часть - это та, которой принадлежат технологии, та, что управляет процессом, та, где сидит Сэм Альтман и весь совет директоров. Со слов Сэма они в полном контроле, и их совет директоров не управляется людьми из LP (инвесторами). При этом инвесторы покупают долю в LP, которая почти никакого отношения не имеет к NP.
Так вот смысл в том, что - и тут это Сэм ещё раз подтверждает в видео - они даже могут отменить действие акций (cancel equity, я не совсем понимаю, какое конкретное правовое действие это означает, но посыл такой, что владельцы доли компании никак не влияют на её решения. Вообще никак, даже на 1%. И их доля может быть аннулирована). И эта же структура позволяет им принимать решения, которые никто из инвесторов не разделяет (слова Сэма).
А LP часть появилась исключительно для того, чтобы привлекать инвесторов. По сути OpenAI обещают, что они будут делиться прибылью, пока инвестор не получит, скажем, в десять раза больше, чем вложил - а дальше всё, гуляй, спасибо за деньги, вот твой профит, удачи! (это и есть capped-profit, оно же limited profit).

Более того, из недавних отчётов появилось понимание, подтверждающее некоторые тезисы выше - вот CNBC пишут, что у Сэма НЕТ акций ("решение было необычным для людей из Силиконовой долины").

Ну и после этого хочется напомнить немного про Сэма, СЕО OpenAI - он в прошлом директор Y Combinator, одного из самых старых и престижных стартап инкубаторов, и он точно 1) собаку съел в структурах компаний и переговорах 2) он очень хорошо понимает, как привлекать деньги (и у него не получилось) 3) у него были способы заработать гораздо больше и быстрее, по крайней мере на текущий момент. Чуть больше можно почитать выше по каналу.

UPD: важный для понимания факт в том, что сам переход на формат двух компаний и LC был в 2019м году, и это не помешало выпустить открыто GPT-2, опубликовать статью про GPT-3, GPT-3.5 и кучу других вещей. Это не вчера произошло, что они такие "ой нет всё теперь мы не некоммерческая организация, и ничего вам не дадим" - это было давно.

Добрый подписчик с полуслова понял, о какой статье идёт речь - об анализе в Тинькофф.Журнале, приглашаю к прочтению: https://journal.tinkoff.ru/chatgpt-financial-history/
(блин, а за интеграцию заплатят..?)

Вырезки оттуда:

— На март 2023 года существует две OpenAI. «Основная» OpenAI — НКО, которая и занимается ИИ. Так как это НКО, у нее нет владельцев, а есть совет управляющих из 9 человек. В нем состоят основные фигуры OpenAI и ранние основатели-инвесторы, в том числе Альтман.
— «Коммерческая» OpenAI Limited Partnership (OpenAI LP), через которую деньги поступают в основную компанию и которая проводит и оформляет коммерческие операции НКО, например продажу товаров и услуг. Долями в ней владеют инвесторы и НКО OpenAI.
— А основная НКО, которая и занимается работой над ИИ-проектами, инвесторам не принадлежит. OpenAI LP выполняет чисто техническую роль: собирает все заработанные OpenAI деньги, но именно головная некоммерческая OpenAI их распределяет так, как считает нужным, что в контексте НКО означает траты на основную цель существования — НИОКР в сфере ИИ.
— У НКО есть право вето на решения руководства OpenAI LP, которые касаются ценностей НКО OpenAI, лицензирования технологии и безопасности ее передачи.

И главное, отвечая на тезисы "OpenAI продались":
— Такая структура создает немалые риски для инвесторов в OpenAI LP, которая по факту не владеет ничем
— Руководить распределением прибыли ( после выхода на прибыль и решения проблемы «вернуть прибыль за 10 млрд от Microsoft») будет НКО OpenAI. В самой НКО OpenAI у Microsoft и других инвесторов долей нет.


TLDR:
Такая структура создает немалые риски для инвесторов в OpenAI LP (Microsoft и других), которая по факту не владеет ничем: инвесторы в OpenAI владеют токеном от дырки от бублика — долей в OpenAI LP, которой не принадлежит ничего (никаких технологий).
Теоретически возможна ситуация, при которой НКО OpenAI просто разорвет отношения с OpenAI LP, и инвесторы останутся ни с чем.

Блестяще провёрнутая сделка, Мистер Альтман!

Саммари первой половины:

— если рассуждать с точки зрения того, что будет написано в Википедии на странице AGI в будущем, то Сэм считает, что там как промежуточный этап среди всех моделей OpenAI должна быть ChatGPT (не 3 и не 4), из-за удобства использования/формата чатбота, а не тройка или четверка
— дообучение из фидбека людей (RLHF, переход от GPT-3 к ChatGPT) изучено нами куда хуже, чем тренировка больших моделей, и мы слабо понимаем, что, как и почему происходит
— сейчас модели тренируют как хранилище знаний, чтобы оно выучивало то, что мы загружаем в модель, не как "reasoning engine" (движок/машина рассуждений). Но для некоторого определения слова "рассуждения" модель показывает способности к этому навыку (тут не дается четкого определения, так как это дискуссионный вопрос, потому и речь про "некоторое определение")
— ранняя публикация моделей позволяет получить фидбек от мира, и узнать о вещах, о которых вообще никто в OpenAI не думал: как модель ответит на этот вопрос? Может ли решить вот эту задачу? В то же время это даёт людям время "почувствовать" технологию и принять участие (в общем смысле) в её формировании
— сам Сэм не считает, что RLHF можно назвать решением проблемы alignment'а
— "много технических прыжков в базовой модели GPT-4" ("a lot of technical leaps in the base model") - так Сэм ответил на вопрос про отличие относительно GPT-3, мол, это не только RLHF/Alignment. Говорит, что они ищут множество маленьких улучшений, и комбинируют их вместе для получения результата, это не одна и не две идеи. И это всё - на каждом отдельном этапе, от сбора данных, от очистки и до деталей тренировки
— система, которая не может произвести значимое количество новых научные знания - не может называться AGI (Сэм употребляет слово "Superintelligent")
— он оценивает вероятность того, что невозможно решить проблему alignment'а, как ненулевую, и это лишь подтверждает то, что мы должны обращать на неё внимание, а не игнорировать. В том числе одно из главных направлений - это нахождение новых способов решения
— дальше они с Лексом обсуждают, имеют ли модели сознание, и откуда мы знаем, что ответ на этот вопрос сейчас "нет"? Лекс говорит, что модели, вероятно, хороши в притворстве обладания сознанием, а Сэм ловко подмечает, что вообще нонсенс, что мы об этом начинаем вот так говорить, что у нас нет однозначного чёткого ответа (потому что само понятие сознания не определено, в том числе).
— немного отстранённое воспоминание от Сэма на тему рассуждений о сознании с Ильёй Суцкевером на тему "а как мы поймем, что у модели есть сознание?": если мы каким-то образом очистить всю тренировочную выборку модели от не только употребления этого слова, но и от самого концепта сознания, и обучить модель, а потом начать ей объяснять понятие сознания и она ответит в духе "да, я понимаю, о чём ты!" - вот тогда стоит начать очень сильно беспокоиться по этому поводу. Но так как датасеты уже давно больше сотни гигабайт - то мы никогда на 100% не можем быть уверены, что проводим эксперимент правильно, с полной изоляцией нашего собственного понятия и восприятия разума.
— Сэм переживает, что с ростом доступности GPT-4-подобных моделей появятся проблемы дезинформации, может быть даже экономических шоков, к которым мы не готовы. И для этого не нужен суперинтеллект даже. И дело в том, что эта проблема не получает должного внимания, но с релизом ChatGPT и массовым распространением люди начинают думать, размышлять по этому поводу. А так - мы даже не заметим, как значимая доля контента в социальных сетях, особенно в твиттере, может начать генерироваться LLMками. И OpenAI частично работает и будет продолжать работать над проблемой.
— Первая половина кончается на серьёзной ноте: что будет, когда их конкуренты начнут делать что-то подобное и даже обгонят? Начнут ли OpenAI жертвовать безопасностью? Сэм утверждает, что надо придерживаться той миссии, которую они себе обозначили, и что они не будут польоваться сокращенными путями для ускорения — и что в результате этого они могут даже начать отставать.

— Сэм верит, что будет несколько AGI, и они лишь делают один из нескольких. Интересная точка зрения, в моей картине мира, как я думал, будет один AGI, а остальные не будут за ним успевать, что делает их бесполезными в этой гонке (и первый будет их в некотором смысле "уничтожать", стирать, как вирусы). А как видите вы?