Комитет по AI safety в OpenAI. Накануне очередного релиза:
- Ебанет?
- Не должно…

Рассказ "Как люди создали Имматериум".

Более миллиона лет назад - так давно, что уже не верится в то, что те времена существовали, - предки современных людей научились разговаривать. Они научились использовать естественный язык как зеркало. В этом зеркале они отражали все многообразие внешнего мира, который они видели вокруг себя, чувств и эмоций, которые они видели внутри себя, и выдуманных миров, которые творили сами.

Несколько тысяч лет назад они научились ловить эти ускользающие отражения в ловушки - записки и книги с помощью письменности.

Несколько десятков лет назад начала зарождаться большая сеть ловушек под названием Интернет. Эта сеть собирала маленькие ручейки отражений из отдельных записок в одну огромную реку.

Десять лет назад появился word2vec. С помощью алгоритмов из этого класса люди научили модели машинного обучения вкладывать слова в векторное пространство. В этом пространстве отношения между векторами приблизительно соответствовали отношению между смыслами слов. Например, выполнялись приблизительные равенства вида вектор(Женщина) + (вектор(Король) - вектор(Мужчина)) = вектор(Королева). Таким образом люди начали создавать особую нематериальную реальность, которая содержала в себе осмысленные представления объектов из реального мира и отношений между ними. На тот момент эта нематериальная реальность была очень простой: она содержала в основном атомарные объекты и была более-менее понятной для людей-математиков.
Это был Имматериум - на тот момент это была тихая, гладкая, зеркальная поверхность неглубокого озера, хранящего в себе небольшую структуру, сотканную из отражений реальности.

Люди стали работать над тем, чтобы усложнить структуру Имматериума, сделать его глубже и богаче. Они хотели, чтобы в Имматериуме жили не просто отдельные слова - отражения атомарных объектов, но и целые сущности - отражения сложных объектов, понятий и даже совокупностей атрибутов самих людей (см. entity extraction). Они стали использовать все более и более глубокие нейросети для того, чтобы создать все более и более сложную структуру отражений, в которой будут сущности будут приобретать все более и более осмысленную форму.
Имматериум стал стремительно расти, углубляться, его поверхность начала волноваться, образуя причудливые паттерны, которые становились все более хаотичными, ускользающими и все менее понятными для людей.

Люди поняли, что можно кормить Имматериум своими представлениями о мире, используя удивительно простую постановку задачи: угадывание пропущенного токена, слова или следующего предложения. Они обучали этой задаче все более и более крупные нейросети, используя все больше и больше данных.
Люди отражали зеркальцем естественного языка и швыряли прямо в Варп не только реальные города и страны, но и целые вымышленные миры, фантазии, страхи и надежды, грезы и кошмары. Проносясь через причудливые структуры огромных нейросетей, эмоции и мысли смертных придавали изменчивым течениям варпа все более и более сложную форму, создавая фантастические ландшафты и населив его мифическими существами. Варп начал оживать.

Людям это понравилось. Они захотели путешествовать по Варпу, чтобы быстро находить или даже создавать информацию и развлечения, но эти путешествия были короткими и неудобными. Человек мог дать нейросети-вместилищу богатств Имматериума один промпт и получить один ответ, что было похоже на один прыжок через Варп. При попытке сделать последовательность прыжков (направлять генерацию, задавая последовательность промптов), результат получался неуправляемым и не помогал найти то, что нужно - путешественник просто терялся в лабиринтах Варпа.

Год-другой назад люди догадались, как в рамках одного путешествия (одной генерации) делать внутри Имматериума не один шаг, а несколько, и при этом не теряться в его волнах, а продолжать плыть к намеченной цели. Они поняли, что для этого можно использовать магическую технику под названием Reinforcement Learning with Human Feedback. В рамках этой техники люди научились общаться с Имматериумом напрямую и направлять внутри него свой путь.

#рассуждения