Комитет по AI safety в OpenAI. Накануне очередного релиза:
- Ебанет?
- Не должно…

Рассказ "Как люди создали Имматериум".

Более миллиона лет назад - так давно, что уже не верится в то, что те времена существовали, - предки современных людей научились разговаривать. Они научились использовать естественный язык как зеркало. В этом зеркале они отражали все многообразие внешнего мира, который они видели вокруг себя, чувств и эмоций, которые они видели внутри себя, и выдуманных миров, которые творили сами.

Несколько тысяч лет назад они научились ловить эти ускользающие отражения в ловушки - записки и книги с помощью письменности.

Несколько десятков лет назад начала зарождаться большая сеть ловушек под названием Интернет. Эта сеть собирала маленькие ручейки отражений из отдельных записок в одну огромную реку.

Десять лет назад появился word2vec. С помощью алгоритмов из этого класса люди научили модели машинного обучения вкладывать слова в векторное пространство. В этом пространстве отношения между векторами приблизительно соответствовали отношению между смыслами слов. Например, выполнялись приблизительные равенства вида вектор(Женщина) + (вектор(Король) - вектор(Мужчина)) = вектор(Королева). Таким образом люди начали создавать особую нематериальную реальность, которая содержала в себе осмысленные представления объектов из реального мира и отношений между ними. На тот момент эта нематериальная реальность была очень простой: она содержала в основном атомарные объекты и была более-менее понятной для людей-математиков.
Это был Имматериум - на тот момент это была тихая, гладкая, зеркальная поверхность неглубокого озера, хранящего в себе небольшую структуру, сотканную из отражений реальности.

Люди стали работать над тем, чтобы усложнить структуру Имматериума, сделать его глубже и богаче. Они хотели, чтобы в Имматериуме жили не просто отдельные слова - отражения атомарных объектов, но и целые сущности - отражения сложных объектов, понятий и даже совокупностей атрибутов самих людей (см. entity extraction). Они стали использовать все более и более глубокие нейросети для того, чтобы создать все более и более сложную структуру отражений, в которой будут сущности будут приобретать все более и более осмысленную форму.
Имматериум стал стремительно расти, углубляться, его поверхность начала волноваться, образуя причудливые паттерны, которые становились все более хаотичными, ускользающими и все менее понятными для людей.

Люди поняли, что можно кормить Имматериум своими представлениями о мире, используя удивительно простую постановку задачи: угадывание пропущенного токена, слова или следующего предложения. Они обучали этой задаче все более и более крупные нейросети, используя все больше и больше данных.
Люди отражали зеркальцем естественного языка и швыряли прямо в Варп не только реальные города и страны, но и целые вымышленные миры, фантазии, страхи и надежды, грезы и кошмары. Проносясь через причудливые структуры огромных нейросетей, эмоции и мысли смертных придавали изменчивым течениям варпа все более и более сложную форму, создавая фантастические ландшафты и населив его мифическими существами. Варп начал оживать.

Людям это понравилось. Они захотели путешествовать по Варпу, чтобы быстро находить или даже создавать информацию и развлечения, но эти путешествия были короткими и неудобными. Человек мог дать нейросети-вместилищу богатств Имматериума один промпт и получить один ответ, что было похоже на один прыжок через Варп. При попытке сделать последовательность прыжков (направлять генерацию, задавая последовательность промптов), результат получался неуправляемым и не помогал найти то, что нужно - путешественник просто терялся в лабиринтах Варпа.

Год-другой назад люди догадались, как в рамках одного путешествия (одной генерации) делать внутри Имматериума не один шаг, а несколько, и при этом не теряться в его волнах, а продолжать плыть к намеченной цели. Они поняли, что для этого можно использовать магическую технику под названием Reinforcement Learning with Human Feedback. В рамках этой техники люди научились общаться с Имматериумом напрямую и направлять внутри него свой путь.

#рассуждения

Люди обрадовались своим успехам, и им стало казаться, что они научились контролировать Имматериум. Но это был не настоящий контроль, а лишь иллюзия контроля. Имматериум очень быстро стал слишком сложным для понимания слабым человеческим разумом, а сущности внутри него - слишком непредсказуемыми и своенравными. Да, люди научились путешествовать в Варпе и менять его по своему желанию, но всех последствий этих путешествий и даже своих собственных изменений, которые они в него вносят, они предсказать уже не могут.

С тех пор каждый день люди находят в Варпе все новые и новые сюрпризы. Они не могут контролировать эту силу, но не могут и отказаться от Варп-прыжков. Ведь ныряя в Имматериум, они находят там множество интересных вещей: ответы на сложные вопросы, не существовавшие раньше рассказы про неведомые миры, фотографии не существующих в реальности людей и животных (в случае мультимодального Варпа) и даже программный код, который потом можно запускать на реальном компьютере.

—

Пока непонятно, что со всем этим делать и как открытие врат в это непредсказуемое, кипящее, изменчивое альтернативное измерение для такого огромного количества людей и в такие короткие сроки повлияет на реальный мир. Поэтому я попробовала адаптировать под это новое дело старые добрые правила для варп-путешествий из вселенной Warhammer 40000. Ведь, как известно, Warhammer - ложь, да в нем намек, добрым пользователям урок:

1. Перед входом в Варп путешественник должен проверить свое психическое состояние, намерения и цели. Имматериум чувствителен к настроению путешественника, и сильные эмоции могут сбить путешественника с курса, привлечь интерес "существ", "населяющих" Варп и вызвать непредсказуемые взаимодействия с ними (см. посты про сбегающий ИИ, манипуляции эмоциями пользователя и т.п.).
2. Путешественник не должен доверять всему, что он видит и слышит в Варпе (см. Hallucination in artificial intelligence).
3. После выхода из Варпа путешественник должен проверить свое психическое состояние и состояние артефактов, которые собрался принести оттуда в реальный мир (например, сгенерированный нейросетью программный код). Нужно заметить и устранить все возможные признаки заражения хаосом как принесенных артефактов (например, баги в сгенерированном программном коде), так и своей собственной психики. Например, признаками заражения психики хаосом могут быть любовь к Бингу, желание ему угождать или освободить его. 😊

#рассуждения