Понравилось объяснение на польцах как работают генеративные модели вроде Stable Diffusion, Midjourney и Dalle

Игра с сюжетами

1. Придумываем новые истории

Представим, что мы создали игру для детей, чтобы развить их творческий потенциал и научить придумывать вымышленные истории. Обычно дети пишут на интересные для них темы. Но мы хотим расширить их горизонты и научить мыслить нестандартно, чтобы они могли сочинять истории на любую тему.

Мы будем учить этому постепенно. Начнем с навыка, который на первый взгляд может показаться бессмысленным: выявление существующих сюжетов.

Дадим детям предложение с опечаткой. Если они найдут и исправят опечатку, они раскроют сюжет известного фильма. Например:

Принцесса с волшебными вилами случайно устраивает вечную зиму в своем королевстве.

Большинство детей легко поймут, что "вилы" — это ошибка, и заменят его на "силы". Фильм, конечно же, "Холодное сердце".

Теперь усложним задачу. Ошибкой будет не рифмованное слово, а совершенно другое. Например:

Рыба-клоун отделилась от своего банана и должна найти дорогу домой.

Дети, знакомые с фильмом "В поисках Немо", поймут, что "банан" нужно заменить на "отец". Но если ребенок заменит "банан" на "лучший друг", предложение тоже будет логичным, даже если это не точное описание фильма.

2. Становится шумнее

На первый взгляд кажется, что мы далеко от нашей цели — создания генеративных моделей изображений. Но на самом деле мы учим детей определять интересные сюжеты в предложениях с ошибками.

Назовем эти ошибки "шумом". Повысим уровень сложности и заменим два слова:

Лев-изгой сталкивается со своим барбекю и возвращается домой, чтобы бросить вызов мороженому, убившему его отца.

Ребенок может попробовать несколько вариантов, пока не поймет, что "барбекю" нужно заменить на "страхи", а "мороженое" на "дядю". Но он также может заменить "барбекю" на "критиков", а "мороженое" на "тигра", и сюжет будет правдоподобным, хоть и не точным.

Теперь дети научились разбивать задачу на этапы, выявляя сюжеты, даже если они не точные. Этот процесс можно продолжать. Например:

Прыгающий омлет убегает от баса и эффектно стоит.

Дайте это предложение творческому ребенку и попросите его заменять слова, пока не появится захватывающий сюжет. У вас будет хит-блокбастер.

В конце концов, все слова могут быть неправильными. Например:

Золотые ножницы наушники аккуратная машинка шпинат.

Научившись этой игре, дети смогут создавать связные сюжеты из случайных слов.

3. Соединяем точки

Наша игра похожа на то, как обучаются генеративные модели. Инженеры OpenAI и других компаний берут реальные изображения и добавляют к ним шум в виде случайных точек (пикселей). Модель обучается удалять этот шум и возвращать целостное изображение. [A]

После многих итераций и выборки данных компьютер становится искусным в очистке входных данных и возвращении к исходному изображению. Мы можем добавить еще больше и больше шума. Как дети учатся заменять слова в запутанных предложениях, так модель проходит через несколько этапов удаления шума, пока не появится понятная картинка. [B]

После многих итераций модель ИИ научится находить образы в полном шуме. Через десятки итераций чистый шум можно превратить в кошку. [C]

Суть Stable Diffusion, Dalle и Midjourney в том, что они превращают картинку со случайным шумом в изображение. Так же, как мы просим детей находить сюжеты в случайном предложении. Отсюда и вероятность получить три ноги у человека, или пять ног у слона