А вот ответочка от Midjourney

https://twitter.com/KotLesny/status/1604011001430564864

Надо как-то закрыть тему с арстейшеном, а то меня в коментах в фб уже называют маленькой собачкой и глупым дурачком, который не в теме.
Я уже изложил свое видение ситуации в этом посте.
Здесь доверну до конца.
Многие мне пишут "проблема в том, что художников никто не предупредил, что их работы будут использоваться для обучения".
Это правда, не предупредили. Как и всех, кто выкладывал фотки и всех, кто писал тексты в интернет до середины 2022 года.
А кто мог предупредить?
Кто предвидел, что ИИ будет генерить картинки НАСТОЛЬКО хорошо?
Датасеты, на которых учился ИИ валялись в сети уже давно, задолго до лета этого года.
Никто же не просил удалить свои работы оттуда.
Более того, собирали датасеты одни люди (давно), а использовали их другие.
И никакого запроса типа "не трогайте эти датасеты для обучения" не существовало.
Более того, генерация с помощью DiscoDiffusion в сети уже больше года, но что-то никто не почесался, чтобы удалить свои работы из датасетов, а все только показывали пальцем "посмотрите, какое гуано генерит ваши ИИ".
Ни у кого и в мыслях не было, что однажды он научится делать реально хорошие картинки.
А потом это произошло.
И всех бомбануло.
Но эта та ситуация, когда никто не мог предполагать ТАКОГО социального эффекта.
Поэтому никто никого не спрашивал.

Далее, из датасетов Stable Diffusion 2.0 удалили работы многих известных художников как бы в ответ на волнения в массах.
Артстейшен и другие ввели теги, позволяющие запретить попадание работ в датасеты.
Пошли попытки регуляции и решения проблемы.
Но вот эти вот красные знаки NoAI - это реально смахивает на луддитство.
Регуляция будет идти разными путями, но вряд ли через запреты и отмены.

И регуляцию ждем много подводных камней.
Например сейчас уже каждый может взять 30 любых картинок и дообучить Stable Diffusion новому стилю. Хоть Рутковскому, хоть Авайзовскому. И получить модель(веса), куда попали работы, о которых ничего неизвестно, давали авторы согласие или нет. Получам такую "пиратскую" Stable Diffusion внутри которой черный ящик - нельзя сказать, на чем ее учили.

Поэтому я резюмирую абзацем из предыдущего поста: "Есть сильное сопротивление тому факту, что скоро все будут и художниками и зрителями-потребителями художеств в одном лице. Как фотографы и писатели."

Да, с этого момента художников будут спрашивать про датасеты. Да, появятся новые нормы "плагиата", все это будет как-то жить. Но фарш диффузии нельзя провернуть назад. Как раньше уже не будет.

Эксперименты не заставили себя долго ждать. UE5 скрестили с Point-e – родилась собака, бутылка и мотоцикл! Время генерации примерно 20 сек. Запомните этого гомункула, к концу года он станет прекрасной бабочкой.

Следующим шагом будет перенос данных с изображения в Вертекс колор, решение так себе, но лучше, чем ничего; благо, для этого нужен будет массивный поинтклауд, который UE легко переварит и аккуратно запакует.

Генерит пока не пугающе круто, так что спокойной ночи, пока...

Сражение людей против машин идет волнами.
Снова кожаные перехватили инициативу.
В сентябре писал про отличную художницу, которая не стала бодаться с ИИ, а приручила его:

"Давно слежу за Крис Каштановой, она делает потрясающие вещи и постит много полезностей в фб.
А теперь она взяла и зарегистрировала свой комикс, полностью созданный с помощью Midjourney и получила авторские права на него!!
Шах и мат, шаттерсток и гетти. ИИ тоже человек."

Но!!

Вначале Бюро регистрации авторских прав США зарегистрировало права Каштановой, но потом отозвало свое решение, объяснив его тем, что специалисты Бюро по ошибке упустили из виду, что именно нейросеть Midjourney создала комикс, поэтому на это произведение искусства не распространяется защита авторского права, так как оно не создано людьми.

Приплыли!

Подробности тут:
https://www.cbr.com/ai-comic-deemed-ineligible-copyright-protection/

Крис также пишет в фб, что ее травят анти-ИИ луддиты. Там просто треш какой-то.

Комикс тут: https://aicomicbooks.com/wp-content/uploads/2022/09/kashtanova-full-book-v1-small.pdf

Статья тут:
https://arstechnica.com/information-technology/2022/09/artist-receives-first-known-us-copyright-registration-for-generative-ai-art/

ФБ Крис - https://www.facebook.com/groups/526007639164475/user/100006290070556/

Немного попсовое, но, тем не менее, занимательное и полезное видео о применении ИИ в спорте. Там даже спортивным журналистам досталось.
Оцените, что умеет computer vision в 2022 году - цифровые двойники спортсменов впечатляют.
Ну и про управление вниманием тоже хорошо.
https://youtu.be/14dt-RCRUu0

Оказывается инпайнтинг был во все времена.
Вот поглядите, художники просто брали один и тот же сюжет или даже контур и вписывали туда новый стиль. А уже потом зрители разшифровывали новые смысли.
Так что инпайнтинг и стайл трансфер это просто унаследованные от кожаных мешков фичи.
https://t.me/CGIT_Vines/1714

Это настолько круто, что я даже перевел это, чтобы вы почитали, ибо это стоит того.
MinD-Vis: модель искусственного интеллекта, которая может реконструировать то, что вы видите, используя сканирование мозга. Неинвазивное притом.

В последние месяцы диффузионные модели стали предметом пристального внимания.

Идея моделей диффузии относительно проста. Вы начинаете с чистого шума и постепенно устраняете шум, пока не получите реалистично выглядящее изображение. Вы можете спросить, а как насчет текстовых подсказок, которые мы используем? Как они влияют на выходное изображение? Что ж, ответ заключается в том, что они используются для направления сети, чтобы процесс постепенного шумоподавления шел в определенном направлении.

Итак, мы знаем, что если мы начнем с чистого шумового изображения, мы сможем создать из него реалистичное изображение. Так работает диффузионная модель. Задумывались ли вы когда-нибудь, как мы запоминаем или представляем себе объекты, которые видели раньше? Что происходит в нашем мозгу, когда мы видим утку в парке, идем домой и пытаемся вспомнить, как она выглядела? И причем тут диффузионные модели? Ну, потому что MinD-Vis пытается добиться чего-то действительно интересного. Расшифровка МРТ-сканов человеческого мозга для реконструкции объектов, которые они видели.

Да, вы правильно прочитали. Существует диффузионная модель для реконструкции объектов, которые вы видите, используя МРТ-сканирование вашего мозга, когда вы впервые увидели этот объект.

Мы формируем нашу жизнь вокруг того, что мы чувствуем и что мы видим. В дополнение к качествам внешних раздражителей наши переживания также формируют сложную мозговую деятельность, лежащую в основе нашего восприятия мира. Основная цель когнитивной нейробиологии — понять эти функции мозга и расшифровать сохраненную информацию. Поэтому расшифровка визуальной информации сканирования мозга является важной задачей.

Но как мы фиксируем информацию в мозгу? Большинство из нас, вероятно, видели устройство магнитно-резонансной томографии (МРТ). Эти устройства могут сканировать активность мозга. С другой стороны, функциональная магнитно-резонансная томография (фМРТ) представляет собой тип технологии медицинской визуализации, в которой используется магнитное поле и радиоволны для получения подробных изображений головного мозга.
Некоторые исследования были сосредоточены на восстановлении визуального соответствия с использованием исходных сканов фМРТ и соблюдении биологических принципов с помощью модели глубокого обучения. Однако, поскольку модели глубокого обучения получают огромное количество данных и поскольку не существует крупномасштабного набора данных пар фМРТ-изображение, эти подходы обычно дают размытые и семантически бессмысленные изображения.

MinD-Vis — это разреженное маскированное моделирование мозга с двойной моделью скрытой диффузии для декодирования человеческого зрения. Оно использует крупномасштабное обучение набору данных и имитирует разреженное кодирование информации в мозгу. MinD-Vis может создавать значимые изображения с соответствующими деталями, используя запись мозга с очень небольшим количеством тренировочных пар.

Для тех, кто ничего не понял.

Даем ИИ на вход сканы из ФМРТ, а он выдает какую картинку видит сканируемый человек.
https://www.marktechpost.com/2022/12/03/meet-mind-vis-an-ai-model-that-can-reconstruct-what-you-see-using-brain-scans/

Ну, за реперов!
Для тех, кто не фанат рэпа (как я) это звучит очень похоже на кожаный рэп.
Все, что потребовалось - это попросить chatGPT "напиши репчик".
А потом скормить полученный текст (это прям стихи с рифмами) в УберДак - это нейроночка для озвучки текста голосом.
Плюс немного аранжировочки - и вот уже пожно провожать кожаных реперов на покой.

Nerf в Виаре. В реалтайме на RTX3090.
Как пишут в треде:


Gives your brain a much better sense of space than watching a video of the same. You notice stuff you miss in video. With more res + speed it'll be stunning IMO.

https://twitter.com/jrpowers/status/1586084644856164352

С Новым годом! Пост ниже:

Всех с наступившим!
Подытожим, так сказать, коротенечко, минут на сорок.
Всем огромное спасибо - канал устремился to the moon - причем без всякого проливания трафика и рекламы. В некоторые дни в канал прибывало по сто человек, и мне совершенно неведомо откуда идет такой сказочный трафик.
Я тоже разошелся не на шутку, многие жалуются, что я слишком много пишу - буду сдерживать себя как могу, но ИИ толкает в спину постоянными поводами.
Ну и спасибо за донатную поддержку и подписку, это реально держит канал живым.
Ну и немного философии на стол грядущий.
Вот смотрите, раньше люди слушали жрецов, потом апостолов (потом авторов телеграм-каналов).
Потом читали книги уважаемых авторов, смотрели на картины признанных художников, работы гениальных фотографов.
Авторитеты формировали в голове зрителей и читателей идеи об устройстве этого мира. Через свои произведения.
Потом, как я уже писал, пришел интернет, и писателями стали все, даже те, кто не умел читать толком.
Потом все стали фотографами с приходом цифры и телефонов.
А в этом году все стали художниками, благодаря диффузионным моделям.
Зрители и читатели теперь стали и писателями, и художниками.
И теперь, благодаря ИИ, датасетами и большим языковым моделям, мы смотрим на этот мир, не через призму таланта избранных авторов, а глазами всего населения интернета.
Мы видим отражение всех нас - наших текстов, картинок, даже мыслей.
Этот мир проступает для нас в зеркале.
Беспристрастном зеркале ИИ - который просто показывает нам устройство мира через наше коллективное творчество - творение этой реальности.
Теперь мы формируем картину мира - через датасеты, обучение ИИ и получение обратной связи через инференс.
Вот она, полюбуйтесь.
2022 год принес в нашу жизнь chatGPT, Midjourney и Stable Diffusion.
А диффузия стала проявлять новые слои, явления и даже социальные проблемы.
Вот оно - зеркало нас. Поглядите в него. Увидите отражение накопленного опыта.

Многие тут стенают, что у ИИ нет души и любви.
А вы просто спросите себя, сколько любви вы заложили в эти беспристрастные датасеты?
Думаете ИИ - расист, сексист и равнодушная тварь потому что он такой от рождения?
Вы же сами его учили на своем интернете.
Сколько любви и души нашел в интернете - столько и показал.
Так давайте сделаем так, чтобы ИИ отзеркалил в будущем году как можно больше любви и творчества, а мы начали меняться в лучшую сторону, глядя в зеркало - ведь не зря ИИ нам нас показывает.

И пусть закончится эта преступная война.

С Новым годом вас!

P.S. У кого как, а у меня йолки...

Когда йолки позади.
Когда на улице 21 и в воде тоже.
То Дед-Морозу можно, наконец, расслабиться.
1 января.
Всех с Наступившим!

https://showgpt.co/
Летом заскрапили базу картинок и промптов к этим картинкам - получилась отличная база для обучения в виде сайта lexica.art

Держите аналог для текстовых промтов для chatGPT.

Там примеры, категории, поиск диалогов, которые близки к вашей задаче.
Отличный старт для тех, кто начинает писать сообщения на деревню дедушке chatGPT и хочет подсмотреть, как другие помыкают покорным ИИ.

И даже рейтинги переписок с ИИ.

Все-таки рейтинги у кожаных в крови.
https://showgpt.co/

Интересный кейс - производитель костюмов для Мокапа выпустил свой "нейромокап" - по видео (даже с вебки) они восстанавливают движения скелета. В общем занимаются тем же самым, что и PlaskAI, Radical или DeepMotion.
Примечательно то, что это продукт от производителя костюмов. В принципе, это может стать драйвером продаж их железок с сообщением "не нравится отстойное качество нейромокапа - берите костюм для взрослых".
Ждем ответа от Xsens и Vicon - им сам бог велел написать такие софтины с их-то опытом и датасетами.

Насколько же Слава Смирнов опередил время со своим нейромокапом - еще два с лишним года назад показывал на Ивенте свой ИИ-мокап, когда пласки и радикалы еще датасеты собирали.

https://www.rokoko.com/products/video

Демо в Блендере
https://www.youtube.com/watch?v=4ItfUVwXt5Y

Тут в декабре завирусился китайский ИИ-генератор Different Dimension Me, который лихо и ловко превращает ваши фотки в аниме.
Только вот стало понятно, что китайцы сильно упоролись по зачищению датасетов от политически нежелательных элементов и упоминаний, а на диверсити и политкорректность (в некитайском смысле) им глубоко плевать.
Помните сколько времени Гугль убил, чтобы побороть проблему распознавания горилл. Не поборол, просто заблочил определенную ветку распознавания.
А у китайцев своя повестка.

Ну и, кстати, про китайские нейросетки.
У них там свой зоопарк, причем довольно прокачанный и абсолютно независимый от достижений Гугла, Нвидии, OpenAI, StabilityAI и прочих Midjourney.

Baidu, зарекомендовавшая себя в поисковых системах и в последние годы активизировавшая свою деятельность в области автономного вождения, использует ERNIE-ViLG (про которую я уже писал), модель с 10 миллиардами параметров, обученную на наборе данных из 145 миллионов китайских пар изображения и текста.

Different Dimension Me (из предыдущего поста) от Tencent умеет превращать фотографии людей в персонажей аниме. Предназначенный для китайских пользователей, он неожиданно стал популярен в других регионах, где любят аниме, таких как Южная Америка.

Другой китайской моделью преобразования текста в изображение является Taiyi, детище IDEA, исследовательской лаборатории, возглавляемой Гарри Шамом, который стал соучредителем крупнейшего исследовательского подразделения Microsoft Research Asia. Модель с открытым исходным кодом обучается на 20 миллионах отфильтрованных китайских пар изображение-текст и имеет один миллиард параметров. Некий аналог Stable Diffusion.

Любопытно посмотреть, как китайцы будут регулировать все это безобразие - ибо опыта в "регулировании" у них поболее, чем у всего остального мира.

И пока ИИ-повстанцы собирают краудфандингом деньги на создание "Stable Diffusion без цензуры", китайцы спокойно оттачивают алгоритмы регулирования нейросеток в интересах государства, а не ориентируясь на чувства верующих.

Подробнее тут:
https://techcrunch.com/2022/12/31/how-china-is-building-a-parallel-generative-ai-universe/

Ну что, за аниматоров в этом году еще не выпивали.

Открываете Блендер и ну орать на своих персонажей "Упал-отжался".
А они, такие, послушные - падают и отжимаются.
Вы им текст, они вам анимацию.
Профит.
Открываем курсы красноречивости для бывших аниматоров!
https://www.youtube.com/watch?v=pTkn2qWfc60

Киберпанка вам на ночь.
Вы думаете вот эти робопсы только на выставках и корпоративах появляются?
Нет, они ждут своего часа в подвалах лабораторий, где перешедшие на сторону ИИ кожаные тестируют их для дальнейшего использования.
Тварь Unitree Go1 — это робот-собака нового поколения, способная развивать скорость до 17 км/ч, с адаптивными шарнирами и интеллектуальной системой бокового зрения.
Когда эти твари начнут сбиваться в стаи, вы пожалеете, что развешивали лозунги NoAI на стенах артстейшена.
https://twitter.com/rainmaker1973/status/1540643332304633856

Для подкастеров и тюберов.
Адобченко натренировал свои сенсейные нейросетки для работы с голосом - улучшение речи заставляет ваши нелепые голосовые записи, сделанные на телефон, звучать так, как будто они были записаны в профессиональной студии.
Ну, за звукорежей!
https://podcast.adobe.com/enhance

Интернетик яростно перепечатывает новость из TheInformation, в которой сказано, что "Microsoft готовится к запуску версии своей поисковой системы Bing, которая использует ИИ, лежащий в основе ChatGPT, для ответа на некоторые поисковые запросы, а не просто для отображения списка ссылок, по словам двух человек, непосредственно знакомых с планами. Microsoft надеется, что новая функция, которая может быть запущена до конца марта, поможет ей обойти Google".

Новость вызывает ОЧЕНЬ много вопросов. Но общий тренд прослеживается - в 2019 году Микрософт вонзила миллиард долларов и в 2022 году начинает получать возврат инвестиций. Они уже анонсировали встраивание DALLE2 и в Bing, и в другие продукты (хозяин-барин теперь). А теперь вот пришла очередь chatGPT.

Мир больше не будет прежним - ИИ будет вашим добрым советчиком, от которого нельзя отказаться. Ибо Гугль тоже приподохренел от возможностей chatGPT и пилит симметричный (или ассимметичный) ответ опенэйайю.

https://www.theverge.com/2023/1/4/23538552/microsoft-bing-chatgpt-search-google-competition