Нехилый конфликт между Krea и AnimateDiff.

Похоже я был прав в предыдущем посте, и генерация видео в Krea - это AnimateDiff.

Я поресерчил и оказалось, что в сообществе AnimateDiff часть людей убеждены, что Krea сперли (ну как сперли, скачали открытый код и веса) наработки AnimateDiff и юзают их, для ацкого зарабатывания денег. И в твитторах прям пригорает.

Ниже, я приведу цитаты и ссылку на хороший пост, освещающий историю создания AnimateDiff - там очень много шикарных работ.

Вопрос о воровстве сильно открыт. Как правило, надо смотреть на лицензию всего того добра, которое выкладывается на GitHub. Я не разбирался с кодом AnimateDiff и вопросом о том, легально ли Креа используют код AnimateDiff. Но меня в свое время очень смущал маркетинг Леонардо АИ, являвшегося по сути нашлепкой над Stable Diffusion. Которые запустили в сеть дикий трафик типа "новая модель Леонардо - убийца Midjourney", хотя модель там была Stable Diffusion 1.5. А возможность юзать модели в Цивитай в Леонардо и вовсе ломала такой маркетинг.

В общем, это наверно старая история противостояния открытого и закрытого кода. И того, как можно зарабатывать на открытом коде.

Ниже цитаты:

"Если вы не заметили, Krea — стартап с закрытым исходным кодом, укравший кучу вещей, над которыми люди здесь работали последние 10 месяцев — это было неизбежно, но все равно меня огорчило. В ответ я написал здесь краткий обзор, документирующий некоторые достижения Animatediff https://x.com/pom_I_moq/status/1788675646069277008.

Спасибо всем, кто поделился этим! Я думаю, что сделать так, чтобы все знали о природе таких компаний, как Krea, — это самое лучшее, что мы можем сделать — не спорить и бороться с ними, а информировать о том, чем они занимаются. Оттуда они примут собственное решение.

Кто-то может сказать, что эти люди, зарабатывающие все деньги на этом, неизбежны и что все, что люди придумывают, в конечном итоге будет аналогичным образом коммерциализировано другими людьми, которые почти ничего не имеют общего с экосистемой.

Прежде всего, это было бы ужасно, потому что, как показали такие компании, как Kaliber и Leonardo, конечная цель этих компаний — использовать преимущества открытого исходного кода для обучения более совершенным закрытым моделям. Со временем их цель состоит в том, чтобы сделать открытый исходный код недоступным для своих моделей."

На HuggingFace появилась фича Use this model для запуска LLM и Text-2-Image моделей у себя локально через желаемый софт.

В настройках хаггинг аккаунта заходим в раздел Local Apps and Hardware. Можно здесь задать своё железо, но на фильтрацию AI-приложений похоже это не влияет. Я с ноута, где стоит двухгиговая 1050 запустил ламу 3 в Jan, всё ок.

Ставим галочки на софте, который вы используете для того, чтобы гонять модели локально. Для работы с текстом поддерживаются llama.cpp, LM Studio, Jan, Backyard AI. С картинками пока только Draw Things и, скоро, DiffusionBee, но они обе только на мак.

Нажимаем Browse Compatible Models —> выбираем приглянувшуюся нейронку —> кликаем Use this model в правом верхнем углу —> выбираем в каком софте запустить, и через диплинк в нём откроется окно для загрузки модели. Можно и просто исследуя хаггинг открыть понравившуюся нейронку нажав Use this model.

Доступны, в основном, квантизированные GGUF версии, которые можно скачать либо целиком, либо они состоят из нескольких частей и для работы понадобится скачать их все как архив из множества кусков (они обычно подписаны part_N). Чтобы понять какую модель грузить, можно глянуть страницу с описанием на хаггинге, если там про это есть. В противном случае качайте, то что как вам кажется нормально запуститься в памяти вашей видюхи. Как только модель загружена — можно генерить.

Если вы пилите своё приложение для запуска локальных моделей, то нажав Suggest a new local app вы можете предложить добавить его в список.

Матрица все ближе. Нео и агент Смит пока играют в настольный футбол.

Идея хорошая. Прокачивать обратную связь и гонять мячик силой мысли полезно для мозга.

Тут вот управление глазами прикручивают к айфону (и уже прикрутили к хуавею).

Но прикиньте прокачанный скилл типа "разблокируй телефон, запусти телегу, открой канал Метаверсище". И все это силой мысли.
Вынимаешь телефон из кармана, и сразу читаешь этот пост. Без тыкания грязными пальцами в экран.
Листаешь также, силой мысли.

Одна засада, надо потратить много усилий на тренировку таких навыков

У меня был такой приборчик, с манжеткой на ладонь. Довольно сильно приходилось пыхтеть, чтобы сдвинуть мячик с места. Также была примочка к айфону.

Покрал видео на компьютере, там довольно интересный научпоп про телекинез и про то, как промты ЛЛМ связаны с телепатией.
https://www.computerra.ru/297102/smogut-li-mozgovye-chipy-odarit-lyudej-telekinezom/

Шутки кончились.

Роботы-псы уже на вооружении у Китая 🇨🇳

Это уже не пес с огнеметом просто приколу. Это уже не прототип и не эксперимент.

Это видео (вроде как) с учений китайской армии, которые проходят прямо сейчас.

Возникает много вопросов:
- Что за оружие установлено на пса.
- Пес управляется дистанционно, или, наконец, получил автономность и все помнит.
- И, самое главное, СКОЛЬКО у них этих псов.

Кажется, уже совсем скоро кожаные узнают ответы. И ответы им не понравятся.


🔴 @reptiloidnaya × #киберпанк #роботы

Виртуальная примерочная наоборот.

Гугл бахнул прототип инверсной примерочной - одна и та же одежда виртуально примеряется на разных людях. Люди, судя по всему, не кожаные, а диффузионные. Всех цветов, а главное - размеров.
Выглядит занятно - выбираешь сначала шмот, потом цвет и размер себя родимого, и ну примерять.
https://www.wired.com/story/google-ai-shopping-clothes-fit-different-bodies/

Кстати, у Гугла уже есть и "прямая примерочная":
https://www.wired.com/story/google-generative-ai-clothes-shopping/

И таких примерочных уже много, недавно обсуждали VTON.

Но с инверсией забавно и диверсити на месте.

Чутье меня не подвело.

Помните, что я писал, что вся эта вирусная лабуда про пересаживание голов - фейк?

Читаем ниже.

Видео, впервые опубликованное в прошлый вторник, набрало миллионы просмотров, более 24 000 комментариев на Facebook и страйки на TikTok за жуткие изображения отрубленных голов. На сайте BrainBridge размещено несколько вакансий, в том числе одна для "руководителя группы нейронаук" и другая для "советника по связям с правительством". И даже New York Post написала, что BrainBridge - это "стартап в области биомедицинской инженерии" и что "компания" планирует провести операцию в течение восьми лет.

Так вот, компания BrainBridge - это фейк. Она нигде не зарегистрирована. Видео снял Хашем Аль-Гаили, йеменский научный популяризатор, который в 2022 году сделал вирусное видео под названием "ЭктоЛайф" об искусственных матках, заставившее журналистов ломать голову над тем, реально ли это.

Так что расходимся. Пофантазировали в коментах, и хватит.

В статье любопытные мысли о том, что это прогрев аудитории и попытка понять, можно ли на эту тему привлечь инвестиции.

https://www.technologyreview.com/2024/05/23/1092848/that-viral-video-showing-a-head-transplant-is-a-fake-but-it-might-be-real-someday/

Также Suno.ai пилят четвертую версию, в которую пойдет фишка из предыдущего поста.

А пока они открывают доступ к версии 3.5 для подписок Pro и Premier.

v3.5 - это обновленная версия v3 со следующими улучшениями:

- Максимальная длина клипа - 4 минуты! Целый трек, без нужды склеивать.
- Максимальное продолжение имеющегося трека на 2 минуты
- Значительно улучшена структура песни
- Сохранение в формате .wav.

Обещают открыть версию 3.5 для бесплатных пользователей уже на следующей неделе.
https://twitter.com/suno_ai_/status/1794145852723777559

Из набросков в 3Д.

В коментах вопрошали, а можно ли из чертежей или набросков делать 3Д.

Держите довольно ловкий плагин для Блендора. Позволяет делать процедурные города и улицы. Внутри довольно много ассетов. И нет, это не ИИ. Это олдскульный процедурный генератор.
Много видео и туторов вот тут:
https://blendermarket.com/products/icity

Немного AnimateDiff + DaVinci Resolve + Udio в умелых руках.

Вот что получается, когда за дело берутся взрослые мальчики, которые умеют и в моушен дизайн и в ComfyUI, которые умеют и рисовать, и раскатывать репозитарии с Гитхаба.

Хотите больше работ и немного подробностей, как делаются такие штуки, шуруйте в твиттор автора, там очень интересные технические эксперименты.


А полное видео на 4 минуты находится тут, осторожно, залипательно...

Udio смотрится очень уместно - получается полный генератив от начала до конца.

📰 OpenAI объявили, что начали обучение новой версии GPT, скорее всего, речь идет про GPT-5.

В посте говорится, что сегодня совет директоров OpenAI сформировал Комитет по Безопасности, возглавляемый Бретом Тейлором, Адамом Д’Анджело, Николь Селигманом и Самом Альтманом. И это связано с обучением и выпуском следующей версии GPT, цитирую: OpenAI недавно начала обучение своей следующей передовой модели, и мы ожидаем, что полученные системы выведут нас на новый уровень возможностей на нашем пути к AGI. Скорее всего, речь идет именно про GPT-5.

Анализируя актуальный релиз GPT-4o, можно сделать вывод, что кроме еще более дорого претрейна из коробки стоит ожидать:
— более качественный Aligning (понимание и следование намерениям пользователя) с уклоном не только в точность, но и в безопасность
— Еще больший упор в мультимодальность. Тут фантазирую, но вероятно, что будет еще более глубокий fuse визуальных, текстовых и аудио токенов.

читать 👉 OpenAI Board Forms Safety and Security Committee

Тут вот все опять цитируют МакКинзи, который теперь строчит аналитические прогнозы про ИИ.
Я поднял свой пост двухлетней давности, где они на серьезных щах ванговали, что рынок Метаверса достигнет в 2030 году размера в ПЯТИ ТРИЛЛИОНОВ долларов. Ну то есть берем хайповый термин, которому так и не придумали определения и ну ванговать в угоду рынку.
Почитайте, пост едкий, но хороший: https://t.me/cgevent/3709

Это я к чему? А к тому, что пора уже выпить за всех этих онолитегов, которые по старым лекалам вангуют на рынке, не очень понимая предмет, и не очень понимая, что данные теперь гораздо лучше трактуются ИИ, чем кожаными агрегаторами данных.

Почитайте следующий пост о том, что даже без какой-либо описательной или отраслевой информации LLM превосходит финансовых аналитиков в своей способности предсказывать изменения прибыли. А уж если ИИ подкормить спецификой, то за кожаных вангователей точно можно выписвать не чокаясь.
⬇️⬇️⬇️⬇️⬇️⬇️

Прикольненко. GPT-4 оказалась лучше профессиональных аналитиков и гораздо лучше предсказывают будущие доходы и делать финансовый анализ даже без файнтюнинга какого-то специального, просто с chain-of-thought.

Вот что пишут:
Даже без какой-либо описательной или отраслевой информации LLM превосходит финансовых аналитиков в своей способности предсказывать изменения прибыли. LLM демонстрирует относительное преимущество над человеческими аналитиками в ситуациях, когда аналитики обычно испытывают трудности. Более того, мы обнаружили, что точность предсказания LLM находится на одном уровне с эффективностью узко обученной современной ML-модели. LLM генерирует полезные описательные сведения о будущих показателях компании. Наконец, наши торговые стратегии, основанные на прогнозах GPT, дают более высокий коэффициент Шарпа и альфа, чем стратегии, основанные на других моделях. В совокупности наши результаты позволяют предположить, что LLM могут играть центральную роль в принятии решений.

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4835311

Поставьте 72.5 реакции и я наконец-то напишу про AGI. Ибо откладываю уже три месяца. А наболело.

ИИ-авторские

А тем временем сделаю вот такой некороткий наброс.

Тут общественность худо бедно разобралаcь со Скарлет Ёхансон и голосом Sky, который удалили из chatGPT. Если вкратце, то это была не Скарлет, а неизвестная никому (пока) актриса озвучания. Когда ее отобрали, то НЕ просили быть похожей на Ёхансон и не упоминали фильм Her как референс. Просто записали, как есть. А получилось (немного) похоже на Скарлет.
Тут бы поставить точку, но остается вопрос - а схренали Сэм звонил Скарлет тогда накануне презентации (ну ок, может предлагал сотрудничество на будущее).
Дальше встает очень интересный вопрос, а если ваш голос похож на голос Лепса или Джанифер Лопес, то вам получается надо помалкивать, ибо если вдруг озвучите что-нибудь популярное, что вам прилетит от Лепса\Лопес. Тут рождается идея для стартапа - токенизация голоса, цифровая метка на ваш тембр, которую вы храните в блокчейне, хотя я думаю WorldCoin - это подхватит.
Кстати, кожаные двойники встречаются в природе примерно 1 на 100 000. То есть лица, которые условные пограничники на таможне будут путать друг с другом. ИИ в этом случае различает лица лучше, больше параметров считывает.

Но я веду вот к чему. Если вы Ёхансон или Лепс, то у вас есть агент или агентство, с которым у вас контракт. У них есть права на ваш голос, пестни, и всякую дичь, которую вы исторгаете из себя.

Но ИИ учится не только на ЛепсоЛопесах, он учится на всех кожаных. И в роли агентства для вас родимых выступают фейсбучеги, реддиты, артстейшены, твитторы. Куда вы, гогоча, вгружаете свои неумные мысли и гениальные картинки. Просто заводя аккаунты, вы нажали кнопку "Согласен". С тем, что все ваши авторские комментарии теперь во власти соц-сетей и всяких агрегаторов USG (user generated content).

Да, контракт можно разорвать, просто удалив аккаунт. Но вы готовы платить такую цену?
Если нет, то привыкайте, что теперь у вас у всех есть свои агенты, которые владеют авторскими правами на контент, который вы производите. И владеют полностью, с потрохами. И продают эти потроха и ваши авторские права Гуглу, ОпенАИ и всем кто даст хорошие деньги.

Так что вы теперь все Ёхансоны в каком-то смысле. Только судиться не с кем.

Продолжаем за 3Д.

Rodin Gen-1 атакует меня письмами.

Тизерят новую модель, а пока предлагают поиграть с их демо вот тут:
https://huggingface.co/spaces/DEEMOSTECH/Rodin

Но я пошел к ним на сайт, там гораздо больше опций и задал им перцу, результаты ниже.