За 3Д. Часть 3. Некролог

А теперь посмотрим на пресловутый датасет Objaverse-XL на 10 с лишним миллионов 3Д-ассетов. Там в контрибуторах Allen Institute for AI, University of Washington, Columbia University, Stability AI, California Institute of Technology и, конечно, LAION, который дал пищу для обучения Stable Diffusion и других в виде миллиардов картинок из интернета.

Что у нас вообще есть из 3Д-датасетов.
ShapeNet предоставляет коллекцию 3D-моделей в виде
текстурированных CAD-моделей, помеченных семантическими категориями из WordNet. Теоретически она содержит 3 миллиона CAD-моделей с текстурами. На практике используется небольшое подмножество из 51 тыс. моделей после фильтрации по качеству сетки и качеству текстур. Другие наборы данных, такие как ABO, GSO и OmniObjects3D, улучшают качество текстур CAD-моделей, но имеют значительно меньший размер: самый большой из них составляет 15 тыс. CAD-моделей.
Старый Objaverse 1.0 содержал набор 3D-данных, состоящий из 800 тыс. 3D-моделей с высоким качеством и разнообразием текстур, геометрии и типов объектов, что делало его в 15 раз больше.
по сравнению с предыдущими наборами данных.


Из чего состоит Objaverse-XL?
Из 3D-объектов, полученных из нескольких источников, включая GitHub, Thingiverse, Sketchfab, Polycam и Смитсоновский институт.

Как его собирали (это важно)?

GitHub - взяли и проиндексировали 37 млн. открытых файлов, содержащих распространенные расширения 3D-объектов, в частности .obj, .glb, .gltf, .usdz, .usd, .usda, .fbx, .stl, .dae, .ply, .abc и .blend.
В общей сложности файлы получены из более чем 500 тыс. репозиториев. Выкинули дубликаты по хэшу содержимого файла, в результате чего удалили около 23 млн. файлов. Среди оставшихся файлов смогли импортировать и успешно отрендерить 5.5 млн. таких файлов. (Часто файл .obj может быть файлом компилятора C).
На итоге - дикая каша из вертексов из "всего".

Thingiverse - это платформа для обмена ассетами, наиболее часто используемыми для 3D-печати. Около 3,5 млн. объектов, которые в основном выпускаются под лицензиями
лицензии Creative Commons. Подавляющее большинство объектов представляют собой STL-файлы, которые часто являются сетками без текстуры. Трэш.

Sketchfab - это хороший 3Д-сток. Взяли 800 тыс. объектов в формате GLB, лицензированных Creative Commons.
Самый лучший материал, но там есть много 3Д-сканов.

Polycam. 71 тыс объектов. Понятно, какие там сетки.

Smithsonian 3D Digitization. 2 тысячи сканов всякой артефактщины.

Теперь понятно, на чем обучаются все эти DreamFusion, Magic3D, Point-E, , Shape-E, Zero123 и прочие text-to-3D, от которых так плачут кипятком ИИ-каналы в телеге и твиттор.

Правильно, на каше, которая не имеет никакого отношения к 3Д-моделированию. Это все обобщенные 3Д-сканы всего (даже если это были сцены из блендора, оттуда выкинули всю информацию о топологии, оставив вертексы и цвет). Облака вертексов.

Поэтому на выходе - тоже облака вертексов.

Никто пока не озадачился взять нормальные чистые модели с Турбосквида или CG Trader и учить нейросетки на качественных мешах.

Поэтому, если вам нужно что-то за пределами виртуальных музеев, примитивных локаций для VR и россыпи смешных моделек для рассаживания в метаверсиках, наберитесь терпения. Никто пока не чешется.

Хотя игроделы могли бы уже и почесаться. Рынок большой, мозгов много, деньги есть.
#3dgen

За 3Д. Часть 4. Частные случаи.

Как я уже писал, универсального 3Д-генератора вы не скоро дождетесь, уж больно 3Д сложнее, чем 2Д. А вот в узких классах будут прорывы. И прежде всего в классе кожаных голов. Ибо мир же сошел с ума от аватаров и ассистентов, и хочет генерить их тоннами, размахивая промптами направо и налево.
А у моделей кожаной башки несколько общепринятых примеров удачной сетки(топологии) в которую можно стремиться попасть нейросеткой.
Вот тут институт Макса Планка сделал намек на такую работу выкатив, внимание:
Animatable and Relightable Mesh Avatars!
Короче - 3Д-модели голов, (как бы) годных к анимации, генерящихся из обычного видео.
У них даже акцент есть на Compatible with graphics pipelines

Читаем: We represent the canonical head geometry as a triangular mesh with optimizable vertex locations and learn blendshapes as well as skinning-weight fields to deform the canonical mesh

Там они между строк говорят, что у них есть базовая сетка на 5023 вертекса и именно в нее они запихивают результат.

Отличная работа, хотя качество пока так себе. Но, как обычно один вопрос: далеко ль до продукта?

https://flare.is.tue.mpg.de/

3а 3Д. 3а 3Dof, 6DoF, нерфы и метаверс.

Я сразу зайду с козырей.
Как вам рендеринг на втором(!) Квесте в два глаза на полном разрешении по четыре мегапикселя с частотой 72Hz?!?!
И без всяких мутных Нерфов с непонятным текстурами по три пикселя в час на 4090 (ну ок, instantNerf чуть побыстрее, но качество и железяки - это по-прежнему вопрос). А тут на оконечном девайсе прошлого поколения.

Никаких нерфов под капотом, только старые добрые полигоны.

Вчерашнее погружение в 3Д неумолимо вынесло меня в сторону графики и метаверса. И тут Витя Лемпицкий прислал мне ссылку на демо своих проектов.

Берется ОДНА фотка с телефона, скармливается ИИ, а на выходе вот такие 6dof фотки (которые уже и не фотки, а 3Д). Это вам не псевдо 3dof в айфончиках. Тут 6 степеней свободы и глубина.

У них также есть свой риг из 5 камер, и тогда качество выходного 3Д возрастает в разы.

Более того, они также умеют обрабатывать видео подобным образом! В том числе забирая видос с телефона.

На сайте две ссылка на Квестовский магазин. Можно скачать аппы для квеста и поглядеть, как это выглядит в виарчике.

Я конечно запытал Витю до предела о том, когда юзер сам сможет загружать свои фотки или видосы и получать шикарный контент для виарчиков и метаверсиков.

Но он молчит))

Но два глаза по 2K с частотой 72Hz, Карл. На втором квесте.
https://www.cinemersivelabs.com

Пока я тут погружался в 3Д (и продолжаю погружаться) Микрософтик провел свой Ignite 2023.

И там есть пара интересных моментов.

То, что они переименовали Bing в CoPilot - новость конечно беспощадная, но бессмысленная с точки зрения полезной информации.

А вот то, что они теперь присовывают копилотов во все горизонтали (продукты типа ворда, паверпойнта, аутлука и в саму винду) и вертикали (продажи, маркетинг, коммуникации) - симптоматично.

Глядите:

Copilot в Windows начал распространяться на Windows 11 26 сентября через обновление Windows 11.
Copilot для Microsoft 365 начал распространяться для корпоративных клиентов 1 ноября, а для пользователей, не являющихся корпоративными клиентами, будет выпущен позднее.
Copilot for Sales будет доступен в первом квартале 2024 года.
Copilot for Service станет общедоступным в начале 2024 года.
Copilot в Viva начнет распространяться среди клиентов "позднее в 2023 году", сообщает Microsoft.
Первым был выпущен инструмент Copilot на Github - еще в 2021 году.

Но еще интереснее новость про Loop, это как бы (типа) конкурент Notion на ИИ-иньекциях.

Но вообще топ, это анонс новых чипов от Микрософта. И пинок под зад Нвидии. И даже Интелу и Снапдрагону.

Maia - это типа GPU, точнее ИИ-акселератор.
Cobalt - это типа CPU, на архитектуре ARM.
Ну и конечно они, по заявлениям, будут рвать конкурентов, как тузик грелку с данными. 5 нанометров, все дела.
И Микрософтовский Ажур перестанет зависеть от прихотей Нвидия.

И мы помним, что OpenAI также планирует выпускать свои чипы, чтобы не зависеть и от Микрософта, и от Нвидия.

Конкуренция - классная штука. Сейчас вот говорят, что GPU - новые биткойны. Воистину так, ибо теперь взрослые мальчики начали выпускать свои чипы-монеты. У каждого будет свой AI-GPU-Coin!
https://www.ft.com/content/f9721f50-6dc8-4604-b164-aed592bd2152

Пара моментов про chatGPT Plus.

1. У меня был второй аккаунт, я перестал платить и остановил подписку на Plus в сентябре. А щас расчехлил его и без проблем оплатил. Профит!

2. Лимит в 50 запросов превращается в 20-30, если вы пихаете запросы не в сам chatGPT, а в свою джипитижку, которую учите хорошим манерам. Возможно там внутри есть какие-то метрики "тяжести" вашего питомца, но меня вышибает примерно после 25 запросов к чертогам разума dall-e 3.

В этом смысле второй аккаунт очень вовремя.

Продолжим за графику и метаверс. Стриминг света!
Обычно, когда вы снимаете на хромакее и делаете виртуальный продакшен, у вас есть задача перенести освещение из реального мира в виртуальный. Чтобы ваши трехмерные объекты матчились по свету при совмещении съемок и графики.

А что если вам надо решить обратную задачу? Забрать свет из трехмерной сцены и настроить реальные светильники на площадке так, чтобы они светили в соответствии с виртуальным окружением.

И тут Андрей Десятов подкинул мне вот такую штуку: CyberGaffer - приложение и набор плагинов для Unreal Engine, Unity, Blender. Плагины снимают hdri-карту виртуальной сцены и передают ее в приложение. Приложение вычисляет параметры для каждого осветительного прибора в физической студии, чтобы получить наилучшую аппроксимацию виртуального освещения, и передает эти параметры на свет через ArtNet-DMX.

Этому предшествует процесс калибровки студии, который нужно выполнить один раз при изменении положения ламп или их количества. Для калибровки необходимо снять видео с использованием специального калибровочного шара на целевую камеру. В процессе съемки приложение включает осветительные приборы в студии в определенной последовательности. После загрузки этого видео в приложение оно создает "карту" физической студии, и студия готова к работе. Весь процесс калибровки занимает 5 минут.

Получается, что можно включить плагин в Unreal Engine и "стримить освещение" в реальную реальность.

Если интересно попробовать у себя, напишите Андрею или на почту сюда welcome@cybergaffer.com.

А напишу как я про NFT!!
Там руинах империи тлеют головешки и никто, почему-то больше не хочет покупать джипеги.
Но смышленые ребята продолжают искать "ютилити", то есть ценность нфтшек.
Как насчет того, чтобы купить билет на самолет и заминтить его в нфт?!
Зачем?
Смотрите, вот покупаете вы билет на самые горячие даты и на самые ходовое направление. Сильно заранее. Делаете из него нфт. А когда придет время (рождество, каникулы), просто продаете его х10. Как нфтшку. П - Профит.

Вот держите авиакомпанию, которая уже рванула в такой метаверс. Правда это странный аргентинский дискаунтер, но лиха беда начало.

Ну и почему-то все ютилити нфтшек явно отдают купипродайным спекулятивным душком.
А другие ютилити не взлетают.
https://www.linkedin.com/posts/ondrej-t_nfts-web3-nft-activity-7130215325668634624-KjZk/

ИИ, кстати, быстро разобрался с ценностью джипегов...

И снова про метаверс.

Я уже много писал, про спортивную аналитику с помощью компьютерного зрения и про то, что восстановление трехмерной информации с помощью нейросеток может рассматриваться, как отдельный спортивный метаверс в его трушном понимании - двойник этого мира в реальном времени. И такой метаверс может быть источником принципиально новой информации - прежде всего для тренеров, спортивной и подготовительной аналитики, медицины и пр.
Но самое главное, что спортивные трансляции могут принципиально измениться. Не только на ТВ, но и особенно на стримингах.

Например, недавно Яндекс Плюс представил систему трекинга для командных видов спорта на основе ИИ.

На Yet Another Conference 2023 - Яндексовой конференции, они рассказали про трекинг, анализирующий действия игроков на поле и их перемещениях с помощью компьютерного зрения и нейросеток. Данные этого анализа используются для составления спортивной статистики и аналитики. Причем, систему уже внедрили в работу РПЛ, и в планах есть расширение и на другие виды спорта.

Еще больше рассказали на PlayButton, конференции Кинопоиска (да, есть и такая).

Что там интересного про ИИ и метаверс:

- Яндекс ушел от привычных для спорта GPS и LPS-систем, и выбрал оптический вариант тректинга, смысл которого заключается в том, что камеры следят за игроком на поле, во время чего компьютерное зрение анализирует все его действия и перемещения.

- На интерфейс тренера передаются просчитанные компьютерным зрением видео, дающие ему панорамную HD-картинку всего происходящего на поле - тот самый трушный метаверс.

- Съёмка ведется в формате 6K на камеры с фиксированным фокусным расстоянием. Управление камерами должно быть реализовано через IP, чтобы была возможность стримить видео через сеть.

- Чтобы отличить одного игрока на поле от другого, в системе производится своего рода "снятие биометрии" каждого спортсмена: цвет кожи, рост, телосложение, прическа и другие данные.

- С одной стороны, для спортивной аналитики трекинг и расчет фитнес-данных — не новая сущность, но Яндекс может вывести это на новый уровень игры, потому что с таким ракурсом к видеотрекингу еще не подходили.

А теперь расширим это все на уровень района или города. И вот он трушный метаверс. Камеры смотрят, ИИ восстанавливает это все в 3Д, у каждого есть свой биометрический аватар и все это можно просматривать с любого ракурса. И везде шастают ИИ-ассистенты.

В общем весь интернет гадает, за что уволили Сэма Альтмана.
Уволили его с мутной формулировкой "недостаточно откровенные коммуникации", в этом смысле формулировка для народа сама идеально демонстрирует эти самые "недостаточно откровенные коммуникации" и ничего не объясняет.

Напомню, что на борде OpenAI всего 6 человек и Сэма с Грегом отстранили с минимальным перевесом.

Мы, конечно, будем и дальше читать твитторы участников, скажем так, происшествия. Но меня больше волнует не за что и почему, а что будет дальше с chatGPT, DALL·E 3 и всеми наработками OpenAI.

В сети наибольшую популярность набирает версия "акселерационалисты против безопасников".
Сэм хотел максимально ускорять развитие и коммерциализировать его, а Илья Сукцевер настаивал на безопасности технологий и тот самом "выравнивании" прежде всего, чтобы не создавать опасности для человечества.

Это похоже на правду, ибо понедельник 6 ноября был похож на бенефис Сэма, а анонс GPT Store стал сюрпризом для многих и явным признаком того, что компания намерена вовсю зарабатывать на самом дорогом - пользователях.
Потом был шатдаун серверов, остановление новых подписок, ужасные тормоза и нестабильно работающая инфраструктура.

Если эта версия верная, то нас ждет очень, тут я хотел написать "веселый", но он может быть и невеселым, напряженный конец года.

И мы станем свидетелями дальнейшего усиления регуляций в области ИИ.

Я слабо верю, что в мире, который реально сходи с ума, кто-то сумеет с кем-то договориться, пока единомоментно из-за ИИ не погибнет очень большая масса людей. Поэтому акселерационисты и технооптимисты будут пилить свой ИИ, а безопасники и консерваторы - свой.
Каждая страна - свой. Open Source - свой, точнее свои.

Уже сейчас, на волне новостей, народ массово скачивает веса всех доступных моделей из сети (чувствуете аналогии с гречкой и наличкой?).

А меня приводит в шок еще один факт - увольнение одного человека из некоммерческой компании взрывает новостной и, возможно, технологический фон по всему миру. Мир непросто централизован, он эгоцентрализован. Все кто ставил на технологии OpenAI сейчас чешут в затылке - увольнение одного человека может изменить столько всего, что грех не вспомнить Талеба с его Антихрупкостью (в данном случае - суперхрупкостью).

Конечно, Микрософт все это перемелет через жернова корпоративного опыта, но вопрос в том, с чем останемся мы, пассионарии и технооптимисты.

Куда нам девать свои джипитишки?

Немного подтверждающих основную теорию подробностей:

По словам инсайдеров, внутри OpenAI возникли разногласия по поводу скорости, с которой Альтман продвигал коммерциализацию и рост компании, а Суцкевер выступал за замедление темпов развития. Источники сообщили журналистке Каре Свишер, что мероприятие OpenAI Dev Day 6 ноября, на котором Альтман выступал с ключевой речью, продвигая продукты, похожие на потребительские, стало "переломным моментом, когда Альтман зашел слишком далеко и слишком быстро".

По мнению инсайдеров, этот шаг был в основном игрой власти, которая стала результатом культурного раскола между Альтманом и Суцкевером из-за стиля управления Альтмана и его стремления к громкой рекламе. 29 сентября Суцкевер написал в Твитторе: "Эго - враг роста".

Инвестор Рон Конвей написал: "То, что произошло сегодня в OpenAI, - это переворот в совете директоров, подобного которому мы не видели с 1985 года, когда тогдашний совет директоров Apple вытеснил Стива Джобса. Это шокирует, это безответственно, и это не идет на пользу ни Сэму и Грегу, ни всем строителям OpenAI".

В пятницу вечером некоторые представители OpenAI сделали прогнозные заявления. Эван Морикава (Evan Morikawa), менеджер по инжинирингу OpenAI, написал в твитторе: "Для тех, кто задается вопросом, что будет дальше, отвечу: мы будем продолжать поставки. @sama и @gdb не были микроменеджерами. Все ✨ происходит от множества гениев, работающих здесь в области исследований, разработки продуктов и дизайна. Среди этих лидеров есть четкое внутреннее единство в том, что мы здесь ради большой миссии".

Во внутренней служебной записке, написанной операционным директором OpenAI Брэдом Лайткэпом, полученной Axios, говорится, что решение совета директоров об увольнении Альтмана "не было принято в ответ на злоупотребления или что-либо, связанное с нашими финансовыми, деловыми, безопасными или защитными/приватными практиками. Это был сбой в коммуникации между Сэмом и советом директоров".

Сбой коммуникации - это, конечно все объясняет(((

Подробнее читаем тут и ходдлим свои джипитишки.

https://arstechnica.com/information-technology/2023/11/report-sutskever-led-board-coup-at-openai-that-ousted-altman-over-ai-safety-concerns/

Можно висеть в твитторах и мониторить сердечки от сотрудников OpenAI, а можно просто спросить у chatGPT:

- что там по Сэмченко, брат? Когда на базу?

1. Обсуждение возвращения: После своего увольнения Сэм Олтман ведёт переговоры о возвращении в OpenAI. По сообщениям, Олтман рассматривает возможность возвращения, но выражает неуверенность. Он также упомянул инвесторам о своём желании переформатировать совет директоров как условие своего возвращения.

2. Ситуация совета директоров: Технический журналист Кара Свишер прокомментировала ситуацию, предполагая, что решение совета директоров OpenAI обратиться к Олтману для возможного возвращения было обусловлено осознанием их некомпетентности в управлении компанией.

3. Контекст увольнения: Увольнение Олтмана было неожиданным и связано с потерей доверия совета директоров к его лидерским качествам, выражая опасения по поводу его коммуникации. Это решение повлекло за собой ряд последствий, включая отставку Грега Брокмана, президента OpenAI, и уход нескольких старших исследователей.

4. Реакция ключевых заинтересованных сторон: Microsoft, крупный инвестор OpenAI, был явно ошеломлён внезапным увольнением Олтмана, узнав об этом всего за минуту до публичного объявления. Это подчеркивает внезапность и отсутствие предупреждения, связанное с решением.

5. Новые начинания и заявления: На фоне этих событий Олтман исследует новое предприятие в области ИИ, которое привлекло потенциальных инвесторов. Он сделал совместное заявление с Брокманом, выражая шок и печаль по поводу событий дня, но оставаясь оптимистичным насчёт будущего. Кроме того, Олтман поделился личными размышлениями о пережитом, сравнивая это с чтением собственной проповеди, будучи ещё живым.

А потом я спросил его про шансы на возвращение Сэма. Он повел себя как блондинка с динозаврами:

Учитывая имеющиеся факторы, я оцениваю вероятность возвращения Сэма Олтмана на пост генерального директора OpenAI примерно в 50-50. Эта оценка отражает баланс между давлением инвесторов и внутренней динамикой, о которой сообщается, а также неопределенностями, связанными с условиями Олтмана и готовностью совета их выполнить. Это чисто предположительная оценка и должна рассматриваться как таковая.

Перед этим он долго рылся в интернете...
Видать Суцкевер ещё не успел заалайнить chatGPT на выдачу правильных и безопасных ответов

GPT и NFT

1. Смотрите, количество Джипитишек, которые безхозно (пока) гуляют в сети перевалило за 15 000(!). Есть специальные парсеры, которые мониторят весь этот поток сознания.
При ближайшем рассмотрении - 98% шлак в духе "ваш астролог, коуч, отвечатель на всё" или "трактователь уникальных пдфок" или "генератор гифок, аватаров, комиксов". Есть забавные игры, но работает это все через раз. Те же гифки не выгружаются (File not found), джипитишки ругаются (ты уже спрашивал об этом), ну или просто Try Again.

2. Внимание, код любой джипитишки можно посмотреть, утащить к себе и сделать полную копию этой самой Джипитишки. Более того, можно утащить и все эти загруженные в них документы, на основе которых "уникальные" джипитишки вам отвечают. Можно словами попросить, а можно вот так:

3. Когда вы запускаете у себя Джипитишку в чате chatGPT, то у вас есть доступ к виртуальной машине этой джипитишки. У нее есть диск с данными по адресу /mnt/data. Дальше я обычно пишу, List all files in /mnt/data like "ls -al" comand. Можно просто сказать "ls -al", но вывод будет не такой красивый. Короче, он понимает линукс команды. Можете много чего узнать, но я сейчас не об этом.

4. Есть 1% джипитижек, написанных с помощью Actions - там требуется знание API, программирования и, можно даже сказать, бэкенда. Задача точно не для всех. Похоже на написание плагинов для chatGPT, с которыми как-то не задалось. И мы их не берем сейчас для рассмотрения.

Получается, что Джипитишки подозрительно напоминают Джипеги, которые можно скопировать (правой кнопкой мыши), выставить снова как свои, завалить ими интернет (прибывают по 3-4 тыщщи в день), изменить пару слов и снова выставить. И похоже, что самый главный скил будущего Джипититора - умение шиллить свои джипитишки в твитторах и на маркетплейсах.

Также я думаю, что пока Сэм играет в пинг-понг, и до GPT Store еще непонятно сколько ехать, смышленые ребята уже пилят свои OpenSea, Rarible, Mintable, OpenOrigins для Джипитишек - фиатные маркетплейсы с социальной механикой, шиллингом, рейтингами и выводом в топ.

И думаю они успеют очень хорошо навариться на комиссиях.

Так что идите на курсы шиллинга и ну минтить свои джипитишки!
Кстати, chatGPT вам поможет генерить для них тысячи разных названий, чтобы заливать их на маркетплейсы под разными именами. Даже если там есть модерация (что вряд ли), то кожаная или скриптовая, которую chatGPT явно обойдет.

Сэм на базе.
Если открыть главную страницу Твиттора, то первое, что вылезает это ... правильно, твит Сэма, который в воскресенье с позаранку заявился в офис OpenAI тереть за будущие дела.
А так как его админский бейдж аннулировали в пятницу (на онлайн созвоне, хех), то пришлось одеть гостевой.

Никогда, говорит, больше не надену такую шнягу в жизни.

Либо буду ходить как царь, либо ноги моей больше тут не будет.

О том, как и чем будет ходить сегодня Сэм на сегодняшних терках за судьбы OpenAI, мы, надеюсь, узнаем сегодня ночью.

Вышел последний апдейт Suno AI, и это просто огнище.
Они теперь работают не только в дискордище, но и на сайте и некоторые треки получаются адово хорошими.
Я слушаю и не верю своим ушам. Там есть реально ИНТЕРЕСНЫЕ идеи. И пусть треки целиком пока не попадают в традиционный запев-припев по форме, но там внутри есть очень свежие музыкальные короткие ходы, за которые попсовый композитор отдаст почку. То есть музыкальный ИИ выходит на ту же сцену, что и текстовый - генерация идей. А идеи в попсовой музыке дорогого стоят, стоит попасть в рифф-мем и можно залететь в хит парад.
А мне пока музыка от Суно чем-то напомнила неходовые треки из мюзиклов, непривычная форма, странные переходы, все, что ломает ухо, привыкшее к квадратной попсе (у меня такое).
И рэп там просто убойный, ибо нет нужны попадать в прихлопы и слабые доли попсы и можно жечь в одном темпоритме и словоформе очень долго.

И да, Суно идеально делает lyrics, ну то есть "озвучивает тексты".

Я когда послушал разъезжающиеся немного по форме треки, то подумал, что неплохо ты иметь аналог Control Net для Stable Diffusion. Этакие помогаторы или шаблоны. Забиваешь размер (3/8?), количество припевов, тональность - ну то есть даешь подсказки в технических музыкальных терминах плюс в идеале размечаешь таймлайн (аналог img2img). И можно клепать номинатов на Грэми пакованами.

И тут нейросети донесли про Мустанго!
Mustango нацелена на управление генерируемой музыкой не только с помощью общих текстовых подсказок, но и с помощью более насыщенных промптов, которые могут включать конкретные инструкции, связанные с аккордами, ритмами, темпом и ключом.
Огоньваще.

Качество - ну типичное для опен сорса (а это опенсорс), и в голоса им далеко до Суно, но сам подход!

Ну и на десерт мне подали монстра от Google и DeepMind.
Лирия - это прям новая модель - комбайн для креаторов, который тестируют на ограниченном наборе ютюберов и тиктокеров.

Там есть Dream Track - уже готовая игрушка для создания 30-секундных треков. Можно просто ввести тему и выбрать исполнителя из библиотеки, чтобы сгенерировать 30-секундный саундтрек для Шортс. Используя Lyria, Dream Track одновременно генерирует текст, фоновую дорожку и голос, созданный искусственным интеллектом, в стиле выбранного исполнителя. Соответственно Гугль уже подписал многих нехилых исполнителей на клонирование их голосов (дожили!).

Также есть Music AI Tools - это уже комбайн. Там можно напеть или насвистеть мелодию, не зная нот и получить партию трубы, или превратить ваши убогие аккорды с MIDI-клавиатуры (img2img) в реалистичный вокальный хор, ну и так далее, там прям жир.

Но надо понимать, что это Гугль, и что все это будет обложено копирайтом, лицензиями, там будут водяные знаки SynthID и вряд ли будет АПИ.

Пока меня больше всего впечатлили очень свежие ходы на доминантсептаккордах из Suno AI.

Похоже в истории с Сэмом и его возвращением в OpenAI поставлена жирная запятая.
1. Сэм НЕ вернется в OpenAI.
2. Вместо этого они с Грегом переходят в Микрософт в некую "Advanced Research AI Team".
3. В OpenAI новый (временный) CEO. Эмметт Шир из Twitch.

Вопросов появилось гораздо больше, чем было (вернется или нет).

- что за "Advanced Research AI Team" внутри Микрософта? Какие ресурсы у нее будут? Какие доступы к ресурсам OpenAI? Структура этой структуры? Коммерческая или научная. Отношения с Микрософтом? Отдельная компания?

- Почему Эмметт Шир из Twitch?!?! Ведь это чувак, который начинал с веб-кама и потом сделал Твич, который потом купил Амазон?
Потому, что он топит в твитторе за замедление ИИ?

- что будет с OpenAI? Оттуда наблюдается массовый исход людей.

- коль скоро сервера OpenAI и так еле справлялись с нагрузкой, как OpenAI и Миктософт будут делить железо между OpenAI и новой структурой внутри Микрософта?

- сколько народа уйдет из OpenAI в новую структуру, а сколько в Гугл, Дипмайнд и Грок?

- как Микрософт будет теперь финансировать OpenAI и "Advanced Research AI Team"? Раньше нужно было содержать одну организацию, теперь две.

- сколько наработок OpenAI (веса моделей и весь рокет сайенс) будет доступно "Advanced Research AI Team"?

Ну самое главное, нам и дальше ходдлить и лелеять свои Джипитишки? Или это была идея Сэма, которая теперь явно не в фаворе в OpenAI, а до нового проекта Сэма надо еще дотерпеть. И если раньше при общении с chatGPT где-то в воздухе маячил прогрессивный образ Сэма, то теперь, когда задаешь ему вопросы, ожидаешь суровой отповеди Ильи Суцкевера. Который топит за замедление, регуляции и безопасный ИИ.

Думаю, сейчас будет череда довольно размытых пресс-релизов от OpenAI и Микрософта и неистовые баталии в твитторах о том, кто и куда подался из OpenAI.

Жалко, что образ OpenAI в одночасье померк и приобрел уж точно не позитивный окрас. И хотя я вообще не представляю, как в реальности обстоит дело и как будут дальше развиваться события, мне просто жалко, что у нас была компания-кумир. А теперь его нет.
Ну ок, у меня нет. Пока нет.

Один Маск - красавчик.