Метаверсище и ИИще
49.9K subscribers
6.21K photos
4.82K videos
48 files
7.16K links
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие.
Для связи: @SergeyTsyptsyn
Download Telegram
Media is too big
VIEW IN TELEGRAM
#Нейропрожарка

Расследование зашло в тупик

Автор: Артём Макаров

Жанр: хоррор, триллер, анимация
Моя цель: Я постарался сделать детский триллер/хоррор с легким юмором и знакомыми персонажами.

Задача: Подготовка анимационного ролика для конкурса Союзмультфильма

Требования к ролику:
- от 30 до 60 секунд
- минимум full hd (16:9 или 9:16)
- использование разрешенных персонажей Союзмультфильма (не все персонажи разрешены), либо вымышленных
- соблюдение авторского законодательства
- обязательное использование цифр 9 и 0 в сюжете (к юбилею студии)
- готовность предоставить по запросу все рабочие материалы

На ролик давалось очень много времени. Конкурс стартовал 4 месяца назад, но я приступил к работе очень поздно.

В итоге работу делал в последние несколько дней до срока, а 70% всей работы вообще сделана в последний день.

⚒️Инструменты: Nano banana 2, Seedream 4.5 и 5.0, Seedance 2.0, Suno, Elevenlabs, Claude

📕Сценарий
Сюжет и диалоги придумал сам, но для удобства надиктовал всё Клоду, который мне выдал структурированный сценарий.
Сюжеты, которые с нуля придумывают LLMки максимально ущербные и беззубые.
Поэтому без кожаных пока никак.

🖼Изображения
Загрузил в NB2 референсы советских Пяточка и Винни, а также домика кролика.
Не хотел юзать пиксар-стиль, поэтому максимально старался приблизить к реализму.
Со светом лучше всего работает сидримский, причем 4.5 как-будто получше, чем 5.0

Сложнее всего крутить локации, чтобы показать персонажей с разных сторон, но NB2 с этим с N-ного раза справляется.
Ещё одна проблема - если одну и ту же картинку дорабатывать в несколько итераций, то картинка шакалится, поэтому приходилось писать длинные промпты и создавать картинки каждый раз с нуля

📹Видеогенерации
Seedance я купил за 3 дня до дедлайна и то вечером, поэтому юзал уже в последние 2 дня.
Модель классная, но если генерить не просто тесты, а что-то осмысленное, то всё равно нужно подходить с головой.
Главная претензия - русская речь как польско-болгарско-английская получается.
Приходится писать транслитом и потом переозвучивать.

🔈Звук
Вот тут беда.
SFX частично взят из генераций, частично сгенерирован в 11лабс.
Озвучка персов - диктофон на телефоне, потом очистка в elevenlabs voice isolator и потом voice changer на созданные голоса.
Винни норм получился, а пятачок говорил исключительно с акцентом, поэтому в некоторых моментах он говорит криво.
Музыка - suno

🎞Монтаж
Геморрой номер два.
У меня на пк видюха склеила ласты на днях, поэтому монтировал в мобильном capcut.
Очень неудобно

Затраченное время:
Совокупно часов ~20
Изображения - 8 часов
Видео - 8 часов
Звук - 3 часа
Монтаж - 3 часа

В целом работой доволен, но ругаю себя за поздний старт.

💸*Затраты:
Higgsfield - 50$
Seedance - 50$
Suno - 10$
Elevenlabs - 11$
Claude - 20$

*Работал со стандартно закупаемыми подписками, поэтому вычленить стоимость конкретного ролика сложно.

@cgevent
Please open Telegram to view this post
VIEW IN TELEGRAM
👎50👍47😁21🔥105😱3
Forwarded from AI Product | Igor Akimov
This media is not supported in your browser
VIEW IN TELEGRAM
Ну вот и ответочка.

OpenAI выкатили мажорный апдейт Codex.

Что может нового:
- Computer use в фоне – Codex видит экран, двигает курсор, печатает. Несколько агентов могут работать параллельно на Mac, пока ты занят своими делами в других приложениях

- Встроенный браузер – можно оставлять комментарии прямо на странице и давать агенту точечные инструкции. Пока это для фронтенда и геймдева на localhost, дальше обещают полноценное управление вебом

- Генерация картинок через gpt-image-1.5 – мокапы, концепты, визуалы прямо внутри воркфлоу

- 90+ новых плагинов – Atlassian Rovo для JIRA, CircleCI, CodeRabbit, GitLab Issues, Microsoft Suite, Neon, Render, Superpowers

- Память (preview) – Codex запоминает твои предпочтения, правки и контекст, который долго собирался. Это то, что раньше решалось простынёй кастомных инструкций

- Автоматизации с переиспользованием тредов – агент может сам разбудиться через неделю и продолжить задачу. Пример от OpenAI: утром Codex вытаскивает открытые комменты из Google Docs, подтягивает контекст из Slack и Notion, собирает приоритизированный список действий на день

IDE-часть тоже подтянули
Ревью PR-ов прямо в приложении, несколько вкладок терминала, SSH в удалённые devbox-ы (alpha), превью PDF/таблиц/слайдов в сайдбаре, summary-панель с планом агента и артефактами.

Раскатывают сегодня всем, кто залогинен через ChatGPT. Computer use пока только macOS. Персонализация и память для Enterprise/Edu/EU/UK – "скоро".
https://openai.com/index/codex-for-almost-everything/
1🔥32👍114👎2😁1
ИИ-Спецэффекты

Похоже, что Krea.ai идет по пути Хигсфилд

В генерации через Сиденского появилась кнопка Add Effect - потом просто выбираешь пресет из набора эффектов.

В принципе, идея-то правильная, юзеру лень разбираться с правилами промптинга под каждую модель. Это в чате у нас сидят гики, а новым нормальным подавай кнопку.

Справедливости ради, первой была Пика Лабс, которая выкатил эти свои эффекты типа "сожми" или "рахерачь к хренам".

А Хиггсы поставили это дело на поток. Похоже их идея в том, чтобы переизобрести заново интерфейсы для работы с контентом. И стать новым Адобченко для работы с ИИ-контентом.

Правда, получается как-то пестровато.

@cgevent
🔥12👍71
This media is not supported in your browser
VIEW IN TELEGRAM
Печатаем силой мысли

Вы заметили как поутих хайп вокруг неинвазивных нейроинтерфейсов? Мьюз, Ньюрабл и вот это вот все. Галеа - другая история, но от них очень давно нет новостей.

Дело в том, что 90 процентов нейроинтерфейсов с сухими электродами просто не работают. Более того, они не проходят "кастрюльный тест", когда их надевают на кастрюлю или манекен, а они жизнерадостно транслируют мозговую активность.

Главная проблема таких систем всегда была в слабом и шумном сигнале.

Но тут зумеры затеяли новый стартап. Проект Sabi пытается обойти это за счет экстремально высокой плотности сенсоров: компания говорит о 70–100 тысячах миниатюрных сенсоров в носимом устройстве, что на порядки больше, чем у классических EEG-систем. Поверх этого строится AI-модель, которую обучают на массиве из 100 тысяч часов нейроданных, собранных у 100 добровольцев, чтобы учитывать различия в том, как люди мысленно формулируют слова.

100 тысяч! Тут я задумался о стоимости устройства.

Но самое интересно, что это самое "устройство" - это вязаная шапочка. Если по моде то ее называют "бини", а в девяностых просто звали "пидорка".

Так вот, эта шапочка должна переводить внутреннюю речь человека в текст. Мысль-в-текст или печатаем силой мысли.

На первом этапе Sabi рассчитывает выйти примерно на скорость 30 слов в минуту, а затем улучшать результат по мере адаптации пользователя и развития модели. Компания также делает акцент на удобстве и приватности: устройство должно работать без ежедневной калибровки, а нейроданные — храниться в зашифрованном виде. Релиз шапки и версии в формате бейсболки ожидается к концу 2026 года.

Что-то я скептичен, хотя зумеры подняли у Хослы довольно много денег.

100 тысяч сенсоров!

У меня все.

https://www.wired.com/story/this-beanie-is-designed-to-read-your-thoughts/

@cgevent
15😁12🔥6😱4
This media is not supported in your browser
VIEW IN TELEGRAM
Альтернатива After Effects. Бесплатная

Был такой софт от компании Left Angle - Autograph. Вышел аж в 2023 году.

Стоил он 300 баксов и позиционировался как альтернатива Афтеру.

Довольно ловкий софт - композ с элементами 3Д. Поддержка USD, слои, 3Д-вьюпорт, продвинутый текстуринг.

Но за 300 баксов - довольно дорогая альтернатива. И вот в прошлом июне они закрылись, точнее их пожрал Maxon (Cinema 4D).

И вот только, что Maxon чуть подкрасил Автограф, добавил туда поддержку OpenFX и нативную интеграцию с Maxon Studio, и бахнул это бесплатно!

Хотя, конечно, юзер база у Афтера исчисляется миллионами (около 10) и пересадить юзеров с иглы народного софта будет довольно сложно.

https://www.maxon.net/en/autograph

https://www.maxon.net/en/article/maxon-announces-free-tools-and-mobile-expansion-of-zbrush-and-cinema-4d

@cgevent
🔥438👍4
Практический ИИ

Пару раз уже писал про Диму Беседу, хорошо знаю его по бизнес-клубу GROW, читал там лекции про ИИ и будущее контента. У него хороший канал - дневник действующего предпринимателя без купюр: метрики, факапы, переносы запусков, всё как есть.

Но в последнее время появились интересные посты про ИИ в стартапах, разработке и инвестициях. Особенно зацепился вот за эти:

- за 4 часа собрали рабочий прототип - аналог Duolingo, только для ведения блога - на Claude и Lovable. Вместо недель разработки. В посте есть ссылка на результат.

- прогнали питч-дек через AI-оценщик венчурного фонда Flint Capital, получили 67/100 и написали об этом публично - с разбором слабых мест.

- засунули видео основателя в онбординг, потому что загрузка занимает несколько минут - и почему это может поднять конверсию

- поиск продюсера для английских аккаунтов, требование первое - AI-native

Довольно полезный канал для тех, кто строит AI-продукты или просто следит за тем как это делается - там реальные кейсы, а не бесконечные телеги типа "ИИ для бизнеса".

@cgevent
👎25👍86🔥3😱1
Claude Design

Ну, за дизайнеров.

Не зря Нового Клода научили жрать картинки в 3.75 мегапикселей. Теперь он может генерить ещё более красивые UI-интерфейсы, презентации, дашборды, вебморды, слайды и вообще визуалы.

Пожирая скриншоты в более высоком разрешении, Клод оперирует ещё большим количеством деталей и нюансов. И соответственно генерит ещё более проработанный дизайн.

Интересно как Антропики отстраиваются от генерации картинок вообще, но прицельно сужаются до визуального продуктового дизайна.

Приподубивая по дороге соответствующие стартапы.

Лучшие в коде -> лучшие в "визуальном кодировании".

Есть экспорт в пптх, пдф, хтмл и Канва.

Есть импорт из pptx, docx, xlsx.

Есть web capture tool - можно капчурить ваш/чужой дизайн.

Работает все это на базе нового Клода 4.7. доступно для всех платных тарифных планом.

Выглядит невыносимо нарядно.

Читаем тут:

https://www.anthropic.com/news/claude-design-anthropic-labs

Юзаем тут:

https://claude.ai/design

@cgevent
This media is not supported in your browser
VIEW IN TELEGRAM
🔥51😁97👍4👎1
This media is not supported in your browser
VIEW IN TELEGRAM
Нейрозловещая долина 3

Продолжаем следить за экспериментами Матарави и эволюцией нейрорендеринга.

Начало тут и тут.

Напомню, что на вход подается только playblast из Maya. Никих контролНетов по глубине, нормалям и пр.

Шейдинг и текстуринг для нейрорендера - это, похоже, просто референсы типа "возьми текстурки вот с этих картинок".

Аниматоры могут поискать блох в искажении лицевой анимации в процессе нейрорендера. Блохи есть, но не такие как были с медведем. Автор пишет, что поборол сильно заблюренные кадры.

Интересно, что энтузиасты в одно лицо создают вот такие пайплайны. При этом Автодеск делает вид, что это не их дело.

@cgevent
🔥265👍4🙏1
Media is too big
VIEW IN TELEGRAM
#Нейропрожарка

«Женя»

Автор: Алексей

Если коротко — мне хотелось передать атмосферу фильма Project X: Дорвались. Когда-то давно посмотрел его в молодости, и он тогда сильно зацепил: ощущение хаоса, свободы, дикой энергии. Захотелось сделать что-то в этом духе, но не буквально повторить, а перенести это настроение в более нестандартную среду.

Почему-то в голове сразу появились лягухи — и именно в такой странной, немного абсурдной тусовочной локации. От этого и начал отталкиваться.

По процессу всё стартовало с банального — жёсткой раскадровки в банане, проработки персонажа, хотелось создать какого - то American мэна. Дальше начал подключать синема студио в хигсе и Seedance 2.0 небольшими отрезками. Сидэнс реально хорошо держит персонажа, даёт драйвовые движения камеры и при этом не разваливает сцену — фон и герой остаются цельными. По ощущениям, это сейчас прям сильный лвл ап.

На всё ушло два дня: раскадровка, генерация, простой монтаж, базовая цветокоррекция и чуть-чуть работы со звуком. Без сложного пайплайна и тяжёлых программ (все собрал в кэпкат)— это скорее эксперимент, чтобы проверить, что можно собрать за короткий срок.

Для сравнения: то, что мы делали с командой для MyFilm, заняло четыре дня (нас было 11). А здесь — два, и это полностью самостоятельная работа.


@cgevent
🔥77👍55👎7😁63
GPT-Image-2 начинают раскатывать в chatGPT

У меня еще не появился, но вот, что люди делают в твитторах.

На входе 4 фотки из каталога одежды и промпт: "street style shot of a woman in this outfit"

Апажалста!

Нанабанана нервно ищет сигареты. Переодеваторы ползут умирать.

Кстати, если вы хотите понять, раскатали у вас или нет, просто попросите сделать картинку в 16:9 или 21:9. Старая версия выдает только 3:2.

@cgevent
🔥36👍106👎4😁1
Google Flow Music

Не так давно Гугл пожрал генератор музыки Producer AI.
Не так давно Гугль выкатил свою модель для генерации vузыки - Lyria.

Теперь они объединили это все в одном продукте.

Идем, тестируем:

http://flowmusic.google

Из интересного - даешь картинку на вход, он по ней генерит музыку.

Есть ремиксы, есть редактирование, replace & extend через промпт:

Extend a lofi piano intro into a massive dubstep drop
Try 5 variations of a guitar solo to find the perfect take
Replace multiple choruses at the exact same time

Сама музыка довольно слухабельная, мейнстримная, хотя структура песен слегка плывет. Ну и про качество Суно, а главное инструментарий Суно мы даже не говорим.

Просто интересно видеть как Гугл планомерно укрепляет себя на поляне аудио и видео генерации. Откуда OpenAI недавно самовыпилилась.

В шапке картинка и песня, которую он сгенерил по картинке. Контекст (про социальное расслоение) не считал, но сделал аккуратный блюз.

@cgevent
1🔥16👍87👎5
This media is not supported in your browser
VIEW IN TELEGRAM
Пожалуйста, пересмотрите наши любимые нейробалеты и нейрогимнастики!

Это было каких-то полтора года назад.

Уже Сора успела родиться, впечатлить всех и умереть.

А теперь Сидэнский вытворяет это.

И мы такие .. чтототам с гравитацией не то.

Идите пересмотрите нейробалеты, привереды.

И охренейте от того, в какое крутое время мы живём.

Что же будет через полтора года...

@cgevent
60😁29🔥16👎14👍1🙏1
This media is not supported in your browser
VIEW IN TELEGRAM
Sato: AI UV

Начнем понедельник с 3Д, помолясь.

Deemos Tech, авторы генератора Rodin, выкатили новую работу по генерации UV-разверток.

Звучит довольно замороченно: Strips as Tokens (SATO) — создавая последовательность в виде связанной цепочки граней, явно кодирующей границы UV-координат, наш метод естественным образом сохраняет организованный поток ребер и семантическую структуру, характерные для сеток, созданных художниками.

Если поглядеть внимательно на их развертки, то там можно найти много косяков. Но радует, что работы по ИИ-ретопу и ИИ-анврапу ведутся довольно активно.

Более того, они обещают выложить код к Сигграфу.

Сайт проекта:
https://ruixu.me/html/SATO/index.html

Там примеры разверток.

@cgevent
👍19🔥52
This media is not supported in your browser
VIEW IN TELEGRAM
В больницах Китая вовсю используют LLM.

В одной из больниц в Цинхуа работают 42 врача и медсестры, использующие LLM по 21 специальности. А недавно в Хайнане открылась первая в Китае полностью основанная на ИИ больница, а медицинские LLM от DeepSeek уже используются в более чем 260 реальных больницах по всему Китаю.

Китай в этом смысле далеко обгоняет и будет обгонять всех остальных, принимая во внимание количество регуляций в других странах.

сорс

@cgevent
🔥39😱147
LTX 2.3 IC-LoRA EditAnything - огонь, конечно

У автора есть еще несколько очень полезных Лор:
https://huggingface.co/Alissonerdx/LTX-LoRAs

Вокфлоу для Комфи:
https://huggingface.co/Alissonerdx/LTX-LoRAs/blob/main/workflows/ltx23_edit_anything_v1.json

@cgevent
🔥13👍6😁1
This media is not supported in your browser
VIEW IN TELEGRAM
Modly: локальная 3Д-генерация

Тут кто-то запилил опенсорсное приложение для локальной генерации 3Д-моделей.

Чуда нет, это не новая модель, а обёртка вокруг Хуньянь, Трипо и Треллис.

Но это не лапша в Комфи, а полноценное приложение с нормальным интерфейсом. Можно скачать инсталлер для Винды и Линукс (Макось позже).

Работает полностью локально. Про VRAM не пишут.

https://github.com/lightningpixel/modly

В issues пишут, что много багов. Неудивительно: написать автоматический инсталлер, который поженит непредсказуемые версии питонга, куды, скачанных моделей и прочей опенсорсной требухи довольно сложно.

@cgevent
🔥12👍63
Редактирующие 3Д-генераторы

Я не очень люблю писать про работы с code coming soon, но тут интересный проект по редактированию существующих 3Д-моделей с помощью референсной картинки.

И это своя, натренированная с нуля модель.

И в авторах - Runway.

На входе 3Д-модель и картинка с видоизмененной моделью (дали в руку меч, или сделали стиль в духе Майнкрафт) - на выходе отредактированная 3Д-модель.

Про топологию непонятно, хотя пишут, что нетронутые редактированием участки остаются неизменными.

Интересен проект тем, что концепция редактирующих моделей распространяется с картинок на 3Д. Авторы так и пишут: "Горький урок — тот же, что мы уже извлекли из редактирования изображений"

Похоже что Сигграф в этом году будет ИИграф.

https://inbar-2344.github.io/ShapeUp-page/

@cgevent
This media is not supported in your browser
VIEW IN TELEGRAM
🔥3