Решил написать на JAXе свой рендерер, чтоб им отрендерить бегущего дурачка.

Ощущения смешанные. С одной стороны, JAX как будто специально делали так, чтоб на нем изящно реализовывать ray marching - в несколько десятков строк влезает код, которым уже можно рендерить Мужика из MuJoCo.

С другой - там есть ряд ограничений, из-за которых код получается менее эффективным - например, приходится для каждого луча просчитывать фиксированное количество шагов вместо того, чтобы завершать расчет по условию.

В общем, у меня получилось 0.05с / кадр не смотря на JIT. Не реалтайм, и я забил на дальнейшее допиливание этого кода)

Зато где-то посадил какой-то баг, и вместо тестового рендера получил искусство - похоже на агит-плакат!

JOIN RAY MARCH!

Все же знают, что недавно открыли бесплатный доступ к нейросети, которая офигенно пишет музыку на заданные слова?

Я вот решил приобщиться, загнал туда одну из своих старых частушек, очень доволен результатом)

Не удержался, дописал еще два куплета киберпанк-частушек и собрал целую песню!

Ну я просто не мог этого не сделать. Положил на музыку стихотворение, которое я тут публиковал ранее - "Новый Век или Парадокс Моравека", при помощи все того же ИИ, Udio.

Много вариантов пробовал, некоторые по музыке и исполнению совсем не подходили под мое представление о том, как эта песня должна звучать, в некоторых ИИ почему-то сильно и стабильно лажал в словах (видимо, ритм стихотворения на выбранное сочетание жанров плохо ложился), но в итоге я нашел прямо то, что хотел.

Ждут, пока я им пайплайн для обучения допишу, чтобы наконец начать свою битву.

Уважаемые подписчики!
Наш небольшой творческий коллектив "Тандем Модемов" рад представить наш дебютный альбом, "Новый Век или Парадокс Моравека"!
К каждой песне мы создали клип при помощи современных ИИ.

Надеюсь, в эти нелегкие времена наши песни передадут вам частичку нашего оптимизма и уверенности в светлом будущем всего человечества.

Приятного просмотра!

Ссылка на плейлист:
https://www.youtube.com/playlist?list=PLcePLS792_7IPTx-vUBrWUWKYFl0VKxrY

https://habr.com/ru/articles/815865/

Написал про наш альбом статью на Хабр, сопроводив описаниями и ссылками на упомянутых в песнях людей и их открытия.

https://youtu.be/hVxk2jIOq-M?si=olfPE16SkQr_30xZ

Неудачные дубли из частушек, под соответствующую музыку.
Осторожно, местами крипово)

Однодневный проект. Ну, или скорее "одночасовой".

Вчера вышла Stable Diffusion 3, доступна для скачивания на Hugging Face.
В отличие от прошлых версий, она может генерить неплохой пиксель-арт (у прошлых всё было очень плохо с такими запросами).
И, что удивительно - она влезает в мою древнюю GTX 1080 (во всяком случае, версия SD 3 Medium).

Написал по-быстрому бота для телеги, который пинает локальную SD 3, генеря красивые пиксель-артные сцены, и постит их в отдельный канал. На моей железке такая генерация занимает минут 15, соответственно, постит он примерно каждые 15 минут.
Не думаю, что я буду в таком режиме его гонять прямо неделями, но пока пусть поработает, поисследует пространство состояний.

https://t.me/pixel_diffusion

Если кому нужно - запустить SD3 локально не просто, а очень просто:

from diffusers import StableDiffusion3Pipeline
from PIL import Image

pipeline = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3-medium-diffusers", text_encoder_3=None, tokenizer_3=None,  torch_dtype=torch.float16).to('cuda')

image = pipeline(prompt=prompt, width=1024, height=1024).images[0]

image.save(f_name)

С одной стороны в сложных сценах SD3 иногда допускает ошибки. Пейзажи ей удаются, как правило, лучше.
С другой - оно того иногда стоит. Ну где ещё увидишь, как по старой площади человек выгуливает жопу?)

Эх, я теперь хочу эту картинку анимированную.

Charming old town square during a festival, Pixel art with a monochrome palette and high detail

Кто там интересовался, может ли ИИ анимировать пиксель-арт картинки? Может. С психоделическим результатом.

Анимирующий ИИ Haiper плохо справляется с пиксель-артом. Но зато генерирует очень психоделические видео.

Knock, knock, Neo.

Сетка выучила стиль портретов из старых RPG от Westwood.

Учу нейросетку, периодически валидирую результат на наборе промптов. Вообще-то в промпте был только Киану, но, похоже, тут рядом с ним сидит Шевчук. И Киану ему явно не очень доверяет.