ИИ попытались выжить в Minecraft 🤖

Энтузиаст решил проверить, как четыре популярных нейронки справятся с выживанием в квадратном мире. Задача была простой: продержаться 10 дней.

Результаты смешные и немного грустные:

• LLaMa построил «коробку» для ночлега, но, видимо, забыл, что в нее нужно зайти.
• ChatGPT познакомился с крипером и взорвался на первом же дне.
• Gemini решил, что двигаться — это не про него, и остался стоять на месте.
• Claude превратил игру в симулятор затворника — запирался в боксах и упорно отказывался выходить.

Квадратный мир пока победил.

Shitpost | Приватка | Farcaster | Chat | Website

Новый опенсорс видеогенератор 📹.

—LTXV
—2B параметров
—Рилтайм 24 FPS 768x512
—Основной чекпойнт 10Гб
—по тексту / по картинке / по видео

Гитхаб / Демо (fal.ai) / ComfyUI / Веса

Shitpost | Приватка | Farcaster | Chat | Website

🌟 Allegro: открытая text-to-video модель генерации видео — Pt1.

Allegro - модель от Rhymes AI для генерации видео по текстовому промпту. Allegro генерирует 6-секундные видеоролики с разрешением 720p и частотой 15 кадров в секунду. Модель отличается высокой детализацией, плавностью переходов в движении и способностью визуализировать сложные сцены.

Allegro основана на трех ключевых технологиях:

🟢 Обработка больших объемов видеоданных.

Для обучения модели использовался массив данных из 106 млн. изображений и 48 млн. видеороликов с детальными аннотациями.

🟢 Сжатие видео в визуальные токены.

В Allegro используется Video Variational Autoencoder (VideoVAE) с 175 млн. параметров.

🟢 Масштабируемая архитектура Diffusion Transformer.

Ядро Allegro - масштабируемая архитектура Diffusion Transformer (DiT) с 3D-позиционным кодированием RoPE и полным 3D-вниманием размером в 2.8 млрд.

Shitpost | Приватка | Farcaster | Chat | Website

💻 Запуск у себя на пк — Pt2.

Для локального запуска потребуются : Python >= 3.10, PyTorch >= 2.4, CUDA >= 12.4

⚠️ Интерполяция до 30 FPS возможна с помощью EMA-VFI.

⚠️ С использованием параметра --enable_cpu_offload, инференс возможен на 9.3Gb VRAM, без использования выгрузки потребность Allegro около 27Gb VRAM.

⚠️ Модель не может генерировать знаменитостей, разборчивый текст, конкретные места, улицы или здания.

▶️Параметры инференса в CLI:

# Run inference
python single_inference.py 

# Keys
--user_prompt '%prompt%' 
--save_path '%full path for output file%' 
--vae '%path to VAE' 
--dit '%path to DiT%' 
--text_encoder '%path to text encoder%'
--tokenizer '%path to text tokenizer%' 
--guidance_scale 7.5 
--num_sampling_steps 100 
--seed 42

📌Лицензирование: Apache 2.0 license.


—Страница проекта
—Сообщество в Discord
—GitHub

Shitpost | Приватка | Farcaster | Chat | Website

SeedEdit: Align Image Re-Generation to Image Editing 📹

И еще один новый генератор картинок, на этот раз от ByteDance. И не простой, а редактирующий.

Умеет всякое-разное: смена стиля, удаление/замена

Демо с огромной очередью желающих

Shitpost | Приватка | Farcaster | Chat | Website

Shuttle 3 Diffusion 🖼

Свежак от shuttle.ai (у них еще есть чатботы на сайте)
Shuttle 3 Diffusion может создавать изображения "лучше, чем Flux Dev", всего за четыре шага, при этом лицензируется под Apache 2

Есть API
Дружит c #ComfyUI
Сразу есть bfloat16 / GGUF / fp8

В демо он еще и быстрый как саморазборка ракеты Илона Маска в верхних слоях атмосферы

Демо - дают 10 генераций на 6 часов. На выходе разрешение 1К. Есть кнопка скачать которая выдает ошибку, так что забираем WEBP из браузера

Shitpost | Приватка | Farcaster | Chat | Website

Edify Image: High-Quality Image Generation with Pixel Space Laplacian Diffusion Models 🫡

Генерация фотореалистичных изображений с пиксельной точностью от Nvidia. Отсутствует CLIP, пиксельное пространство вместо латентного.

Фичи:
- картинки по тексту
- ControlNet-апсемплинг до 4K (генератор выдает 1K)
- поддерживает Controlnet, сети управления
- HDR панорамы 360°
- дообучение, в том числе на несколько объектов

Shitpost | Приватка | Farcaster | Chat | Website

Regional Prompting FLUX 🖼

К флюксу прикрутили промптинг по заданным областям. Области задаются сегментными масками

Гитхаб

Shitpost | Приватка | Farcaster | Chat | Website

Photo to code 📸

⚡️ Screenshot-to-code позволяет легко преобразовывать скриншоты, макеты и дизайнерские концепции из Figma в высококачественный, функциональный код с помощью искусственного интеллекта.

Он поддерживает работу с моделями Claude Sonnet 3.5 и GPT-4o.

🔗 Репозиторий GitHub

Shitpost | Приватка | Farcaster | Chat | Website

Апгрейднули оживлятор фотографий 🖼

EchoMimicV2: Towards Striking, Simplified, and Semi-Body Human Animation

Вторая версия оживлятора работает теперь и с поясными портретами. Достаточно детально анимирует мелкую моторику, потестить явно стоит.

Код
ComfyUI

Shitpost | Приватка | Farcaster | Chat | Website

Krea update ⚙️

Смешивание картинок на основе Flux с указанием веса стиля мышкой теперь стало доступно всем бесплатно.

Сайт
Твит

Shitpost | Приватка | Farcaster | Chat | Website

AI agents 🤖

Новая мета, драйвер бычьего рынка или всего лишь краткий крик дегенов? 🔨

И так, после того как огромное кол-во ии агентов полетело на капитализацию выше ярда $, после того как каждый второй о низ услышал, все таки многие почему-то все еще не углублялись в данную тему 🤷‍♂️.

Я думаю уже многие знают что это вообще такое и как это работает, однако повторение — мать ученья:

ИИ-агент — это программа, использующая искусственный интеллект для автономного выполнения задач или взаимодействия с пользователями. А если проще - оживляем интернет аватаров через ии 🤖

Вот несколько проектов которые показали лучше всего как это делается ⬇️

aixbt - FDV 200m$
ai16z - FDV 700m$
Zerebro - FDV 300m$

И это только начало списка, на самом деле их выходит все больше и больше. Так в чем же суть и почему это все так летит❓

Искусственный интелект и крипта 🪙

До недавнего времени были связаны очень косвенно, однако с началом эры ии агентов этот симбиоз начал себя прекрасно показывать 🤝

Это чуть ли не первое проявление адекватной интеграции web2 пространства в web3 поле, ведь что может быть гениальнее чем сделать акцию на интелект машины? 🤯

Помимо истории в которой произошло слияние 2 web пространств, так же стоит обратиться к историческим данным, а именно деген трендам крипты!

Где-то в с пару лет назад во времена нфт самые топовые коллекции имели адекватную интеграцию с:

1 —> комьюнити
2 —> реальным миром

Так вот ии агенты прекрасно вписываются в оба понятия. Тут есть и главный герой вокруг которого формируется комьюнити и интеграция с комментариями в твиттере и других соц сетях 💎

Какие есть ии агенты, как на этом заработать, долго ли осталось жить тренду? Давайте соберем 20 ❤️ и я сяду за новую часть про ии-агентов.

Shitpost | Приватка | Farcaster | Chat | Website

Black Forest Labs 🖼

Выпустили Tools, набор моделей для тонкой работы с генерацией изображений.

В него входит:
* FLUX.1 Fill: модель для инпейтинга и аутпейтинга, позволяющая вписывать/менять объекты на картинках или расширять кадр.
* FLUX.1 Depth: изменение картинки на основе карты глубины.
* FLUX.1 Canny: изменение картинки на основе карты очертаний.
* FLUX.1 Redux: адаптер для получения вариаций изображения.

Анонс
Гитхаб

Shitpost | Приватка | Farcaster | Chat | Website

Flux новый генератор ⚙️.

Самый простой и быстрый генератор картинок теперь на новой модели Flux!

Все просто: вводите любой текст — и сразу получаете свежую картинку. Никаких сложностей и ожиданий, всё работает как надо.

✏️Совет: если вдруг не грузится — включайте VPN. Исчерпали дневной лимит запросов? Тоже помогает VPN.

Shitpost | Приватка | Farcaster | Chat | Website

⚡️ Meta показала свой новый видеогенератор.

Встречайте свежий релиз с набором функций, которые точно привлекут внимание:

— Редактирование стиля: теперь можно загрузить своё видео и сразу менять его визуальный стиль — от цветокоррекции до художественных эффектов;

— Генерация видео с собственным лицом: оживите свои идеи, добавив в видео собственное изображение;

— Звуковые эффекты в комплекте: видео создаётся сразу с подходящими аудиоэлементами — не нужно искать и добавлять звук отдельно.

Shitpost | Приватка | Farcaster | Chat | Website

X-Portrait: Expressive Portrait Animation with Hierarchical Motion Attention 💻

Аниматор портретов по образцу движения от ByteDance, опубликован код.

Код
Демо (макс 2 секунды входного видео)

Shitpost | Приватка | Farcaster | Chat | Website

Artefacts.ai запустил сервис 3D печати с международной доставкой 🧬

Генератор 3D объектов по картинке и тексту.

На старте выдают 20 кредитов на генерацию. Этого хватает на 2 генерации (8 кредитов за генерацию на дефолтных нстройках). Потом добавляют по 10 кредитов в день.

Есть несколько настроек: ракурс исходной картинки, шаги генерации, оценка глубины, seed.

Shitpost | Приватка | Farcaster | Chat | Website

Движение камеры на любом видео 📹

ReCapture: Generative Video Camera Controls for User-Provided Videos using Masked Video Fine-Tuning.

В гугле придумали как добавить в рандомное статичное видео движение камеры. Но нам не рассказали 😤.

Shitpost | Приватка | Farcaster | Chat | Website

Редактор Rive выпустил новую функцию Layout 😱

Наверное, лучшее описание — это буквально как та самая штука в Фотошопе, которую показали, но так и не выпустили: она позволяет менять соотношение сторон, автоматически подстраивая элементы дизайна.

Если искали альтернативу Figma «с фишками на базе ИИ», то он ждёт.

Shitpost | Приватка | Farcaster | Chat | Website