Microsoft показал нейронку 🏺VASA:

Даете ей на вход фото и аудио дорожку, а на выходе получаете слишком реалистичное видео, которое в очередной раз перепугает половину интернета ☕️

Кода пока нет, больше примеров тут:
https://www.microsoft.com/en-us/research/project/vasa-1/

👨‍💻

Я уже не пишу сюда когда очередная опенсорсная модель бьет все метрики и приближается к GPT4, потому что этот рейтинг меняется буквально каждую неделю (и вы быстро устанете от моих восторгов), но одна новая модель мне сильно понравилась — она подойдет для программистов и тех кто учится:
CodeQwen1.5-7B-Chat (gguf)

Модель небольшая, всего 7B параметров, но она сейчас находится на втором месте по качеству генерации кода среди всех опенсорсных моделей.

CodeQwen1.5-7B все еще хуже GPT4, но она:
1) Классно пишет код для небольших задач, этот код можно с ней же дебажить;
2) Работает на любом тостере;
3) Поддерживает 32K контекстного окна (то есть вы можете как часть промпта скармливать свой код и с ней его анализировать);
4) Очень быстрая из-за того что маленькая;
5) Поддерживает все эти прелести опенсорсных моделей, такие как негативный промпт, Lora и тп.

Если вы давно хотели поставить что-то локальное, а ChatGPT вам нельзя использовать из-за корпоративной политики, очень рекомендую рассмотреть.

В Видео CodeQwen1.5 сначала пишет код для HTML страницы с эффектом из матрицы (скорость реальная на моем ноуте), а во втором видео — эффект и код, что получился.

P.S. Маленькие модели наиболее подвержены правильному промптингу, поэтому делюсь своим промптом агента программиста и негативным промптом который вы можете передать с --cfg-negative-prompt (негативный промпт не обязателен, но помгает улучшить качество — насколько, я не замерял пока что).

P.P.S. Запуская я все классически тут — llama.cpp

👩‍💻👩‍💻👩‍💻

Кстати, промпт из поста выше можно использовать и для больших моделей типа Claude 3 Opus / GPT4:

В первом видео – я попросил сделать эффект из матрицы без своего промпта, во втором с ним. 

Правильный промптинг наглядно делает лучше 🔄