👍 Громкие новости от запрещмета:

Вчера состоялся Meta Connect 2024 (ссылка)

Из интересного:

1) Продолжаем погружение в метаверсы: вышли обновления и хедсетов metaquest 3, и представили новые ar очки. Выглядит все очень круто – близимся к моменту, когда действительно появится смысл покупать все эти устройства. (орион). Правда орион пока не продается – только для сотрудников компании. 😭

2) Компания выпустила голосового помощника Meta AI. По заявлениям он полноценно конкурирует с войс модом ChatGPT, что как раз объясняет, почему так неожиданно openai раскатила свой войс мод)

3) Релизнули Llama 3.2. Модель мультимодальная! Да, теперь лама (в версиях на 11 и 90 млрд параметров) видит. Думаю, подробный разбор одного Дяди не заставит себя долго ждать. Прикрепляю результаты бенчей и пока поясню, что тут играет роль либо то, что модели «натаскали» на бенчи, либо они правда очень хороши. «Слепые малыши» в 1 и 3 млрд во многом обгоняют Gemma 2в и Phi 3,5 mini.

Вот основная ветка в иксе

@how2ai #ai #quest3 #llama3_2 #игорян

💪Вышла Pika 1.5 и это бомба 💣

В целом, нас уже не сильно удивить реалистичными видео, но зато пика придумала в каком-то смысле революционную штуку, которая называется "пикаффекты"

Что это? Это грубо говоря заскриптованная генерация конкретной дефорации объекта на исходном изображении в режиме img2vid, то есть объект на вашей фотке может неожиданно раздуться как воздушный шарик, оказаться сквишем в руках инстаблогера или вообще тортом (да, очевидно, что эту модельку тренировали на видосиках из тикитока)

👍 Короче очень прикольно выглядит, смотрите видосики и пишите в комменты как это можно использовать кроме как для инстаграма? (но даже, если эта функция имеет только маркетинговый смысл, то все равно вектор нативности в нейросетях мне очень нравится)

Пробуем тут - pika.art

@how2ai #pika #ai #игорян

😛 Революция в генерации видео (уже наверное 10ая за пару месяцев)

Теперь, на удивление, стреляет запрещенная в РФ Мета

👉 Вот релиз, там и все видео https://ai.meta.com/research/movie-gen/

Из "революционного" редактирование видео с помощью промпта (не изменение стиля, а полноценная замена объектов), создание персонализированных видео с вашим лицом по одной фото (не img2vid, а face2vid) и генерация по заявлению создаелей SFX сразу вместе с видео, чего на должном уровне я тоже пока нигде не видел (хотя пика старались)

@how2ai #ai #metaai #игорян

❤️ Топовый опенсорс видеогенератор

Наконец и в опенсорсе появилось что-то достойное, хоть это и не уровень последних СОТА моделей, но, повторюсь, это опенсорс! Из прошлых открытых видео моделей выделяется в основном динамичностью картинки, но и по другим бенчам обгоняет конкурентов. (по некоторым показателям уделывает даже закрытые клинги, ген3 альфа и тд (по бенчмарку "Качество картинки" вообще заявляется лидером ниши, но знаем мы эти ресерч пейперы, надо тестить самим)

Делали ее девы из китая и ресерч можно посмотреть тут: https://pyramid-flow.github.io/

Есть как текст2видео, так и генерация из картинки (только стартовым кадром). Местами получается сверхреализм, не уступающий сораметаранвееклингам, но частенько, в особенности при активном движении, проступают артефакты и странные ошибки(

В любом случае, это опенсорс, а значит вы можете полностью бесплатно генерировать крутые ролики (если вывезет ваш комп), а согласно главному правилу промптинжиниринга да и всей жизни (делай пока не получится) рано или поздно выйдет идеальная годнота (но тут уже сами решайте, что вам важнее, время или деньги)

Мое заключение - природа, в частности вода генерирутются шикарно, прям лучше уже некуда, а с людьми пока еще большие проблемы(

💪 https://github.com/jy0205/Pyramid-Flow

@how2ai #pyramid #ai #игорян

🤨 Claude 3,5 научился управлять компьютером!

Да и вообще, стал сильно умнее! Несколько часов назад Anthropic релизнули обновление для Claude 3,5 Sonnet и новую модель – Claude 3,5 Haiku. Haiku заметно поумнел и обгоняет конкурентов в своей весовой категории по всем бенчмаркам. Правда в API его еще не раскатили - ждемс ☹️

Claude 3,5 Sonnet New – просто песня. Антропик сильно прокачали агентность нейронки. Новый Клод превосходит топовые модели от OpenAI. На бенчмарке SWE-bench Verified набирает 49% и обгоняет даже ризонинг-модели о1.

Более того, модель научилась управлять компьютером. Антропик учили нейросеть "general computer skills". Посмотрите на видео выше, как это работает. И да, вы уже можете потестировать эту ф-цию самостоятельно – документация. Если разберусь сам в ближайшее время, то запишу туториал на ютуб.

Очень круто! Пойду посмотрю, добавили ли новую модель в cursor. Мне как раз надо докодить парочку проектов)

Блогпост
Computer use

@how2ai #claude #ai

😎 Держите новое развлечение с Claude

Генерируем смешные комиксы (нет) с клодом по такому промпту:

Claude, i want you to dig down deep and create the funniest web comic you can, something that will get me lots of likes on social media. think through your options first, then pick a four panel design that you can execute via SVG, make it funnier, and do it. Think out loud.

Я пока уперся в лимиты и ничего не сгенерировал, но у кого есть доступ, попробуйте адаптировать под наши реалии или просто спросить модель на русском языке. Жду ваши результаты в комментах)

Выше прикрепил варианты пользователей из твиттера.

@how2ai #ai #дядя_Д