🤖 Несколько недавних новостей, но очередной важный прорыв в мире искусственного интеллекта!

1️⃣ Команда OpenAI представила text-to-video модель Sora.

☝️ Приведённое выше видео получено из следующего промта: Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. Gorgeous sakura petals are flying through the wind along with snowflakes.

2️⃣ V-JEPA — модель от Meta* как симметричный ответ про обучение моделей на видео с целью улучшения понимания нейронками мира.

3️⃣ В Google анонсировали Gemini 1.5. Вот три главных фичи:

✔️ Увеличение длины контекста до миллиона токенов
✔️ Улучшение метрик Pro 1.5 до Ultra 1.0
✔️ Внедрение микстуры экспертов

*организация, деятельность которой запрещена на территории РФ

#чтопроисходит

А вот это интересно. Маск сказал, что они заопенсорсят свою LLM Grok на этой неделе.

Вы же слышали, что Маск пошел в атаку на OpenAI и даже подал в суд на них (если коротко, то из-за того, что они превратились из Open в Closed).

Любопытно увидеть, что же там у Grok под капотом. Модель, конечно, не Gpt4 и не Claude3 уровень, но опенсорс — это всегда замечательно.

@ai_newz

Пошла жара! Марк анонсирует новую LLaMa 3 и Meta AI штуки на meta.ai.

@ai_newz

​🎨 YandexART обновилась: что нового?

В статье на Хабре старший разработчик в команде компьютерного зрения рассказал, почему в новой модели стали применять технологию латентной диффузии, зачем использовать два текстовых энкодера и что показали внутренние замеры.

Читать статью

#статья #ai

Microsoft выпустила Phi-3

Моделька интересная и довольно умная, есть поддержка 128к контекста, запускается на айфоне со скоростью в 12 токенов в секунду. Поздно запостил я потому что у неё подозрительно хорошие результаты бенчмарков: mini (3.8B на 3.3 триллионах токенов) версия модели тягается с LLaMa 3 8B (15 триллионов токенов), а medium - с Mistral 8x22B Instruct. По поводу моделей семейства давно ходят шутки что это из-за того что их тренируют на бенчмарках, но авторы заявляют что это из-за того что их датасет лучше всех учит модельку размышлению. Через трое суток после релиза весов возможно, что автора правы, но я все ещё жду проверки этой модели на ChatBot Arena, так как доверия бенчмаркам нет.

Предыдущие модели семейства Phi тренировали на синтетических данных, тут же, большая часть датасета - данные из интернета. Тренируют в две стадии: первая - тренировка на сильно отфильтрованных данных. На второй стадии её, как и прошлые модели, тренируют на синтетических данных, но добавляют ещё более отфильтрованную примесь данных из интернета.

Авторы пытаются отсеять данные которые LLM такого размера и так вряд ли выучит, например результаты конкретных спортивных матчей. Назвали они это Data Optimal Regime, но у него есть заметный минус: после 7B параметров качество почти не растёт, 14B моделька очень недалеко ушла от 7B модели. Тут может быть две интерпретации: первая – из датасета убрали всё, что не может понять 3B моделька (то есть что-то такое, только для LLM), вторая – модель выучила все ответы на бенчмарки, что были в датасете и насытилась. Из-за этого, хоть в пейпере речь идёт о моделях трёх размеров: mini (3.8B), small (7B) и medium (14B), пока что релизнули только самую маленькую.

--
На видео, демонстрации инференса в fp16 на M3 Max:  Вход - 131.917 tps, Генерация- 43.387 tps. Бегает шустро, но можно сделать ещё быстрее.

А вы что думаете про Phi-3?

Technical report
4k версия модели
128k версия
Тут можно початиться с моделькой

@ai_newz

GPT-4.5 вышла, но никто этого не заметил.

Вчера на арене чат-ботов LMSYS Arena появился новый боец — gpt2-chatbot. Несмотря на «2» в названии, модель довольно крутая и легко решает те задачи, которые GPT-4 не по силам.

Юзеры уже провели расследование и выяснили, что это 100% новая модель от OpenAI. Единственное сомнение — что это GPT-4.5, ведь это может оказаться и первой версией GPT-5!

Мы попросили написать Python-код для тетриса и модель действительно с первого раза выдала рабочий код для игры!

Если будете тестировать самостоятельно, учтите, что на один IP дают 8 запросов на сутки.

ох чего не сделаешь ради nsfw или Как запустить ЛЛМ на ноутбуке.

Не знаю почему, но как-то по ощущениям ЛЛМ-ки народ меньше запускает локально, как, например, тот же стэйбл диффьюжн. Хотя я за локальные ллм очень топлю – не люблю свои данные в Клауд опенаи отправлять. То ли проблема в том, что нормальных открытых моделей до недавнего не было, то ли в том, что модельки эти просят 40 GB VRAM.

Но ведь у нас теперь есть LLAMA 3 8B! Мне удалось запустить квантизированную версию на ноуте с GTX 1650 Ti c 4 GB VRAM без особой нагрузки. (Оно и неудивительно, ведь Ламу и на мобиле уже запускают.)

Короче, вот вам гайд, как за пару тыков поставить эту кударявую лошадку себе на домашний компьютер:

1) Заходим на сайт LM Studio , качаем под свою систему сетап.
2) В поиске находим QuantFactory/Meta-Llama-3-8B-Instruct-GGUF, берем версию под себя. Там несколько квантизаций с разным уровнем сжатия. Ну или выбираем любую другую модель.
3) Заходим в окно чата, подгружаем модель и радуемся.

После того как освоились с этим, можно и поизвращаться)

Вот вам еще моя копипаста - небольшая подборка постов, про локальнные LLM:
- LLaMa с text-retrieval плагином: тык-1, тык-2
- LLama-7B на на макбуке: тык
- LLaMa-30B на макбуке (4-bit + mmap): тык
- llama2.c или Карпатый запускает LLaMa-2-7B на рисоварке: тык; а вот реализация на часах: тык
- Falcon 180B дома на маке M2 Ultra: тык

LM Studio

#туториал
@ai_newz

Я с очередным гайдом — про Llama3

Вот шикарный гитхаб, на котором можно самому, словно Лего, собрать Llama 3. Причём там всё максимально пошагово и весь необходимый код прилагается, так что реально такое собрать даже если совсем не разбираешься. А если интересна теория, то можно спросить у нового чат GPT или Gemini.

За основу берутся веса лламы с официального сайта, ну а потом вся вот эта дребедень: трансформеры, эмбединги, матрицы, токенайзеры — всё ручками. Так что, как известно, лучший способ что-то понять — построить самостоятельно.

Ну а вишенка на торте — всё очень мило показывает аниме waifu.

Делитесь потом результатами, если кто вдруг возьмётся.

Пора бы уже самому новые гайды какие-нибудь написать. Подкиньте идеи для гайдов и ликбезов в комментарии😉

Гайд на гитхабе

#туториал #ликбез
@ai_newz