Пошла жара! Марк анонсирует новую LLaMa 3 и Meta AI штуки на meta.ai.

@ai_newz

​🎨 YandexART обновилась: что нового?

В статье на Хабре старший разработчик в команде компьютерного зрения рассказал, почему в новой модели стали применять технологию латентной диффузии, зачем использовать два текстовых энкодера и что показали внутренние замеры.

Читать статью

#статья #ai

Microsoft выпустила Phi-3

Моделька интересная и довольно умная, есть поддержка 128к контекста, запускается на айфоне со скоростью в 12 токенов в секунду. Поздно запостил я потому что у неё подозрительно хорошие результаты бенчмарков: mini (3.8B на 3.3 триллионах токенов) версия модели тягается с LLaMa 3 8B (15 триллионов токенов), а medium - с Mistral 8x22B Instruct. По поводу моделей семейства давно ходят шутки что это из-за того что их тренируют на бенчмарках, но авторы заявляют что это из-за того что их датасет лучше всех учит модельку размышлению. Через трое суток после релиза весов возможно, что автора правы, но я все ещё жду проверки этой модели на ChatBot Arena, так как доверия бенчмаркам нет.

Предыдущие модели семейства Phi тренировали на синтетических данных, тут же, большая часть датасета - данные из интернета. Тренируют в две стадии: первая - тренировка на сильно отфильтрованных данных. На второй стадии её, как и прошлые модели, тренируют на синтетических данных, но добавляют ещё более отфильтрованную примесь данных из интернета.

Авторы пытаются отсеять данные которые LLM такого размера и так вряд ли выучит, например результаты конкретных спортивных матчей. Назвали они это Data Optimal Regime, но у него есть заметный минус: после 7B параметров качество почти не растёт, 14B моделька очень недалеко ушла от 7B модели. Тут может быть две интерпретации: первая – из датасета убрали всё, что не может понять 3B моделька (то есть что-то такое, только для LLM), вторая – модель выучила все ответы на бенчмарки, что были в датасете и насытилась. Из-за этого, хоть в пейпере речь идёт о моделях трёх размеров: mini (3.8B), small (7B) и medium (14B), пока что релизнули только самую маленькую.

--
На видео, демонстрации инференса в fp16 на M3 Max:  Вход - 131.917 tps, Генерация- 43.387 tps. Бегает шустро, но можно сделать ещё быстрее.

А вы что думаете про Phi-3?

Technical report
4k версия модели
128k версия
Тут можно початиться с моделькой

@ai_newz

GPT-4.5 вышла, но никто этого не заметил.

Вчера на арене чат-ботов LMSYS Arena появился новый боец — gpt2-chatbot. Несмотря на «2» в названии, модель довольно крутая и легко решает те задачи, которые GPT-4 не по силам.

Юзеры уже провели расследование и выяснили, что это 100% новая модель от OpenAI. Единственное сомнение — что это GPT-4.5, ведь это может оказаться и первой версией GPT-5!

Мы попросили написать Python-код для тетриса и модель действительно с первого раза выдала рабочий код для игры!

Если будете тестировать самостоятельно, учтите, что на один IP дают 8 запросов на сутки.

ох чего не сделаешь ради nsfw или Как запустить ЛЛМ на ноутбуке.

Не знаю почему, но как-то по ощущениям ЛЛМ-ки народ меньше запускает локально, как, например, тот же стэйбл диффьюжн. Хотя я за локальные ллм очень топлю – не люблю свои данные в Клауд опенаи отправлять. То ли проблема в том, что нормальных открытых моделей до недавнего не было, то ли в том, что модельки эти просят 40 GB VRAM.

Но ведь у нас теперь есть LLAMA 3 8B! Мне удалось запустить квантизированную версию на ноуте с GTX 1650 Ti c 4 GB VRAM без особой нагрузки. (Оно и неудивительно, ведь Ламу и на мобиле уже запускают.)

Короче, вот вам гайд, как за пару тыков поставить эту кударявую лошадку себе на домашний компьютер:

1) Заходим на сайт LM Studio , качаем под свою систему сетап.
2) В поиске находим QuantFactory/Meta-Llama-3-8B-Instruct-GGUF, берем версию под себя. Там несколько квантизаций с разным уровнем сжатия. Ну или выбираем любую другую модель.
3) Заходим в окно чата, подгружаем модель и радуемся.

После того как освоились с этим, можно и поизвращаться)

Вот вам еще моя копипаста - небольшая подборка постов, про локальнные LLM:
- LLaMa с text-retrieval плагином: тык-1, тык-2
- LLama-7B на на макбуке: тык
- LLaMa-30B на макбуке (4-bit + mmap): тык
- llama2.c или Карпатый запускает LLaMa-2-7B на рисоварке: тык; а вот реализация на часах: тык
- Falcon 180B дома на маке M2 Ultra: тык

LM Studio

#туториал
@ai_newz

Я с очередным гайдом — про Llama3

Вот шикарный гитхаб, на котором можно самому, словно Лего, собрать Llama 3. Причём там всё максимально пошагово и весь необходимый код прилагается, так что реально такое собрать даже если совсем не разбираешься. А если интересна теория, то можно спросить у нового чат GPT или Gemini.

За основу берутся веса лламы с официального сайта, ну а потом вся вот эта дребедень: трансформеры, эмбединги, матрицы, токенайзеры — всё ручками. Так что, как известно, лучший способ что-то понять — построить самостоятельно.

Ну а вишенка на торте — всё очень мило показывает аниме waifu.

Делитесь потом результатами, если кто вдруг возьмётся.

Пора бы уже самому новые гайды какие-нибудь написать. Подкиньте идеи для гайдов и ликбезов в комментарии😉

Гайд на гитхабе

#туториал #ликбез
@ai_newz

​​Наконец-то появилось видео, которое помогло мне составить визуальную модель того, как выглядят и как работают под капотом современные нейросети.

Например, в случае системы распознавания изображений, можно показать всё «пространство смыслов» нейросети в виде наглядного атласа, где рядом находятся изображения схожих по смыслу объектов. Перемещаясь в этом пространстве, можно сделать фотографию человека постарее или помоложе, например.

А ещё автор наглядно демонстрирует экстенсивность развития нейросетей от первых вычислительных экспериментов в конце 90х до современных GPT — как для улучшения результатов нужно всё больше данных и всё большие вычислительные ресурсы.

В общем, отличное 17-минутное образовательное видео-эссе, рекомендую!