🔺 Yi. Новая китайская LLM #ml_news

Китайские товарищи выкатили очередную открытую модель, за что им уважение. В этот раз стартап 01.ai под девизом "Human + AI" (буковка Y в названии символизирует иероглиф 人) обучил на 3T токенах текстов 2 модели — 6B и 34B. Технический репорт обещают показать в следующем месяце.

Контекст у выложенных на HF моделей 34k токенов. И сегодня же разработчики должны выложить модели с контекстом в 200k токенов. Качество этих моделей нужно будет ещё замерить на соответствующих long-range метриках, но звучит внушительно.

По традиционным метрикам также заявляют рост — 76.3 MMLU у 34B и 63.2 у 6B. Скрипты по дообучению также выложили на GitHub. Посмотрим, как у неё с русским.

👉 HF | GitHub

〰️ Upd. P.S. Кстати, на карточке компании на MindScope пишут, что стартапом руководит Кай-Фу Ли, доктор наук и бывший руководитель Google China. Еще он написал хорошую популярную книжку «ИИ-2041» в соавторстве с китайским писателем-фантастом Чэнем Цуфанем.

Upd 2. Модели на 200k контекста выложили.

👉 HF 6B | HF 34B

🔺 GPT-4 обновился

В самом популярном сервисе от OpenAI произошли масштабные изменения, про которые рассказали на OpenAI Dev Day. Что было интересного?

🔸 GPT-4 Turbo. Новая модель, обученная на более актуальных данных, теперь это апрель 2023 года вместо сентября 2021. Контекст увеличился до 128k токенов. Помимо этого модель явно оптимизировали, что удешевило инференс и позволило понизить цену на API более чем в 2 раза. Цену на 3.5-turbo и её дообучение тоже снизили.

🔸 JSON-mode. Раньше можно было попросить модель выдавать результат в структурированном виде в формате JSON при помощи промптов и это почти всегда работало. Теперь появился специальный режим, в котором модель будет всегда выдавать валидный JSON.

🔸 Вызов внешнего API. Если вам нужно сделать вызовы во внешние API на основании своих данных, то можно описать набор этих вызовов в виде функций в специальном параметре примерно таким образом:

send_email(to: string, body: string)

И модель сама поймет где-что вызвать и сгенерирует ряд JSON'ов с извлеченными из запроса параметрами, с которыми вы сможете обратиться куда нужно на стороне своего приложения. На презентации показали, как модель бронирует жилье на Airbnb. Также будет возможность зафиксировать seed для воспроизводимости.

🔸 Обещают, что в API можно будет получать вероятности распределения токенов (logprobs) (!). Получится ли дистиллировать GPT-4 через них?

🔸 Assistant API. Улучшили взаимодействие с моделью в режиме чата. Теперь можно выбрать модель и создать на её основе ассистента. Затем создается ветка (thread) и в неё кидаются новые сообщения, которые будут обрабатываться ассистентом.

🔸 Vision API. Наконец в API дотащили мультимодальность. Теперь можно делать вызовы в модель GPT-4-Vision (gpt-4-1106-vision-preview) и реализовывать кейсы с использованием картинок, типа подсчета цены в чеке на основе фотографии. Цена за обработку картинки размером 1024x1024 в контексте запроса будет стоить $0.007.

🔸 GPTs. Появилась возможность создавать навыки, делая приложения через конструктор. Анонсирован и магазин для таких приложений. Теперь можно не просто придумать какой-то креативный промпт, но и дообучить модель на своих данных, обернуть её в навык и распростанять как полезный генеративный инструмент. В обновленном UI на вкладке GPTs уже есть кучка навыков типа помощника-редактора для написания текстов.

Попробовал китайскую модель Yi (тренировали на 3T токенов, контекст 200k). На русском генерирует не очень, хотя тексты на английском продолжает очень бодро.

👉 Не удивительно, на вопрос про языки в претрейне разработчики ответили, что явно отфильтровывали всё кроме китайского и английского.

🔺 Марийский принц

Получилось выровнять «Маленького принца» на марийском языке. Спасибо Андрею Чемышеву @mari_kanal за поиск текстов и перевод недостающих кусочков.

Таким образом, уже есть параллельная версия книги на башкирском, татарском, дигорском, коми, марийском, якутском и русском. На подходе несколько редакций на других малых языках. Их тоже скоро добавим. Если у вас есть ещё, то смело присылайте тексты! Желательно с указанием переводчика.

👉 Книжка

🔺 SignFlow

Тут коллеги сделали важную вещь — обучили ряд моделей для распознавания русского жестового языка. Работа направлена на поддержку глухих и слабослышащих людей.

И модели и датасет выложили в открытый доступ, чтобы каждый мог попробовать. Оставить обратную связь и узнать про методы обучения и планы развития можно у ребят.

👉 GitHub (датасет и модели)

Побывал с командой в Екатеринбурге, где в качестве ведущего ML секции на внутренней конференции Т.Конф получилось отвлечь от работы пару тысяч коллег.

Город очень понравился, особенно контраст высоток с деревянными купеческими домиками. Удалось прогуляться лишь по центру, поэтому обязательно приеду ещё.

Сэма Альтмана уволили за пару минут из OpenAI в связи с утратой доверия.

He was not consistently candid in his communications with the board, hindering its ability to exercise its responsibilities. The board no longer has confidence in his ability to continue leading OpenAI.

Шило в мешке не утаишь и причину мы скоро узнаем. А пока ждём новостей и читаем шутки про то, как ChatGPT начал отнимать у людей работу.

Статья для тех, кто хочет попробовать себя в машинном обучении. Лаида-техножрица описала примерный путь с нуля, включая предварительные знания и бесплатные курсы.

Возможно, тоже опишу свой опыт перехода в ML из разработки. Кажется, что такой опыт выглядит логичным и может быть повторен сравнительно легко. Напишите, что думаете по этому поводу

🔺 SVD, SVD-XT

Вышла новая открытая модель по генерации видео от Stability AI. Пока можно генерировать по картиночному промпту, что я и попробовал.

SVD-XT обучена на базе SD v2.1 на генерацию 25 фреймов (а обычная SVD на 14), скрипты для запуска можно найти на GitHub'е.

HF | GitHub | Статья

Сейчас идёт конференция AIJ. Интересна она тем, что многие коллеги приурочивают к ней релизы своих наработок, над которыми работали в течение года. Сегодня и завтра расскажу вкратце про наиболее понравившиеся.

🔺Kandinsky 3

Да, ребята доучили третью версию модели для генерации изображений. Помимо архитектуры заморочились с данными, чтобы лучше рисовались мелкие детали и сеть улавливала больше культурных нюансов из промта, типа Чебурашки и балалаек.

Промпт: Чебурашка ломает небоскребы как Годзилла, photo, artstation.

👉 Хабр | tg-бот

🔺 GigaChat 29B

Следующий большой анонс связан с нашей новой моделью размером 29 миллиардов параметров.

🔥 Из крутого то, что на SBS она показала паритет с ChatGPT 3.5-turbo, чего мы очень долго добивались. Двигались мы от результата 33:67 у первой модели к 43:57 у сегодняшнего прода и вот постепенно дошли до равенства.

Вчера на AIJ раскрыли и некоторые технические подробности. Как готовим данные и обрабатываем сырой Common Crawl, как ускорили обучение в несколько раз, как долго учим модели и т.д.

🔸 На MMLU модель выбила 63,2% процента правильных ответов.

Коллеги сейчас готовят модель к инференсу, так что скоро можно будет пробовать. API для разработчиков у нас тоже есть и пока что действует план на миллион бесплатных токенов.

👉 Видео | API

🔺 MERA

Ещё один большой и полезный релиз. Коллеги вложили очень много сил в новый фреймворк для оценки языковых моделей, который назвали MERA.

🔸 Сейчас есть 21 задача с текстом, постепенно будут добавляться таски в других модальностях. Есть задания на логику, математику, знания о мире, этику, память и другие.

🔸 Проект коллективный, ведётся совместно с Альянсом в сфере ИИ.

🔸 Сделали открытый лидерборд, на котором можно будет наблюдать текущий уровень развития русскоязычных моделей.

Написали про это небольшую статью для интересующихся деталями разработки. Ждём ваших сабмитов!

👉 Хабр | GitHub | Сайт проекта

🔺 Intro to LLMs

Наш любимый Андрей Карпати выложил новое видео с введением в большие языковые модели. Посмотрел, могу рекомендовать всем, кто интересуется темой, объясняет очень доступно.

• Что такое LLM и как их обучают, pretrain, alignment.
• Сколько стоит обучение с нуля (много).
• Сравнение с двумя системами мышления у человека.
• LLM — не чат-бот, а скорее операционная система.
• Есть десятки способов атак на языковые модели.

👉 Видео

#education

🔺 GPT Week

Коллеги из Яндекса запустили недельный курс лекций с семинарами по обучению и оптимизации больших языковых моделей.

Кто хотел вкатываться в ML, вот вам ещё один шанс начать. Идёт курс в течение этой недели, две лекции уже прошло:

1️⃣ Введение в большие языковые модели (видео).

2️⃣ Про претрейн LLM (видео 1, видео 2).

Ещё три на подходе, будут по ссылкам.

3️⃣ Подготовка данных и оценка LLM (видео).

👉 Коля Зинов тоже недавно рассказал на AIJ про выравнивание моделей на этапе RLHF (видео).

4️⃣ Alignment моделей (видео).

5️⃣ Ускорение инференса LLM (видео).

Посмотреть полное расписание и настроить напоминалки можно в боте.

🔺 SDXL Turbo

Stability AI сделали дистиллированную версию своей модели по генерации картинок и выложили в открытый доступ.

Пишут, что картинка с хорошим качеством генерится сразу за 1 шаг (!). На большой модели требуется 30-50 шагов.

Теперь можно генерировать в реальном времени, попробуйте демо.

👉 HF | Релиз | Демо

🔺 GigaChat-митап (4 декабря, 18:00)

Что-то я забегался и забыл рассказать про офлайн-митап, который мы проводим в понедельник. Расскажем про обучение LLM, также коллеги поделятся опытом работы с синтезом речи.

Информация из первых уст, все те ребята, с кем сидим на созвонах и раскаляем кластер экспериментами (Гриша Лелейтнер, Никита Сидоров и Эмиль Шакиров расскажут про претрейн и выравнивание GigaChat'а).

👉 Пока еще можно зарегистрироваться офлайн, но все смогут посмотреть трансляцию. Ссылка.

Приходите, пообщаемся!