🔺 Новости недели #ml_news

🔸 LLaMA. Meta почти выложила в открытый доступ сильные мультиязычные (20 языков) претрейны от 7B до 65B параметров. 13B бьет приснопамятную GPT-3 (175B) на большинстве тестов. Обучали на открытых корпусах, показывая, что и на них можно достичь SOTA. Есть нюанс, — получить чекпоинт можно по запросу, а лицензия — noncommercial.
🔸 OpenAI написали заметку про наступление эпохи AGI (сильного искусственного интеллекта) "Planning for AGI and beyond" и о своей миссии в этом (три принципа в короткой и долгой перспективе).
🔸 Toolformer. Вновь работа от Meta, теперь развиваем идею повышения эффективности языковых моделей внешними инструментами. Если по какому-то API доступен калькулятор или качественный машинный перевод, то предсказываем что и когда в него нужно передать. Результат встраиваем в генерацию. Хороший обзор от Гриши Сапунова.
🔸 FlexGen. Еще один фреймворк от сообщества для запуска больших моделей на одной видеокарте (показывают пример с OPT-175B). Работает за счет сжатия весов и offloading'а, наподобие HF Accelerate и DeepSpeed Zero, но, говорят, быстрее на порядок, так как ориентирован на высокую производительность.
🔸 Умелец добавил редактор поз в Automatic1111. Кто не знает, — это инструмент для удобного использования Stable Diffusion моделей через web UI. Очень удобно, если есть своя карта. Можно подкладывать разные специализированные чекпоинты от сообщества и использовать плагины.
🔸 Вернулся из отпуска, будем с вами продолжать чинить добро и причинять радость.

🔺 ChatGPT и Whisper стали доступны по API

В первый день весны OpenAI заоптимизировали свои модели (говорят, что теперь тратят на 90% меньше ресурсов чем два месяца назад) и сделали их доступными по API.

Теперь можно встраивать в свои приложения генерацию контента через ChatGPT и распознавание речи через Whisper (97 языков).

Цена за ASR — $0.006/минута аудио, за ChatGPT — $0.002/тыс. токенов.

👉 Пост

Заполните форму, говорили они. #LLaMA

👉 утекли веса новой модельки от Meta

🔺 Новый Bing

Давайте посмотрим на то, как у Microsoft получается встраивать ChatGPT в свою поисковую систему. Как раз дали доступ к новому режиму, так что можно поиграться.

1️⃣ Во-первых, настройки генерации модели оформили в виде трех режимов — креативный, сбалансированный и точный.

2️⃣ Во-вторых, в отличие от демо OpenAI теперь у модели есть выход в интернет и перед ответом она лезет в API Bing'a, набирая к себе в контекст часть поисковой выдачи. Вот тут можно подробнее почитать про подход WebGPT. Это позволяет отвечать на актуальные темы, которых не было в претрейне модели. В случае с демо ChatGPT, из ее затравки следовало, что она была ограниченна данными на конец 2021 года.

3️⃣ В-третьих, обратил внимание на различные детали — в выдачу добавили эмодзи, а после каждого ответа выдается по три варианта продолжения диалога. Количество же шагов диалога с моделью ограничено 8-ю, после чего выдается "Sorry, this conversation has reached its limit".

〰️ Кроме того, в отличие от последнего демо ChatGPT иногда идут довольно душные ответы, типа на "сочини оду про что-то" модель может ответить

"ода должна восхвалять что-то, а то, о чем вы спрашиваете этого не заслуживает" 😁

👉 Upd. Не всегда достает из поиска последние события. К примеру, не может ответить как сегодня сыграла какая-то команда в футбол, хотя в выдаче это идет первой ссылкой. (Скрин в комментариях).

🔺 Карта языковых моделей

Обновил свою интерактивную визуализацию мультиязыковых моделей на карте.

Добавил туда LLaMA, также есть BLOOM, mt5 и mGPT.

Сделал на plotly, если кто не еще пробовал, то рекомендую.

👉 В репозитории есть скрипт для создания визуализации, если кто-то захочет сделать что-то свое.

Карта | Скрипт

🔺 ChatGPT на коленке

Появился интересный репозиторий под названием ChatLLaMA. Авторы собрали пайплайн для тренировки персонализированного ChatGPT-like ассистента на основе открытых моделей (базовая модель + reward + RLHF). Человеческая оценка происходит тоже через модели — либо платно через API к OpenAI, либо моделью с huggingface.

В примере из репы после подготовки данных все делается в три команды.

👉 GitHub