Ну и раз сегодня день анонсов, вот и Антропик тоже:

https://www.anthropic.com/index/introducing-claude

Последнее на сегодня.

Выпустили новый пост про GPT as MT, теперь про ChatGPT.

https://blog.inten.to/chatgpt-for-translation-surpassing-gpt-3-e8e34f37befb

TL;DR GPT дизраптит машинный перевод, 10x дешевле обычных вендоров, и порой не хуже. А ещё всякие доп.возможности...

Скоро выпустим ещё один, с исследованием на базе GPT-4. Но ChatGPT явно останется интересной опцией благодаря цене.

PyTorch 2.0 is out!

This next-generation release includes a Stable version of Accelerated Transformers (formerly called Better Transformers); Beta includes torch.compile as the main API for PyTorch 2.0, the scaled_dot_product_attention function as part of torch.nn.functional, the MPS backend, functorch APIs in the torch.func module; and other Beta/Prototype improvements across various inferences, performance and training optimization features on GPUs and CPUs.

https://pytorch.org/blog/pytorch-2.0-release

[Stanford] Alpaca: A Strong, Replicable Instruction-Following Model
Rohan Taori, Ishaan Gulrajani, Tianyi Zhang, Yann Dubois, Xuechen Li, Carlos Guestrin, Percy Liang, Tatsunori B. Hashimoto
Статья: https://crfm.stanford.edu/2023/03/13/alpaca.html
Repo: https://github.com/tatsu-lab/stanford_alpaca

Новости полу-опенсорсного мира. С тех пор как полу-опубликовали LLaMA (https://t.me/gonzo_ML/1324) и она утекла на торренты (https://t.me/gonzo_ML/1346), с моделью произошло много всего интересного. Её научились квантовать в 4 бита и запускать из плюсов на ноутбуке (https://github.com/ggerganov/llama.cpp), на телефоне Pixel 6 (https://twitter.com/thiteanish/status/1635188333705043969), а Артём Андреенко запихнул её на Raspberry Pi 4 с 4GB RAM (https://twitter.com/miolini/status/1634982361757790209).

В это время исследователи из Стэнфорда взяли LLaMA 7B и затюнили её на instruction-following, полученную модель назвали Alpaca. Инструкции -- это запросы типа "Give me a cooking recipe for the following food.", "Given the name of an exercise, explain how to do it.", "Analyze the sentences below to identify biases." и т.п и соответствующие им ответы.

Датасет из 52k демонстраций следования инструкциям сгенерили через OpenAI GPT-3 (text-davinci-003, то есть обычная GPT-3.5, не ChatGPT или GPT-4) пользуясь подходом Self-Instruct (https://arxiv.org/abs/2212.10560), что есть красивый бутстрап.

Для этого начали со 175 написанных человеком примеров из работы Self-Instruct (https://github.com/yizhongw/self-instruct/blob/main/data/seed_tasks.jsonl). Их использовали как in-context примеры (внутри промптов) для GPT-3 и нагеренили ещё больше инструкций (те самые 52k уникальных инструкций и соответствующих ответов). Данные довольно разнообразны, см. красивую картинку с круговой диаграммой. На это потратили меньше $500 на апишку OpenAI. Так понимаю, с ChatGPT потратили бы вообще $50.

Имея этот датасет из 52k примеров, зафайнтюнили LLaMA через HuggingFace transformers Trainer, пользуясь из коробки техниками типа fully sharded data darallel и mixed precision training. Их начальный запуск файнтюнинга 7B LLaMA модели потребовал порядка трёх часов на 8 GPU A100-80GB, что по нынешним ценам облака стоит меньше $100 (ну на Амазоне чуть больше, https://aws.amazon.com/ec2/instance-types/p4/).

На датасете для оценки показали, что модель демонстрирует поведения похожие на генерального прокурора text-davinci-003, будучи при этом сильно меньше.

Авторы зарелизили код для обучения, данные (те самые 52k примеров) и код для их генерации. Веса обученной модели пока не релизили, но собираются (если авторы LLaMA не будут против). Модель подняли и сделали доступной через демку здесь https://crfm.stanford.edu/alpaca/

Модель оставили “only for academic research” с запретом любого коммерческого использования, потому что, во-первых, LLaMA с такой лицензией и надо её наследовать, во-вторых, данные сгенерированы с помощью модели OpenAI, а их Terms of Service запрещает разработку моделей, конкурирующих с OpenAI, ну и, в-третьих, в безопасность модели сильно не вкладывались, так что тоже стрёмно.

Авторы упирают на то, что этот подход годен для академии, не обладающей большими ресурсами, как индустрия. По мне, что важно, это не менее годно для энтузиастов и стартапов, хотя тут есть какие-то риски касательно моделей.

LLaMA могла бы официально стать аналогом BERT’а по импакту на индустрию, но не станет из-за своей лицензии и не очень открытости. Может, конечно, станет подпольно (и будет продаваться на дисках на Митинском рынке), а может какой-то новый GPT-J или кто-то иной возьмёт себе этот бэдж. Независимо от этого, уже второй большой ImageNet-moment в NLP произошёл благодаря всем этим свежим GPT, с чем всех и поздравляю.

У Альпаки есть своё интересное независимое развитие. Благодаря подходу LoRA от Microsoft (https://arxiv.org/abs/2106.09685) для низкоранговой оптимизации больших языковых моделей (позволяет получить файнтюненную версию сильно меньшего размера), Альпаку научились воспроизводить на консьюмерском железе, оно требует порядка 5 часов на RTX 4090. Этот проект живёт здесь: https://github.com/tloen/alpaca-lora. Если вам нужен LoRA для своих дел, то есть библиотека loralib от авторов (https://github.com/microsoft/LoRA), а также метод поддерживается в HuggingFace PEFT (State-of-the-art Parameter-Efficient Fine-Tuning, https://github.com/huggingface/peft) наряду с другими интересными методами.

Такие дела. Всё сильно ускорилось, конечно.

Пятничное чтиво, приуроченное к выходу GPT-4.

"Поэты сорганизовали несколько митингов протеста и потребовали опечатать машину, но никто, кроме них, не обращал внимания на феномен. Редакции газет были даже довольны, поскольку Электрувер, писавший под несколькими тысячами псевдонимов сразу, представлял готовую поэму заданных размеров на любой случай, и эта поэзия, хоть и на заказ, была такого качества, что читатели раскупали газеты нарасхват, а улицы так и пестрели лицами, полными неземного блаженства, мелькали бессознательные улыбки и слышались тихие всхлипывания. Стихи Электрувера знали все; воздух сотрясали хитроумнейшие рифмы, а наиболее впечатлительные натуры, потрясенные специально сконструированными метафорами или ассонансами, даже падали в обморок; но и к этому был подготовлен титан вдохновения: он сразу же вырабатывал соответствующее количество отрезвляющих сонетов."

Если вы это не читали, то вам срочно сюда:

https://www.booksite.ru/fulltext/0/001/005/167/024.htm

А вот это вот интересная история. Мы померяли качество перевода с помощью GPT-4 (как недавно делали это для ChatGPT, а ранее для GPT-3).

И на этот раз GPT показала вообще лучший результат для пары en-es, и второй лучший для en-de на general domain. На специальных доменах похуже, но всё равно лучше некоторых движков. Там, конечно, ещё требуется человеческую оценку провести, посмотреть на типы ошибок и оценить, как это влияет на те бизнес-процессы, где её будут использовать, но начало многообещающее.

Это очень интересно, и, возможно, начало большого тектонического сдвига, когда универсальная (не-переводческая) модель бьёт более специализированные переводческие. ChatGPT тоже уже била, но в другом аспекте, в 10 раз меньшей ценой при очень достойном результате. Обе они где-то в районе Парето фронта получаются, можно балансировать.

Весьма круто для моделей, которые "просто предсказывают следующий токен". Хотел дописать "и вообще не обучались на задачу перевода", но поскольку мы не знаем, на каких именно данных обучалась GPT-4, то сказать это не очень можно. Вдруг, обучались.

To be continued...

Пост про результаты: https://blog.inten.to/translating-with-gpt-4-the-latest-the-greatest-561025cb761c

Ещё хочется сказать, что в 2021-м мы предсказывали появление prompting translation model (https://blog.inten.to/2021-breakthroughs-in-machine-translation-technology-and-what-to-expect-in-2022-ba5fb2eedf16).

Так вот это оно.

Ещё интересная новость. HuggingFace сделал на базе llama.cpp код для запуска моделей BLOOM из чистых сей/плюсов: https://github.com/NouamaneTazi/bloomz.cpp

Обещают:
🔥 Run BLOOM on your Mac or your Pixel phone
🌍 Run multilingual models
⚡️ Achieve super fast results (16 tokens/sec on M1 Pro!)

https://www.linkedin.com/feed/update/urn:li:share:7042098915638136832/

Ну и до кучи alpaca.cpp
https://github.com/antimatter15/alpaca.cpp

Ещё не пятница, но...

Тестовый пост. Суммаризировали "Электрувер Трурля" на английском через GPT-4, а потом развернули обратно в рассказ через GPT-4 и Bard.

Ну, местами забавно.

Заодно попробовал substack.

https://gonzoml.substack.com/p/the-generative-cyberiad

Подборка на почитать в выходные

1. Билл Гейтс про новую технологическую революцию и начало эры AI (https://www.gatesnotes.com/The-Age-of-AI-Has-Begun). Странно, правда, что первой революцией он назвал GUI, второй AI, а про Интернет умолчал. Но мы же помним, как он в какой-то момент быстро туда побежал догонять и перегонять Netscape.

2. Microsoft поделился своими наблюдениями по исследованию интеллекта GPT-4 в статье “Sparks of Artificial General Intelligence: Early experiments with GPT-4” (https://arxiv.org/abs/2303.12712).

3. Большая статья про то, что гонка за AI началась, но её стоит остановить (https://www.vox.com/the-highlight/23621198/artificial-intelligence-chatgpt-openai-existential-risk-china-ai-safety-technology).

4. Jaron Lanier про AI и вообще (https://www.theguardian.com/technology/2023/mar/23/tech-guru-jaron-lanier-the-danger-isnt-that-ai-destroys-us-its-that-it-drives-us-insane).

5. LLM -- это новые CPU, но вот Intel ли OpenAI… (https://every.to/divinations/llms-are-the-new-cpus).

6. Харари про то, что нам нельзя продуть "If We Don’t Master A.I., It Will Master Us" (https://webcache.googleusercontent.com/search?q=cache:hIN9AmrxIuMJ:https://www.nytimes.com/2023/03/24/opinion/yuval-harari-ai-chatgpt.amp.html&cd=1&hl=en&ct=clnk&gl=id)

Прекрасное субботнее:

"Crab-Based Transport"

https://www.facebook.com/groups/aiartuniverse/permalink/767584688340101/