В своём прошлом посте говорил о слухах, что AMD будет поддерживать вычисления DL моделей на GPU и колабиться с PyTorch

И вот свершилось!

Лиза Су, также продемонстрировала, что на новой gpu для Deep learning AMD MI300X влезает фулл LLM класса Falcon40B. Звучит многообещающе. Да и в целом, конкуренция это хорошо.

З. Ы. Да я в курсе, что Лиза Су дальняя родственница Хуанга из NVIDIA. Но вы наверняка и не знали, что интел и NVIDIA были долго кормовой базой для AMD, пока правительство не врубило антимонопольные штучки и позволило уйти в свободный полёт AMD. Опять же конкуренция важная штука для капитализма.

А вот Лиза Су показывает риал-тайм демку инференса модельки Falcon 40B на MI300X.

Более того, они договорились с HuggingFace, что те возьмутся за оптимизацию многих моделей с HF хаба под видеокарты AMD 🔥

@ai_newz

Друзья, сегодня проходит второй день Конференции Диалог2023.

Мы рады сообщить, что наша работа по атакам на текст вошла в Сборник статей, тема: Augmentation methods for spelling corruptions.

Авторы мои коллеги, товарищи и подписчики:@alenusch, @qwertysobaka, @go_bobert. А также Ваш покорный слуга.

Скоро, надеюсь, мы порадуем Вас открытой версией кода.

А пока, смотрите интересные доклады, набирайтесь знаний и идей.

UPD. Прямая ссылка на статью:
https://www.dialog-21.ru/media/5914/martynovnplusetal056.pdf

Клуб дебатов для вашей LLM.
Или как изобретение, которому более 2000 лет позволяет LLM справляться с галлюцинациями.

Сегодня поговорим про Multi-Agent Debates Elevate Language Models: MIT and Google Brain Unlock LLM Potential and Accuracy. Статью скачать тут.

Исследователи из MIT и Google Brain предлагают новый подход к улучшению качества рассуждений и итоговых генераций LLM путём дополнения Chain of Thoughts взаимным общением между моделями.

Они были вдохновлены одним из адептов агентного ИИ Марвином Мински и его работой Society of Mind, также в интернете есть книжка воть.

Немного предыстории:

Мински, основатель лаборатории искусственного интеллекта Массачусетского технологического института, представил свою теорию о том, как работает разум.
Он предположил, что это не единое целое, а скорее сложная система, состоящая из множества более мелких и простых процессов, которые Мински назвал “агентами”.
Эти агенты, каждый из которых прост сам по себе, работают вместе, создавая разумное поведение, то поведение, которое ИИ каждый день пытается имитировать у нас, людей.

Я и сам грешен, признаюсь, защищал магистерскую работу по роевому интеллекту и был адептом агентного ИИ. Поэтому данный подход очень близок мне.

А теперь к делу.
Основная идея состоит в том, чтобы собрать агентов на некоторой дебат-арене. В этой среде запрос/промт кормят каждому из агентов-LLM , а их ответы перекрестно выдают всем остальным агентам. При этом, контекст который на каждом шаге принимает конкретная LLM состоит из его рассуждения и рассуждения соседей. Через 3-4 итерации таких дебатов, модели сходятся к одной стабильной генерации. Т.е. подобно людям во время дискуссии они приходят к общим выводам.

Если более внятно алго такой:

1. Для заданного запроса несколько экземпляров языковой модели сначала генерируют отдельные ответы-кандидаты.

2.Каждый отдельный экземпляр модели читает и критикует ответы всех других моделей и использует этот контент для обновления своего собственного ответа.

3.Затем этот шаг повторяется в течение нескольких раундов, пока мы не получим окончательный ответ.

При этом данный процесс побуждает модели строить ответы, которые согласуются как с их внутренней критикой, так и разумны в свете ответов других агентов.

Полученный кворум моделей может одновременно поддерживать несколько цепочек рассуждений и возможных ответов, прежде чем предлагать окончательный ответ.

Т. е. CoT можно и нужно комбинировать с Society of Mind.

В конце хочу рассказать немного про эксперименты лаборатории ИИ MIT.

Методика была оценена в трех тестах:

1. Правильное изложение фактов о биографии известного ученого-компьютерщика.

2. Проверка достоверности в вопросах о фактических знаниях

3. Предсказание следующего наилучшего хода в шахматной партии.

В итоге Society of Mind превзошел другие варианты во всех категориях, как показано в таблице 1. под постом.

У меня остаётся только один вопрос конечно - это критерий останова этих дебатов. Где он? Это замер перплексии или BLEU генерации, или что? Жду ваши варианты ответа в комментариях.

Таблица 1. Результаты тестов Google Brain and MIT

Таблица 2.

В этом примере исследователи берут пробы как ChatGPT, так и Bard, чтобы ответить на сложный вопрос на который они оба отвечают неправильно.

Однако затем мы передаем ответы каждого агента другому, и происходит волшебство; ChatGPT, используя свой предыдущий ответ и первый ответ Bard в качестве контекста, теперь способен дать верный.

А вот тут можно послушать про нашу self-chat арену для болтания наших диалоговых моделек.

Спасибо за доклад и работу @d_voo.

Да, да именно кусочек её доклада я вставил и в свой про Retrieval NLP+RLHF.

Рубрика. Утренний, воскресный юмор.

#Conference, #Research, #Phd, #Postdoc

Личное мнение, как старого ML' щика, в отрыве того, где я работаю и что делаю. Для меня самый рок-н-ролл в RL у нас делают эти ребята.

Заходите, лайкате решения и конечно наслаждайтесь использованием.

Сейчас по чатам расходится эта ссылка. GPT-4 это ансамбль.
https://twitter.com/soumithchintala/status/1671267150101721090

Все хлопают в ладоши и ставят огоньки и лайки. Но лишь в паре люди задались вопросами:

1. Эксперты это что? Если МоЕ оно так не работает оно внутри одной модельки, следует что-то своё подразумевается.

2. Далее 8 копий на разных данных и тасках. Сколько тасок на копию 2? Раз 16 вызовов на 8.  Или это двушаговый CoT ?

Предлагаю обсудить в комментариях данный пост.

Мем ушедшего дня

https://twitter.com/soumithchintala/status/1671267150101721090

Завезли блендер на максималках с LLM и FLAN-T5.

Чтобы не плодить обзоров см. у корешей тут:
https://t.me/lovedeathtransformers/6023

От себя добавлю:

Мы в своей работе уже давно используем классик схему: encoder RoSBERTa +Faiss-KNN + reranker. В качестве реранкера используем или lgbm или cross-encoder.

С появлением у нас GPTlike моделей мы перешли к блендер схеме (где-то в q2-3 2022г.): LLM+retrieval cands + reranker. Это позволило нам добавить интересности от GPT генераций и релевантности/фактологичности от retrieval.

Поэтому если хочется улучшить свои метрики а-ля SSA: специфичность и релевантность. Советую блендер схему. Ну и конечно рад, что мы смотрим в одном направлении с индустрией.

Впереди выходные, а значит время посмотреть что-то интересное.

Мой падаван @qwertysobaka составил лист выступлений нашей большой команды #SaluteDevices на #DataFest2023.

Надеюсь в нём вы найдете доклады по интересам.

https://t.me/kaggle_fucker/77

Пошёл новый урожай картохи либ для inference and serving LLM - vllm

Много знакомых приходит с вопросом, какие либы посоветуешь для инференса LLM. Обычно сношаются с этим: text-generation-inference; FasterTransformer. Понятно ещё докучи + accelerate и bits and bytes. Вот вам в копилочку ещё VLLM.

VLLM это либа, которая даёт возможность удобного сервинга/инференса с использованием:

- Поддержка оптимизаций с CUDA

- Интеграция с моделями HF (gpt-neo, LLAMA like, opt, gpt2 like etc.)

- Динамический батчинг для входящих запросов, beam search, parallel sampling etc.

- TensorParallelism для multigpu inference.

- Оптимизация attention inference с Paged attention.

И др.

Дока и блогпост тут.

Попробуйте сами и делитесь в комментариях как оно.

Steam (не)против нейросетей.

Что мы любим делать в свободное от работы время, а лучше в выходные? Конечно зайти в любимую игру и пройти очередной уровень или затащить катку.

Причём тут на канале про ML игры?- спросите вы. Ответ прост - нейросети уже давно влились в gamedev, а с появлением генеративных сеток возможности разработчиков возросли. Это касается не только оптимизации алгоритмов и поведения ИИ персонажей, но и контента, дизайна и др.

Но не всё в последнее время так гладко. И вот уже Valve отказывает разработчикам в выпуске игр на своей платформе, если при её создании использовались нейросети.
В чем соль? Да в том же, что и рассказывал ранее, тк нейросети для обучения используют данные из различных источников,то компания Valve запросила подтверждения отсутствия нарушения авторских прав в разрезе этих данных. Поэтому выход игры не может быть одобрен до предоставления доказательств.

Самое интересное, что и после удаления билдов, созданных нейросетями и обновлению их на ручные, Valve также отказала в выпуске.

При этом, например, уже в Steam есть несколько игр с прямым указанием, что при создании использовался ИИ. Даже авторы, ожидаемого ремейка 2023г, System shock не скрывают этого и будут далее юзать генеративки для создания игр (а именно MidJourney).

Вот так регулирование AI просачивается и в мой любимый мир игр.. (

Машинное отучение.

Нет, автор не ошибся. Да он в своём уме, если че это всё Google - они анонсировали на платформе kaggle новое соревнование.  Оно станет частью соревновательного трека NeurIPS2023.

Вообще интересная идея. На мой взгляд, машинное отучение может стать прекрасным дополнением для выравнивания обучения (alignment).
Есть мнение, что RL PPO нужен в тч для указания что НЕ надо делать модели при генерации, помимо, того чтобы отранжировать лучшие. Кто-то из моих коллег по цеху даже считает это первостепенной задачей.

Так вот. Результаты соревнования: новые методы и эвристики - уверен помогут на этапе SFT модели выполнить роль регулирования забываемости. Ведь помимо того, что нужно не забыть после pretrain ( см. катострофическое забывание), нам нужно и исключить влияние тех плохих источников данных, что мы упустили в сет обучения.

В общем участвуем и/или ждём обзоров решения победителей к концу года.

Подробнее тут:
https://ai.googleblog.com/2023/06/announcing-first-machine-unlearning.html?m=1

И тут: https://unlearning-challenge.github.io/