Други, @cointegrated, выпустил фикс+обновление encodechka теперь можно смело выбирать лучший энкодер для себя и бенчить свои.

Появился новый лидер multilingual-e5. Кстати, у нас тоже данная модель показывает топ результаты. Если говорить вкратце, me5 это LAbSE на максималках, особенности обучения:

- чистка всякого разного а-ля reddit, CCrwal, stackexchange и др.
- предобучение в контрастив режиме на CCPairs.
- файнтюн MS-MMARCO.
- за основу взята XLM-RoBERTA (с неё заинитили веса).
- меры качества конечно retrieval'ные.

P. S. Сори за душность, @cointegrated.

Про бенч тут: https://t.me/izolenta_mebiusa/252

Схема ME-5

https://t.me/betterdatacommunity

Тут в better data community Илья Гусев читает лекцию про закат трансформеров!

Ребят прям сейчас!

Для тех, кто послушал доклад выше.

Конец transformers близко киско

Спасибо @rybolos за идею, @bogdanisssimo за реализацию

Ночной сеанс NLP.

Всем доброй ночи. И в эту добрую ночь, хотел бы поделиться с моими подписчиками видео про LLM и векторные БД в виде ботса. А как мы знаем (или узнаем), если подружить между собой LLM и retrieval based векторные БД, можно улучшить качество генерации по open domain запросам. При этом лекция непростая и с непростым человеком.  Знаю, что среди нас есть не только опытные MLщики в NLP,но и люди,желающие вкатиться в это направление и быть в курсе про новомодные ChatGPT и это всё. Именно таким ребятам будет полезно. Да и помимо интеллектуальной мотивации, думаю появится и другая.

Всем хорошего просмотра.

Спикер: Сергей Христолюбов
Контакты: @tom_leto

Видео: https://youtu.be/8IRKx3d7tZY

Увидел в последнем посте Данилова ссылку на очень прикольный онлайн симулятор запуска A/B экспериментов и работы с приоритезацией беклога.

https://www.lukasvermeer.nl/confidence/

Можете попробовать применить правила управления экспериментами, про которые я рассказывал в недавнем цикле постов: 1, 2, 3.

Улучшенный метод RL для выравнивания LLM от DeepMind.

Reinforced Self-Training (ReST): A Simple algorithm for Aligning LLMs with Human Preferences Inspired by Growing Batch.

Данный метод посвящён проблеме онлайн обучения, а именно требованиям к данным для этого.  

ReST состоит из двух циклов:
1. Внутренний цикл (Improve) улучшает политику для данного набора данных.
2. Внешний круг (Grow) расширяет набор данных, беря образцы из самой последней политики.

Grow: Чтобы дополнить обучающий набор данных, для каждого сценария создаются многочисленные выходные прогнозы с использованием политики языковой модели. Improve: тут ранжируют и фильтруют обогащенный набор данных, используя формулу оценки. В качестве функции оценки в своих исследованиях они используют модель вознаграждения за обучение, основанную на предпочтениях людей. Отфильтрованный набор данных корректирует языковую модель, используя целевую функцию offline RL. При увеличении порога фильтрации процесс повторяется. После этого на следующем шаге Grow используется окончательная внешняя политика.

При этом, авторы выделяют возможность в каждом круге политик использовать разнообразные и главное различные losses.

Также, можно назвать ряд других преимуществ, по сравнению с classic RLHF:

• Поскольку новые обучающие данные отбираются из улучшенной политики на этапе Grow, качество политики не ограничено качеством исходного набора данных (в отличие от автономного RL).

• Легко проверить качество данных и потенциально диагностировать проблемы с согласованием, такие как взлом вознаграждения, поскольку этапы роста и улучшения не связаны.

В качестве примера REST+ LLM выбрана задача машинного перевода. Подробнее можно почитать в статье.

Недавно подумал, что было бы прикольно сделать доклад «50 оттенков серого» про АБ тесты, которые не прокрасились.

Но в итоге сделал доклад о рекомендациях «50 оттенков рекомендаций»,
который завтра удаленно расскажу на конференции techtrain

Будет про то, как с нуля строил рекомендации. Теории не будет, подразумевается, что слушатели знакомы с ML и рек сис. Зато будет о том, как принимали решения, что делали, на какие грабли наступали и что сработало. А в конце, топ советов себе в прошлое.

Запись будет, когда появится – добавлю тут ссылку.

Пришёл Юра из ODS. Говорит, бросай всё, собирай вещи. День знаний отменяется.

https://t.me/new_yorko_times/168

А ты уже перевернул?

Спасибо за арт https://t.me/dreamforge_tg

Зайка моя, я твой FILIP: Fine-grained Interactive Language-Image Pre-Training.
Или как, зная базовые концепты, можно сделать инкремент в качестве.

Итак. Все знают или слышали про CLIP. Если базово: есть два стула (энкодера) - текстовый и для картинок. Мы берём captions картиночек, ака тексты и сами картиночки. Эмбеддим с помощью вышеуказанных экнодеров и в contrastive режиме сводим , так получаем позитивы. За счёт full-batching получаем негативы. Full-batching - это когда в батче чужие сэмплы тоже идут в расход расчёт близости, но как штраф.

Такс. Один базовый концепт рассказал. Теперь чутка поведаю про ColBERT. Тут люди тоже пошли путем интеракций , но не на уровне sentence embeddings как текстовый энкодер в CLIP. А на уровне token embeddings. Причем, делается это умно, чтобы использовать полнотекстовый поиск, помимо полноконтекстного. Как? Берут и начинают делать dot prod между токен эмбами запроса и ответа. Замечу, что это N^2 интеракций всё со всеми. Далее для каждого токена запроса ищут max dot prod по токенам ответа. Потом эти max dot prod суммируются и если хотите можно вкинуть слой нормировки а-ля sigmoid или оставить так. Но, в общем, этот скор и максимизируют для релевантных пар и минимизируют для отрицательных.

Крч. К чему я эту телегу везу про CLIP и ColBERT. Тут люди завезли FILIP. И крч это CLIP в стиле ColBERT. Перешли от кэпшн фулл к токенам и к частям картинок. Не хочу повторяться, оч хорошо и подробно описано тут у Тани из DLStories.

Итого. Изучайте базовые архитектуры, популярные решения, микстите их по делу и получайте профит. Всем добра.

Схема FILIP

Схема ColBERT

По просьбе трудящихся, инкремент по метрикам

Вторая таблица с метриками

И снова нейросети

Тут все с ума сходят от HeyGen и перевода мемасов на другие языки. И там классно) Но сегодня про другое.

Ребята нашли классный пример, когда люди не просто балуются или мошенничают с нейронками, а используют их для старого-доброго зарабатывания деньжат. Ну как, деньжата, 10 000 евро в месяц уже, наверное, сложно назвать просто деньжатами😁

Лонг стори шорт: есть компания. Она делает аналитику для торговых сетей и пишет статьи для сайта. Пишет на одном языке, переводит на несколько (= много) других и снова публикует.

Область специфическая, автоматические переводчики (Google Translate, DeepL & Bing Translate) и живые переводчики не вывозят. Увеличили штат, в месяц стало уходить 10 000 евро. Что-то дорого, подумали они.

И тут, хоп-хэй-ла-ла-лэй, ChatGPT во всей красе. Компания туда забабахала пост-обучение — докидывает релевантную информацию в контекст. И все довольны — ChatGPT не жалуется на монотонность и объем задач, переводит себе спокойно, а компания радуется сэкономленному. Сэкономил — считай, заработал.

А кроме того, пополняемый список статей на куче языков делает компанию очень крутой в глазах клиентов.

Да, тексты не такие, как от профессионального переводчика-редактора. Но они на том уровне, что их можно безболезненно публиковать.

За подгон полезной инфы — спасибо @dealer_ai

Сентябрь мой любимый месяц. Тк в этом месяце в самом начале у меня сразу куча праздников: день нефтяника (по моему образованию), день рождения (тут чисто так получилось), и день программиста (по моей деятельности).

Крч 256ой день в году, в лучшее время года и месяц в году. Всех причастных, с праздником!