Тут ребзя нашли курс по RL , говорят совместно с deep mind.

Давайте проходите и пилите свой PPO super pro max pluse RLHF

https://youtube.com/playlist?list=PLqYmG7hTraZDVH599EItlEWsUOsJbAodm

ru-reward model.

Наши коллеги по цеху ведут public активность по открытым LLM, дообученным на инструкциях.

Но думаю, для полного сетапа RLHF+LLM не хватает reward модельки. Поэтому, Ваш покорный слуга, вооружился kaggle kernels и обучил для Вас ru-Bert-base reward.

В качестве основы взяты переводы сетов:

-Антропик
-WebGPT
-GPT-j

Основная информация по сетам, лоссу и архитектуре на обнимашках.

UPD. Важно. Сохранять формат ввода:
Человек: ... Ассистент: .... Человек:... Ассистент:...

Модель работает НЕ только для пар, но и для более длинных контекстов из 2+ пар реплик человек - модель, при этом скорится контекст vs последний ответ модели ассистента.

https://huggingface.co/Andrilko/ruBert-base-reward

Внезапно лента выдала мне интересное.
Говорят, что скоро NVIDIA будет не нужОн, AMD решения в тч Radeon взяли в оборот на Pytorch2 🤔

Мои хорошие други, заононсили наконец-то Kandinsky 2.1!!!!

Если что, это не аналог ru Mid journey, это чисто решение ребят на диффузиях с хаками своими.

Налетай!!!

https://t.me/complete_ai/108

Кажется я нашел секретного автора музыки поп звёзд...

З. Ы. Всё ещё можно хакнуть?

Тут все разом принялись щемить OpenAI за её GPT like решения.
Среди стран : Италия, Германия, Нидерланды и др.
А ещё тут Канада движ начинает
https://www.priv.gc.ca/en/opc-news/news-and-announcements/2023/an_230404/

И тут, неожиданно, OpenAI решила рассказать о своих решениях и теме безопасности в них. Думаю, что такая паблик активность поможет им отстоять в тч себя перед госами.

https://openai.com/blog/our-approach-to-ai-safety

Мир вокруг Kandinsky 2.1

Забрал у @belozersky

Мои коллеги, выложили таки чекпоинт FRED-T5.

Уже попробовал чекпоинт в своём multitask. Буду очень ждать версию с MLM на encoder. А пока, думаю лучшее - это text2text применение.


Подробнее https://t.me/nlpcoreteam/11

Ломай меня, ломай меня полностью(с)Open.Ai

Компания OpenAI запустила программу по поиску уязвимостей в своих решениях ChatGPT/GPT-4 , называется эта красота bug bounty. При этом партнером стала платформа Bugcrowd, которая будет собирать заявки пользователей и управлять выплатами вознаграждений.

Сумма выплат начинается от 200$ и заканчивается до 20тыс.$, за экстра находки! При этом есть исключения на выплаты, они не производятся, если находки завязаны на ответы модели.

Мой, хороший друже ака @belozersky, поставщик мемов и интересных ссылок на около AI темы, открыл свой канал.

Вообще он клёвый UI/UX дизайнер, лид и просто крутой чел.

Залетай.

Полуночное такси чтиво.
RL для метаоптимизации retrieval based систем.

Коллеги из Amazon выпустили очень интересный обзор на тему улучшения поисковых систем, путём внедрения RL на уровне оркестрации компонент системы.

В чем суть. Однажды я уже рассказывал, как можно с помощью RL-critic улучшить свойства полноконтекстного поиска. А теперь, коллеги из Amazon предлагают выйти на уровень выше. Пусть у нас есть несколько источников кандидатов для поиска: bm25 индекс, SBERT+KNN, ODQA/KGQA системы и тп. Давайте, мы надстроим сверху алгоритм многоруких бандитов (MAB) целью которого будет выбор оптимальной стратегии извлечения кандидатов для переранжирования. Зададим ему функцию цели такую, что на каждый запрос пользователя, MAB будет выдавать условно вектор из 0 и 1 , маскируя/выключая и включая нужные компоненты нашей системы. На выходе мы будем получать разный пулл кандидатов от них, далее замерять функцию полезности, например ожидаемое число кликов, recall@K , да всё что вы сможете оцифровать и оценить.

Таким образом мы решаем несколько проблем:
1) Упрощаем системы поиска с несколькими источниками на инференсе.

2) Покрываем парадигму исследуй или эксплуатируй. Посредством выбора или надёжных источников или неожиданных генераторов (привет decoder like GPT и тп)

3) Повышаем качество выдачи за счёт самой цели MAB.

Остаётся главный вопрос, как быть с инференсом: скорость изменения реакции на действия юзера, возможность быстро менять стратегии, вообще дизайн такой системы и тп.

Но тут это отсылает нас к real time системам рекомендаций на основе MAB. А это уже совсем другая история.

Nudes from Cl4d14.
Да да вы не ошиблись в прочтении заголовка. Тут, какие-то чуваки в шутку сделали аккаунт девушки по имени Клаудиа на реддит и начали продавать ее нюдсы за шекели. Потом сознались, что это было MIdJouney, но реддит уже зациклилися:)

Кста, нашел у этих ребят:
https://aiornot.optic.xyz/

Multi-step jailbreaking privacy attacks on ChatGPT.

Про атаки на тексты уже говорили не раз. Я даже, однажды, писал про свои подходы. Но время инструктивных GPT-like моделей порождает новые подходы. И вот ребята выпустили статью, где системно описали все возможные атаки. И это не банальное DAN режим, но и режим разработчика, способы в долгую вывести модель через цепочку рассуждений и др.

Что ещё интересного по теме нашли почитать коллеги по цеху:
раз, два, три.

Идея. После прочтения подумал, а чего бы не дообучать такие модели на тюне в режиме GAN. Один генератор атакует, используя выводящие из себя затравки (даже многоходовые с Chain of Thoughts), второй отвечает на эти промты. Над всем этим живёт, уже ставший классикой RL-critic и раздаёт люля кебаб за слив этики и пр.
Конечно, такая схема доступна не всем, всё-таки нужно иметь мощности... Но пусть, это останется моими влажными фантазиями.

А ну да, надо бы в свою библиотеку black box attack добавить методы для декодеров.