Кажется я нашел секретного автора музыки поп звёзд...

З. Ы. Всё ещё можно хакнуть?

Тут все разом принялись щемить OpenAI за её GPT like решения.
Среди стран : Италия, Германия, Нидерланды и др.
А ещё тут Канада движ начинает
https://www.priv.gc.ca/en/opc-news/news-and-announcements/2023/an_230404/

И тут, неожиданно, OpenAI решила рассказать о своих решениях и теме безопасности в них. Думаю, что такая паблик активность поможет им отстоять в тч себя перед госами.

https://openai.com/blog/our-approach-to-ai-safety

Мир вокруг Kandinsky 2.1

Забрал у @belozersky

Мои коллеги, выложили таки чекпоинт FRED-T5.

Уже попробовал чекпоинт в своём multitask. Буду очень ждать версию с MLM на encoder. А пока, думаю лучшее - это text2text применение.


Подробнее https://t.me/nlpcoreteam/11

Ломай меня, ломай меня полностью(с)Open.Ai

Компания OpenAI запустила программу по поиску уязвимостей в своих решениях ChatGPT/GPT-4 , называется эта красота bug bounty. При этом партнером стала платформа Bugcrowd, которая будет собирать заявки пользователей и управлять выплатами вознаграждений.

Сумма выплат начинается от 200$ и заканчивается до 20тыс.$, за экстра находки! При этом есть исключения на выплаты, они не производятся, если находки завязаны на ответы модели.

Мой, хороший друже ака @belozersky, поставщик мемов и интересных ссылок на около AI темы, открыл свой канал.

Вообще он клёвый UI/UX дизайнер, лид и просто крутой чел.

Залетай.

Полуночное такси чтиво.
RL для метаоптимизации retrieval based систем.

Коллеги из Amazon выпустили очень интересный обзор на тему улучшения поисковых систем, путём внедрения RL на уровне оркестрации компонент системы.

В чем суть. Однажды я уже рассказывал, как можно с помощью RL-critic улучшить свойства полноконтекстного поиска. А теперь, коллеги из Amazon предлагают выйти на уровень выше. Пусть у нас есть несколько источников кандидатов для поиска: bm25 индекс, SBERT+KNN, ODQA/KGQA системы и тп. Давайте, мы надстроим сверху алгоритм многоруких бандитов (MAB) целью которого будет выбор оптимальной стратегии извлечения кандидатов для переранжирования. Зададим ему функцию цели такую, что на каждый запрос пользователя, MAB будет выдавать условно вектор из 0 и 1 , маскируя/выключая и включая нужные компоненты нашей системы. На выходе мы будем получать разный пулл кандидатов от них, далее замерять функцию полезности, например ожидаемое число кликов, recall@K , да всё что вы сможете оцифровать и оценить.

Таким образом мы решаем несколько проблем:
1) Упрощаем системы поиска с несколькими источниками на инференсе.

2) Покрываем парадигму исследуй или эксплуатируй. Посредством выбора или надёжных источников или неожиданных генераторов (привет decoder like GPT и тп)

3) Повышаем качество выдачи за счёт самой цели MAB.

Остаётся главный вопрос, как быть с инференсом: скорость изменения реакции на действия юзера, возможность быстро менять стратегии, вообще дизайн такой системы и тп.

Но тут это отсылает нас к real time системам рекомендаций на основе MAB. А это уже совсем другая история.

Nudes from Cl4d14.
Да да вы не ошиблись в прочтении заголовка. Тут, какие-то чуваки в шутку сделали аккаунт девушки по имени Клаудиа на реддит и начали продавать ее нюдсы за шекели. Потом сознались, что это было MIdJouney, но реддит уже зациклилися:)

Кста, нашел у этих ребят:
https://aiornot.optic.xyz/

Multi-step jailbreaking privacy attacks on ChatGPT.

Про атаки на тексты уже говорили не раз. Я даже, однажды, писал про свои подходы. Но время инструктивных GPT-like моделей порождает новые подходы. И вот ребята выпустили статью, где системно описали все возможные атаки. И это не банальное DAN режим, но и режим разработчика, способы в долгую вывести модель через цепочку рассуждений и др.

Что ещё интересного по теме нашли почитать коллеги по цеху:
раз, два, три.

Идея. После прочтения подумал, а чего бы не дообучать такие модели на тюне в режиме GAN. Один генератор атакует, используя выводящие из себя затравки (даже многоходовые с Chain of Thoughts), второй отвечает на эти промты. Над всем этим живёт, уже ставший классикой RL-critic и раздаёт люля кебаб за слив этики и пр.
Конечно, такая схема доступна не всем, всё-таки нужно иметь мощности... Но пусть, это останется моими влажными фантазиями.

А ну да, надо бы в свою библиотеку black box attack добавить методы для декодеров.

Дистиллируй это(c) DL самогонщики.

Сегодня поговорим, про способы замещения одних моделей другими, с нужными свойствами: быстрее, легче, выше,сильнее. Да, я про дистилляцию.

Естественно,нужно упомянуть про концепцию ученик и учитель. Обычно, конечно, это малая модель и большая соответственно. Концептуально мы берём обучаем модель учитель до максимального качества, далее возможны следующие две вилки:

1. Дистилляция векторов эмбеддингов модели.

2. Дистилляция скоров модели.

3. Взаимная, комбо дистилляция.

При этом очень важные хинты:

1. Лучше всего дистиллировать в случае скоров, не пробиты (от 0 до 1), а логиты.
Почему? Ответ прост: мы не теряем после масштабирования так нужную нам вариацию целевой переменной. Именно в ней лежит максимум информации.

2. Для дистилляции векторов разных по embd dim моделей, лучше использовать proxy слои. Причём, обязательно, поверх вектора ученика,тк proxy слой тоже будет обучаемым, а учитель зафрижен. При этом, proxy слой служит выравнивателем между размерностями вектора учителя и ученика. По активациям лучше конечно использовать linear слой (чисто сжатие).

3. Лоссы, тут проще: KLD, MAE/MSE, cosine-sim. Пробуйте, выбирайте тот, который даёт большее качество на вашей downstream таске.

4.Ничто не мешает делать смешивание лоссов дистилляции и целевой задачи. Просто добавьте веса к каждой компоненте.

Из интересного и хорошо забытого: Mutual learning.

Недавно наткнулся на статью 2017г. про взаимное обучение. И это тоже тип дистилляции.

Когда мы одновременно учим модели:
1. При этом они инциализируются по разному
2. Могут иметь одинаковую или схожую задачу.
3. Могут иметь разную архитектуру.
4. Одна может дистиллировать логиты второй, другая эмбеды первой и тп.

Взаимная дистилляция обычно происходит через KLD: lossAB=KL(A/B), lossBA= KL(B/A)

Для чего применяется?
Цель - взять две небольшие модели, которые будут обмениваться знаниями в одной или смежных задачах. Например, вам надо обучить ретривер для KNN , а потом реранкер для выбора топ1 кандидата из KNN. Задачи смежные и почему бы не учить эти модели одновременно?

Подробнее об всех типах дистилляции можно посмотреть неплохую графику тут или в моём выступление тут.

GPT LLAMA index

Недавно в рамках своих задач открыл для себя и коллег интересный тул. Позволяет использовать удобный интерфейс для кастомных LLM, embeddings в связке с внешними источниками данных:документы, sql, knowledge graph и тп.

Есть интересные примеры как делать инъекции для генерации из указанных выше источников, использовать свою retrieval модельку поверх своих же графов или деревьев знаний, ну или листа доков.

В общем выглядит удобно и прикольно, будем пробовать.

Всё ещё можно сломать хД Bing всё ещё жжёт)

Мои други из NLP.RND Salute Devices недавно выкатили FRED-T5. Сегодня они расскажут вам более подробнее об этом в статье Habr.

https://habr.com/ru/companies/sberdevices/articles/730088/

Я со своей стороны попробовал T5 encoder оттуда и жду MLM версию)

Гогого читать!

Всем доброго дня!

Я занимаюсь задачей генерации русской поэзии с помощью больших трансформерных языковых моделей. Возможно, кто-то видел статью на Хабре про это дело (https://habr.com/ru/companies/sberdevices/articles/660717/), хотя воды с тех пор утекло много.

Сейчас я сравниваю две разных модели, чтобы наметить путь к шедеврам. Буду крайне признателен всем, кто зайдет поочередно в два телеграм-бота:

https://t.me/verslibre_bot

https://t.me/haiku_guru_bot

и потратит в них 5-10 минут на оценку генераций модельками.

Что нужно делать: сначала /start, выбираете "лирику" во втором боте (в первом она всегда выбрана), и далее вводите свои затравки или жмете саджесты внизу, и ставите лайк/дизлайк, если стишок получился годный/кривой.

Да пребудет с вами сила! Спасибо :)

Сегодня проходит второй день AINL2023.

Наша компания выступает с докладом: Multi domain dataset and augmentation methods for spelling corruption.

Я уже рассказывал о том, как мы атакуем тексты в своих пайплайнах обучения. А сегодня на индастриал секции этот доклад представит ML инженер из моей команды - Марк. Вместе с ним мы ведём разработку public версии библиотеки атак на ру-тексты и надеюсь скоро мы вас порадуем. А пока результаты её работы можно посмотреть на нашем выступлении, где будет живая демонстрация.

Кстати, у Марка есть собственный канал. А возможно, кто-то даже знает его по награде ODS2022 за лучший соревновательный прогресс в ушедшем году. В общем, везёт мне на сотрудников:)