Nudes from Cl4d14.
Да да вы не ошиблись в прочтении заголовка. Тут, какие-то чуваки в шутку сделали аккаунт девушки по имени Клаудиа на реддит и начали продавать ее нюдсы за шекели. Потом сознались, что это было MIdJouney, но реддит уже зациклилися:)

Кста, нашел у этих ребят:
https://aiornot.optic.xyz/

Multi-step jailbreaking privacy attacks on ChatGPT.

Про атаки на тексты уже говорили не раз. Я даже, однажды, писал про свои подходы. Но время инструктивных GPT-like моделей порождает новые подходы. И вот ребята выпустили статью, где системно описали все возможные атаки. И это не банальное DAN режим, но и режим разработчика, способы в долгую вывести модель через цепочку рассуждений и др.

Что ещё интересного по теме нашли почитать коллеги по цеху:
раз, два, три.

Идея. После прочтения подумал, а чего бы не дообучать такие модели на тюне в режиме GAN. Один генератор атакует, используя выводящие из себя затравки (даже многоходовые с Chain of Thoughts), второй отвечает на эти промты. Над всем этим живёт, уже ставший классикой RL-critic и раздаёт люля кебаб за слив этики и пр.
Конечно, такая схема доступна не всем, всё-таки нужно иметь мощности... Но пусть, это останется моими влажными фантазиями.

А ну да, надо бы в свою библиотеку black box attack добавить методы для декодеров.

Дистиллируй это(c) DL самогонщики.

Сегодня поговорим, про способы замещения одних моделей другими, с нужными свойствами: быстрее, легче, выше,сильнее. Да, я про дистилляцию.

Естественно,нужно упомянуть про концепцию ученик и учитель. Обычно, конечно, это малая модель и большая соответственно. Концептуально мы берём обучаем модель учитель до максимального качества, далее возможны следующие две вилки:

1. Дистилляция векторов эмбеддингов модели.

2. Дистилляция скоров модели.

3. Взаимная, комбо дистилляция.

При этом очень важные хинты:

1. Лучше всего дистиллировать в случае скоров, не пробиты (от 0 до 1), а логиты.
Почему? Ответ прост: мы не теряем после масштабирования так нужную нам вариацию целевой переменной. Именно в ней лежит максимум информации.

2. Для дистилляции векторов разных по embd dim моделей, лучше использовать proxy слои. Причём, обязательно, поверх вектора ученика,тк proxy слой тоже будет обучаемым, а учитель зафрижен. При этом, proxy слой служит выравнивателем между размерностями вектора учителя и ученика. По активациям лучше конечно использовать linear слой (чисто сжатие).

3. Лоссы, тут проще: KLD, MAE/MSE, cosine-sim. Пробуйте, выбирайте тот, который даёт большее качество на вашей downstream таске.

4.Ничто не мешает делать смешивание лоссов дистилляции и целевой задачи. Просто добавьте веса к каждой компоненте.

Из интересного и хорошо забытого: Mutual learning.

Недавно наткнулся на статью 2017г. про взаимное обучение. И это тоже тип дистилляции.

Когда мы одновременно учим модели:
1. При этом они инциализируются по разному
2. Могут иметь одинаковую или схожую задачу.
3. Могут иметь разную архитектуру.
4. Одна может дистиллировать логиты второй, другая эмбеды первой и тп.

Взаимная дистилляция обычно происходит через KLD: lossAB=KL(A/B), lossBA= KL(B/A)

Для чего применяется?
Цель - взять две небольшие модели, которые будут обмениваться знаниями в одной или смежных задачах. Например, вам надо обучить ретривер для KNN , а потом реранкер для выбора топ1 кандидата из KNN. Задачи смежные и почему бы не учить эти модели одновременно?

Подробнее об всех типах дистилляции можно посмотреть неплохую графику тут или в моём выступление тут.

GPT LLAMA index

Недавно в рамках своих задач открыл для себя и коллег интересный тул. Позволяет использовать удобный интерфейс для кастомных LLM, embeddings в связке с внешними источниками данных:документы, sql, knowledge graph и тп.

Есть интересные примеры как делать инъекции для генерации из указанных выше источников, использовать свою retrieval модельку поверх своих же графов или деревьев знаний, ну или листа доков.

В общем выглядит удобно и прикольно, будем пробовать.

Всё ещё можно сломать хД Bing всё ещё жжёт)

Мои други из NLP.RND Salute Devices недавно выкатили FRED-T5. Сегодня они расскажут вам более подробнее об этом в статье Habr.

https://habr.com/ru/companies/sberdevices/articles/730088/

Я со своей стороны попробовал T5 encoder оттуда и жду MLM версию)

Гогого читать!

Всем доброго дня!

Я занимаюсь задачей генерации русской поэзии с помощью больших трансформерных языковых моделей. Возможно, кто-то видел статью на Хабре про это дело (https://habr.com/ru/companies/sberdevices/articles/660717/), хотя воды с тех пор утекло много.

Сейчас я сравниваю две разных модели, чтобы наметить путь к шедеврам. Буду крайне признателен всем, кто зайдет поочередно в два телеграм-бота:

https://t.me/verslibre_bot

https://t.me/haiku_guru_bot

и потратит в них 5-10 минут на оценку генераций модельками.

Что нужно делать: сначала /start, выбираете "лирику" во втором боте (в первом она всегда выбрана), и далее вводите свои затравки или жмете саджесты внизу, и ставите лайк/дизлайк, если стишок получился годный/кривой.

Да пребудет с вами сила! Спасибо :)

Сегодня проходит второй день AINL2023.

Наша компания выступает с докладом: Multi domain dataset and augmentation methods for spelling corruption.

Я уже рассказывал о том, как мы атакуем тексты в своих пайплайнах обучения. А сегодня на индастриал секции этот доклад представит ML инженер из моей команды - Марк. Вместе с ним мы ведём разработку public версии библиотеки атак на ру-тексты и надеюсь скоро мы вас порадуем. А пока результаты её работы можно посмотреть на нашем выступлении, где будет живая демонстрация.

Кстати, у Марка есть собственный канал. А возможно, кто-то даже знает его по награде ODS2022 за лучший соревновательный прогресс в ушедшем году. В общем, везёт мне на сотрудников:)

Немного анти наброса. Помню как в комментариях к этому посту

https://t.me/dealerAI/90

Ребята говорили: это всего лишь идея, где код и тп. А теперь быстрый файнтюн адаптеров в LLAMA это спасительный билет для людей без A100/V100. И кстати последнее обновление было каких-то 5 дней назад.

Кстати кто-то уже опробовал?
Пишите в комментариях.

GigaChat

Наша проба пера в Instruct подходах при обучении Decoder like моделей. В течении последних нескольких месяцев мы усердно работали над нашим детищем - GigaChat. Пока это Instruct Only SFT моделька, но вскоре, надеюсь, мы порадуем вас и RLHF экспериментами.

В основе нашего GigaChat модели— NeONKA.

Текущая версия основана на претрейне ruGPT3.5 13B + SFT (supervised fine-tuning).

В side by side тестах GigaChat vs ChatGPT (когда разметчики выбирают предпочтительный вариант) результат — 30:70 в пользу последней (начинали с 3 против 97).

При этом, коллеги, планируют выкладывать компоненты лежащие в основе этого решения в open source, чтобы вы, друзья, могли сами обучать (я думаю скорее тюнить) подобные модели

Подробности в нашей статье на хабр .

UPD. Считаю, без героев дня совсем никак. Из моих подписчиков, мои герои: @lizagonch, @averkij, @walfry, @oulenspiegel, @dayyass, @kuznetsoff87,@nikolaygerasimenko, @qwertysobaka

Надеюсь никого не забыл)

Self-supervised learning book.

Ну, что, други. Прошли сутки, пора выдыхать и тянуть нашу DS'ную лямку дальше. Работку работать.
Поэтому я со свежими новостями.

Тут давече, Мета, выпустила на arxiv книжку по самообучению. ;)

Напомню, что мой любимый metric-learning, contrastive learning и обучение LM'ок в тч сводится к self-supervised. Поэтому берём на вооружение книженцию, я уже посмотрел чутка. Точно будет полезно, особенно есть как математические выкладки, так и полезные usefull хинты для практики.

Налетай!

Рецепт тюна FRED-T5 от маэстро @inkoziev

Все после релиза просят, поэтому Илья любезно поделился.

Пример кода для файнтюна модели FRED T5 XL средствами transformers.Trainer на задаче читчата: https://gist.github.com/Koziev/b54e3759bd5eb198832a36e7cec82e51

Файл с данными: https://disk.yandex.ru/d/esx80z4utAGXGQ
Это русскоязычные диалоги из проекта OpenAssistent (https://huggingface.co/datasets/OpenAssistant/oasst1)
Данных специально немного, чтобы обучение было быстрым. На моей RTX 3090 управилось за полчаса. К ним можно долить еще русскоязычных данных, например отсюда https://huggingface.co/datasets/Den4ikAI/russian_instructions_2 или отсюда https://github.com/IlyaGusev/rulm/tree/master/self_instruct и т.д.

Запускать на 1 гпушке примерно так:

python finetune_chitchat_fredt5_with_trainer.py \
--optim "adafactor" \
--learning_rate 1e-4 \
--lr_scheduler_type constant \
--per_gpu_train_batch_size 1 \
--gradient_checkpointing 0 \
--gradient_accumulation_steps 16 \
--num_train_epochs 1 \
--report_to tensorboard \
--logging_strategy steps \
--logging_steps 500 \
--output_dir ~/polygon/chatbot/tmp/fredt5_chitchat \
--save_strategy no

пути конечно надо поправить на свои.

Код инференс из отфайнтюненной модели: https://gist.github.com/Koziev/e2f03ccdff1c83781092135e0364fec8

Удачи :)

Teaching Large Language Models to Self-Debug

Если вы боялись, что LLM начнёт помогать сама себе: улучшать себя, код и тп. It's time...

https://arxiv.org/abs/2304.05128

Как запустить LLM и др.DL модельки на своём тапке MLC-LLM.

Очень интересное решение для инференса и развертывания вашей LLM,лозунг которого:

"Дайте возможность каждому разрабатывать, оптимизировать и развертывать модели искусственного интеллекта изначально на всех устройствах"

Ребятки имеют свою доку. Они опираются на экосистемы с открытым исходным кодом, включая HuggingFace и Google, а также LLM с открытым исходным кодом, такие как Llama, Vicuna, Dolly и др.

Конкретные инструкции по запуску LLM и чат-ботов изначально на устройствах предоставлены для iPhone, Windows, Linux, Mac и веб-браузеров.

Для пользователей iPhone MLC LLM предоставляет приложение для чата iOS, которое можно установить через страницу TestFlight. Для бесперебойной работы приложению требуется не менее 6 ГБ оперативной памяти, и оно было протестировано на iPhone 14 Pro Max и iPhone 12 Pro. Скорость генерации текста в приложении iOS временами может быть нестабильной и вначале может работать медленно, прежде чем восстановиться до нормальной скорости.

Для пользователей Windows, Linux и Mac MLC LLM предоставляет приложение интерфейса командной строки (CLI) для общения с ботом в терминале. Есть поддержка Conda.

Мне кажется, что идея запустить LLAMA с cpp компиляцией под c++ находит всё больший отклик у юзеров и такие системные решения как MLC-llm очень к месту.

Го пробовать!

В сеть утек внутренний документ Google, в котором говорится, что Open Source LLM модели превзойдут LLM Google и OpenAI. Moat, созданный за счет технологического доминирования корпораций, скоро исчезнет.

Удивительно, что разрыв сокращается так быстро, но сам процесс не удивителен, так как владение уникальной технологией является частным случаем "Cornered Resource" — одной из стратегических сил защиты и обособления на конкурентном поле, которая рассматривается в книге "7 Powers". За счет владения ограниченным ресурсом (технология, команда, патент и прочее) компания может выгодно обособляться и защищаться от конкурентов, но данная сила не является долгосрочным методом защиты и действует только на старте, так как рано или поздно ваш уникальный ресурс конкуренты повторят и нивелируют его силу. Далее на этапе активного роста нужно обрастать как минимум одной из 3 сил: network effects, scale economies или switching cost.

По сути, OpenAI может сделать это следующим образом:
• за счет масштаба более низкая себестоимость на обучение и разработку в пересчете на пользователя/запрос.
• сетевые эффекты на основе данных (частный случай network effects) позволяют генерировать более качественный датасет, утилизировать преимущество в виде RLHF и создавать тем самым более высокий уровень добавленной ценности за счет более лучшего качества модели.
• В случае SaaS типа Copilot, корпорации начнут использовать инструмент и из-за Switching Cost уже не смогут отказаться от него.
• В будущем инвестиции в разработку позволят иметь более низкую себестоимость инференса, что позволит создать другую силу — «Process Power».

В какой-то момент, я думаю, что весь AI на основе LLM за счет Open Source превратится в комодити, и сами модели не будут продуктом и основой бизнеса. Все эти LLM будут лишь функциями в продуктах, которые позволяют им генерировать больший уровень добавленной ценности в решении задач пользователя: писать документы, быть голосовым ассистентом, искать информацию, обучать новым знаниям и т.д. А OpenAI и прочие будут исследовать новые горизонты в поисках очередного технологического прорыва. В итоге, основной фокус будет смещаться на создание продуктов и сервисов, которые эффективно интегрируют эти модели и обеспечивают наилучший пользовательский опыт, а также на поиск новых областей применения AI.