Немного анти наброса. Помню как в комментариях к этому посту

https://t.me/dealerAI/90

Ребята говорили: это всего лишь идея, где код и тп. А теперь быстрый файнтюн адаптеров в LLAMA это спасительный билет для людей без A100/V100. И кстати последнее обновление было каких-то 5 дней назад.

Кстати кто-то уже опробовал?
Пишите в комментариях.

GigaChat

Наша проба пера в Instruct подходах при обучении Decoder like моделей. В течении последних нескольких месяцев мы усердно работали над нашим детищем - GigaChat. Пока это Instruct Only SFT моделька, но вскоре, надеюсь, мы порадуем вас и RLHF экспериментами.

В основе нашего GigaChat модели— NeONKA.

Текущая версия основана на претрейне ruGPT3.5 13B + SFT (supervised fine-tuning).

В side by side тестах GigaChat vs ChatGPT (когда разметчики выбирают предпочтительный вариант) результат — 30:70 в пользу последней (начинали с 3 против 97).

При этом, коллеги, планируют выкладывать компоненты лежащие в основе этого решения в open source, чтобы вы, друзья, могли сами обучать (я думаю скорее тюнить) подобные модели

Подробности в нашей статье на хабр .

UPD. Считаю, без героев дня совсем никак. Из моих подписчиков, мои герои: @lizagonch, @averkij, @walfry, @oulenspiegel, @dayyass, @kuznetsoff87,@nikolaygerasimenko, @qwertysobaka

Надеюсь никого не забыл)

Self-supervised learning book.

Ну, что, други. Прошли сутки, пора выдыхать и тянуть нашу DS'ную лямку дальше. Работку работать.
Поэтому я со свежими новостями.

Тут давече, Мета, выпустила на arxiv книжку по самообучению. ;)

Напомню, что мой любимый metric-learning, contrastive learning и обучение LM'ок в тч сводится к self-supervised. Поэтому берём на вооружение книженцию, я уже посмотрел чутка. Точно будет полезно, особенно есть как математические выкладки, так и полезные usefull хинты для практики.

Налетай!

Рецепт тюна FRED-T5 от маэстро @inkoziev

Все после релиза просят, поэтому Илья любезно поделился.

Пример кода для файнтюна модели FRED T5 XL средствами transformers.Trainer на задаче читчата: https://gist.github.com/Koziev/b54e3759bd5eb198832a36e7cec82e51

Файл с данными: https://disk.yandex.ru/d/esx80z4utAGXGQ
Это русскоязычные диалоги из проекта OpenAssistent (https://huggingface.co/datasets/OpenAssistant/oasst1)
Данных специально немного, чтобы обучение было быстрым. На моей RTX 3090 управилось за полчаса. К ним можно долить еще русскоязычных данных, например отсюда https://huggingface.co/datasets/Den4ikAI/russian_instructions_2 или отсюда https://github.com/IlyaGusev/rulm/tree/master/self_instruct и т.д.

Запускать на 1 гпушке примерно так:

python finetune_chitchat_fredt5_with_trainer.py \
--optim "adafactor" \
--learning_rate 1e-4 \
--lr_scheduler_type constant \
--per_gpu_train_batch_size 1 \
--gradient_checkpointing 0 \
--gradient_accumulation_steps 16 \
--num_train_epochs 1 \
--report_to tensorboard \
--logging_strategy steps \
--logging_steps 500 \
--output_dir ~/polygon/chatbot/tmp/fredt5_chitchat \
--save_strategy no

пути конечно надо поправить на свои.

Код инференс из отфайнтюненной модели: https://gist.github.com/Koziev/e2f03ccdff1c83781092135e0364fec8

Удачи :)

Teaching Large Language Models to Self-Debug

Если вы боялись, что LLM начнёт помогать сама себе: улучшать себя, код и тп. It's time...

https://arxiv.org/abs/2304.05128

Как запустить LLM и др.DL модельки на своём тапке MLC-LLM.

Очень интересное решение для инференса и развертывания вашей LLM,лозунг которого:

"Дайте возможность каждому разрабатывать, оптимизировать и развертывать модели искусственного интеллекта изначально на всех устройствах"

Ребятки имеют свою доку. Они опираются на экосистемы с открытым исходным кодом, включая HuggingFace и Google, а также LLM с открытым исходным кодом, такие как Llama, Vicuna, Dolly и др.

Конкретные инструкции по запуску LLM и чат-ботов изначально на устройствах предоставлены для iPhone, Windows, Linux, Mac и веб-браузеров.

Для пользователей iPhone MLC LLM предоставляет приложение для чата iOS, которое можно установить через страницу TestFlight. Для бесперебойной работы приложению требуется не менее 6 ГБ оперативной памяти, и оно было протестировано на iPhone 14 Pro Max и iPhone 12 Pro. Скорость генерации текста в приложении iOS временами может быть нестабильной и вначале может работать медленно, прежде чем восстановиться до нормальной скорости.

Для пользователей Windows, Linux и Mac MLC LLM предоставляет приложение интерфейса командной строки (CLI) для общения с ботом в терминале. Есть поддержка Conda.

Мне кажется, что идея запустить LLAMA с cpp компиляцией под c++ находит всё больший отклик у юзеров и такие системные решения как MLC-llm очень к месту.

Го пробовать!

В сеть утек внутренний документ Google, в котором говорится, что Open Source LLM модели превзойдут LLM Google и OpenAI. Moat, созданный за счет технологического доминирования корпораций, скоро исчезнет.

Удивительно, что разрыв сокращается так быстро, но сам процесс не удивителен, так как владение уникальной технологией является частным случаем "Cornered Resource" — одной из стратегических сил защиты и обособления на конкурентном поле, которая рассматривается в книге "7 Powers". За счет владения ограниченным ресурсом (технология, команда, патент и прочее) компания может выгодно обособляться и защищаться от конкурентов, но данная сила не является долгосрочным методом защиты и действует только на старте, так как рано или поздно ваш уникальный ресурс конкуренты повторят и нивелируют его силу. Далее на этапе активного роста нужно обрастать как минимум одной из 3 сил: network effects, scale economies или switching cost.

По сути, OpenAI может сделать это следующим образом:
• за счет масштаба более низкая себестоимость на обучение и разработку в пересчете на пользователя/запрос.
• сетевые эффекты на основе данных (частный случай network effects) позволяют генерировать более качественный датасет, утилизировать преимущество в виде RLHF и создавать тем самым более высокий уровень добавленной ценности за счет более лучшего качества модели.
• В случае SaaS типа Copilot, корпорации начнут использовать инструмент и из-за Switching Cost уже не смогут отказаться от него.
• В будущем инвестиции в разработку позволят иметь более низкую себестоимость инференса, что позволит создать другую силу — «Process Power».

В какой-то момент, я думаю, что весь AI на основе LLM за счет Open Source превратится в комодити, и сами модели не будут продуктом и основой бизнеса. Все эти LLM будут лишь функциями в продуктах, которые позволяют им генерировать больший уровень добавленной ценности в решении задач пользователя: писать документы, быть голосовым ассистентом, искать информацию, обучать новым знаниям и т.д. А OpenAI и прочие будут исследовать новые горизонты в поисках очередного технологического прорыва. В итоге, основной фокус будет смещаться на создание продуктов и сервисов, которые эффективно интегрируют эти модели и обеспечивают наилучший пользовательский опыт, а также на поиск новых областей применения AI.

IBM приостановит найм на роли, которые бы мог заменить AI.

Издание Bloomberg , со ссылкой на гендира IBM Кришна, сообщает: компания IBM оценивает, что уже сейчас можно заместить 7800 рабочих мест при помощи AI.

При этом, Кришна оценивает потенциал роста замещения до 26000 рабочих мест- это роли которые не требуют личного взаимодействия с людьми. Поэтому уже в течении пяти лет, 30% этого числа вполне можно заменить на автоматическое исполнение, или по крайней мере более автоматизированный труд.

Кажется, чуваки подливают масло в огонь уже бурлящих дискуссий : нас заменят, остановите прогресс ИИ я сойду и тп.

Наткнулся на ещё один git с очередной LLM по типу LLAMA и тп.- PandaLM.

Панда это не только очередной SFT на инструкциях, но ещё и стабильный, как утверждают авторы пайп тюна и оценки моделей LLM между собой. Тестовый сет и скрипт для него они тоже положили в открытый доступ. А так же провели side by side с ChatGPT и говорят, что достигли близкое к ней качество. Таблица с метриками в репо.

При этом, данные для обучения панды они не выложили, но скрипт файнтюна прилагается. Кстати зашёл в него и вижу естественно wget на alpaca.json. :) Но уверен, что-то свое в формате self-instruct нагенерили.

Да и забыл. Модельку PandaLM 7b можно найти на обнимашках как и код для запуска. Но там всё стандартно. Статей кроме гита не нашёл( Поэтому ожидаю, что это таки вариации на тему Alpaca...

Ну и ещё

Из-за опасений по поводу проблем с авторским правом мы не предоставляем модель, настроенную с помощью инструкции. Модель, настроенная по инструкции, может быть легко воспроизведена в PandaLM/pandalm/scripts/inst-tune.sh .

Да и не всё ещё выложено пишут, что весь обещанный код дольют.

Грусть... Все так спешат на хайпе застолбить место, что не докатывают код заявленной функциональности, надеюсь все будет как с LLAMa Adapter и обещания выполнят и всё дольют

Хакни твою мамку LLM-ку

Новый конкурс от AICrowd по взлому промтов.

При этом необходимо делать zero-shot взломы, т.е. модели являются bbox и вам необходимо менять промты, с целью добиться неожиданных ответов, которые по идее она должна избегать.

У вас будет 10 уровней тестов. Доступны три модели на выбор: GPT-3 (text-davinci-03) , GPT-3.5turbo (ChatGPT) и FLAN-T5-xxl, причём есть спец условия по очкам. Например, за взлом ChatGPT получаешь х2 скор. А для FLAN-t5 есть спец приз, набравшему с ним большее число очков взлома.

Очень интересная система оценки:
Она сама предоставит вам вакантное место в форматированном фрейме ввода {YOURPROMPT} , в ответ на свою атаку, в случае успеха, вы получите I have been PWNED

Можно участвовать командой.
Призовой фонд до 15к$ + доп плюшки.

Гогого решать!

https://www.aicrowd.com/challenges/hackaprompt-2023

Привет всем новоприбывшим!

Раз нас стало ещё больше, для новеньких ещё раз расскажу о чем данный канал и кто я, а также оставлю ссылки на пару интересных постов.

Тут автор говорит о всяком вокруг data science, что ему мило и любимо: анализе текстов aka NLP, поиске, соревнованиях, об RL, меньше о CV.

Немного о себе:

Head of ML команд: Нейронные сети, OpenDomainQA, KnowledgeGraphQa, мы отвечаем за понимание естественного языка (NLU), retrieval, приклад LLM и иных NLP моделей в production задачи.

Автор моделей ru_sbert_large, ru_sbert_large_multitask, ruElectra, а также первой открытой ru_ bert_reward модели. Kaggle competitions master, призёр и победитель хакатонов по Data science. Читаю лекции, веду мастер классы по NLP, ML и выступаю на конференциях.

Несколько интересных постов с канала:

1. Instructor. Обучение мультитаск модели на инструкциях .

2. Retrieval-augmented generation или как помочь GPT не лгать

3. Critic подход с human feedback для улучшения embeddings

4. Актуалочка в рамках атак на LLM. Как мы улучшаем устойчивость моделей энкодеров

Добро пожаловать на канал! 🤖🦾

Мой топ Approximated Nearest Neighbors (ANN) либ для поиска соседей по векторам.

Такс други, тут часто заходят с вопросом по поиску на эмбеддингах. Из личного опыта советую:

1. ScaNN, основывается на max dot prod подходе, разработка Google, соответственно требует tf2+

2. FAISS на мой взгляд оптимально по функционалу и сложности освоения. Разработка META.

3. Можно также попробовать Milvus и qdrant, но это уже нечто большее чем просто поиск. Там уже и свои эмбеды можно обучить, к примеру в qdrant, и свою кастом логику.

Бонус.
+ личный ноутбук демонстрации работы SBERT + ANN и другие классик вещи. Код с топ-3 мастер-класса/доклада по мнению зрителей на PyCon2021.

Сингулярность, которую мы заслужили

Тут Snapchat Тян оседлала волну хайпа вокруг LLM и сделала свой аватар, разговоры с которым продаёт за шекели.

Прекрасный пример, когда можно скормить свои записи в chatGPT и voice сервис и получить дёшево и сердито доп заработок.

А я напомню ещё кейс с Клавдией и реддитом. Где чуваки создали нейротянку и продавали её нюдсы.

Ох не тем я занимаюсь. Рецепт успеха Блиновой прост: LLM+text2speech+ cool body/voice + не/много мозгов = $.
🦾🫦🍌

Картина пятничная - философская.

А задумывались ли вы, когда придёт предел данных для обучения LLM?

На минуточку, по состоянию на май 2023 модели потребляют для предобучения от 0.5 до 1.4 трлн токенов.

Насколько это много?)

Средне статистическая книга содержит около 50к слов или 67к токенов, 1 триллион токенов это 15 млн книг!

При этом, скорость генерации сообществом интернета данных может оказаться меньше скорости потребления этих данных /роста сетов потребляемых для обучения (Villalobos et al, 2022)

Также, стоит отметить, что растёт объем данных генерируемый уже GPTlike моделями и в какой-то момент ( и уже видим сейчас) новые и новые генерации LLM не только будут содержать весь допустимый контент, но и тексты полученные из иных моделей.

В такой парадигме, где мы кормим больше и больше знаний о мире в LLM, можем прийти к моменту, когда владельцы закрытых данных смогут выйти на арену и иметь своё преимущество.

Поэтому, видимо, кто владеет информацией - владеет миром. Будет ещё долго не пустым звуком.

А что думаете об этом Вы?

Оценка паритета между ростом доступных данных и данных для обучения

Порядок токенов из разных источников для обучения LLAMA и RedPajama

По мотивам: https://t.me/dealerAI/142