Обучить BERT-base за 60 сек на 3060 8gb.

На просторах телеграмм, в одном из DS чатов нашёл вот эту заметку .

Бодрый челик и его домашняя gpu low сегмента с 8gb видеопамяти на борту смогла в обучение BERT-base.

При этом затраты по времени:
-4 дня или 100gpu часов на претрейн
-12 часов на файнтюн GLUE
-32k токенов словарь и 20гб текстов.

Естественно это удалось достичь благодаря gradient accumulation.

Интересно, что полная тренировка BERT-base по статье затратила тоже время, но на 16 TPU chips.

Конечно приведены метрики GLUE, разумеется фулл обучение имеет значимый отрыв. Но, на мой взгляд, cut off между ресурсами затраченными на обучение и метриками допустим. А что можно сделать, имея 3060ti 12gb?

В замечательное время живём...

Алло, мы ищем таланты!

Помните я рассказывал о Ване из iki.ai . Так вот, в ту самую его бывшую легендарную команду question answering нужен боевой джун.

Далее уже от коллег, дословно:

Ищем Junior NLP Data Engineer в команду направления Open Domain Question Answering.

Мы занимаемся разработкой вопросной-ответной системы ассистента, где ежедневно отвечаем на тысячи различных неожиданных вопросов пользователей. В наши задачи входит:
качественный поиск по базам вопросов;
построение пайплайнов расширения контента (как с помощью редакции, так и с помощью скрапинга по интернету);
взаимоинтеграция с другими проектами , в тч GPT-like проектами;
разработка новых способов распространения знаний (подборки вопросов, подкасты, игры, саджесты).
Мы всегда открытым новым идеям и постоянно пытаемся внедрить что-то новое.
В данный момент у нас стоит большая задача стать входной точкой для многих навыков ассистента. Мы ищем амбициозного NLP Engineer для ещё большего ускорения наших процессов и создания удобной платформы для взаимодействия с нашей системой другими командами.

Задачи:
- Написание пайплайнов для сбора и разметки данных под различные ML-задачи
- Парсинг данных из открытых источников
- Проведение прикладных Data Science исследований для генерации новых фичей поиска
- Тестирование и отладка кода

Наши ожидания:
- Уверенное владение Python 3
- Представление о работе с краудсорсинговыми платформами
- Базовое знание алгоритмов Natural Language Processing
- Готовность к постоянному взаимодействию с другими командами с различным бэкграундом

Будет плюсом:
- Опыт написания парсеров/скраперов
- Опыт работы с Tensorflow/Pytorch

Мы предлагаем:
- UPD. Вилка 100-150к руб. gross + премии (в среднем 2 оклада).

- Конкурентные условия труда (белая заработная плата, оклад, премии);
- Возможность работать на удаленке

- Возможность посещения (как в качестве слушателя, так и в качестве выступающего) местных и международных IT-конференций;
График работы – стандартный, но с гибким подходом;

- ДМС для сотрудников и скидки на медицинскую страховку для родственников;
- Большой и комфортный офис со спортзалом, игровой комнатой, столами для пинг-понга, кафе для сотрудников;
- Широкий спектр дисконт–программ, скидок и привилегий от компаний-партнеров.


Резюме присылайте в лс @PaGul

Исследования MIT, о том как изменяется производительность труда с и без LLM.

А пока мы тут трындим за хайп и LLM. Ребята из MIT проделали мега соц.эксперимент. Они заперли 444 белых воротничка в офисе и заставили их делать ту же работу с и без ChatGPT.

Те лошадки, что были под допингом ChatGPT. Справились с работой на 37% быстрее, при той же оценке качества результата. Кстати, для этого они придумали специальную, репрезентативную систему оценки и выбрали экспертов. Пахать нужно было по 20-30 мин, в рамках типичных для этих людей задач. Но в целом ни одна "лошадка" не пострадала.

Далее, господа погонщики из MIT провели эксперимент по динамике роста качества, оно естественно, чем больше люди осваивались с ChatGPT росло. Потом ещё и попросили ребяток сделать за фиксированное время как можно больше задач. И снова ставка сыграла в бегах на лошадках с майками ChatGPT.

Ну и на последок. Так сказать для закрепления результатов. Подопытные повторили свою работу ещё разок. Повторенье мать ученья! В итоге, double elimination подтвердил всё указанное выше.

Далее, в статье указан предполагаемый экономический эффект. Анализируется мотивация участников эксперимента, запрашивается обратная связь.

По обратной связи:

Команда также спросила людей, “для чего они использовали ChatGPT”, и выяснила следующее. LLM сокращает время мозгового штурма, значительно сокращает время создания черновика, но затем проактивно используется в процессе окончательного редактирования.
Другими словами, это система, которая значительно ускоряет “первый набросок” и “первоначальные выводы” части работы, которые затем будут использоваться чуть более интенсивно для итогового эскиза. И это становится еще лучше. Когда они спросили респондентов, как они сами оценивают свои навыки письма, оказалось, что “готовность платить” и “полученная ценность” почти идентичны у “плохих писателей” и “хороших писателей”. Другими словами, ChatGPT помогает “плохим писателям” становиться хорошими, а “хорошим писателям” продвигаться быстрее и, возможно, становиться лучше! - Это что получается, что для кожаных мешков ChatGPT, как RETRO или Retrieval augmented для LLM!? 😜

Материальный вопрос:

На мой взгляд следующая мякотка вот тут. Респонденты, использовавшие ChatGPT, сообщили исследователям, что они готовы платить ежемесячную плату в размере 0,5% от своей зарплаты за доступ к этому инструменту! Для работника, зарабатывающего 100 000 долларов в год, это эквивалентно почти 500 долларам в год за пользование этой системой.

Выводы:
Воротнички, что не хотят оседлать прогресс и раскошелиться на api'шечку, рискуют утратить свою конкурентоспособность, проиграв в продуктивности на треть. 😱

Всем желаю быть в ресурсе и осваивать новые технологии!

RL это буквально fuck around and find out (с)
из одного крутого AI чатика

UPD. Пример эксплуатируй или исследуй.

За цитату мерси https://t.me/boris_again

Ох люблю своих подписчиков/студентов/школьников и просто активных умнарей.

Спасибо @chckdskeasfsd

Приветствую сообщество! Сегодня решил выложить в опенсурс свою диалоговую систему вместе со всеми моделями и кодом.

Скачать можно тут: https://github.com/Den4ikAI/Anfice-chatbot

Сделано на основе FRED-T5-XL и нескольких энкодеров (подробности на гите)
Если будете тестировать, просьба написать фидбек в лс

Демо бот: https://t.me/anficechatbot, @anficechatbot

MoE(я) прелесть или Switch Transformers в каждый дом.

Как говорится, повторенье - мать мученья учения. Поговорим уже о давно отшумевшем mixture of experts подходе (далее MoE) на примере Switch transformers.

В целом MoE это продукт синтеза двух базовых подходов обычной feed forward mlp и gating/routing из GRU RNN.

Задача ансамбля MoE состоит в том, чтобы:

1. Увеличить репрезентативность и вариативность отображений ffn.

2. Сохранить при увеличении числа весов модели, за счёт роутинга небольшую потерю в вычислительной мощности.

3. Динамически регулировать ëмкость сети в зависимости от входных данных.

При этом если посмотреть на схему MoE в Switch transformers мы видим всё тот же знакомый механизм голосования при помощи soft-max . Однако, в отличии от классического MoE выбирается топ-1 эксперт.

Эксперимент:
Недавно вот попробовал заменить в нашем подходе вырезанные из BERT 6 слоёв по 768 dim. На свой классик трансформер со Switch MoE в каждом блоке вместо FFN.

Конфигурация была такая: 3 блока трансформера, 4 головы внимания и 4 эксперта в MoE. Размерность отображения эксперта и трансформера 256.

Итог. Мы достигаем тех же показателей по метрикам на задаче диалогового моделирования , но уменьшили размер модели получения эмбеддингов контекста в 17 раз!

UPD. Если хотите потрогать сами вот на HF сорс.

Летней стажировки пост.

Пришло лето, а значит пора не только сдавать сессию, но и искать место на практику, которая станет стартом Вашей карьеры.

Сегодня вакансия в оч крутую и на мой взгляд перспективную по домену команду Knowledge graph QA.

Стажер-аналитик на 3 месяца в SaluteDevices

Локация: Москва, м. Кутузовская или удалённо из любой точки в РФ

Задачи:

* улучшение текущих пайплайнов разметки данных и создание новых
* построение дашбордов
* прогон и оценка результатов работы вопросно-ответной системы

Ожидания:

* хороший уровень Python 3
* sql, bash, git, dvc
* базовое понимание ML и NLP

Будет плюсом:

* опыт разметки данных (Toloka, Tagme)
* работа с Kibana (ELK)

От нас:

* зп 57к руб. gross
* атмосфера стартапа внутри большой компании
* отсутствие проблем с вычислительными мощностями
* конференции и обучение
* современный и удобный Agile-офис по желанию
* бесплатный фитнес-зал, бесплатная парковка на территории офиса, снеки, чай, кофе.

От себя скажу, что будет возможность поработать даже с GPT like моделями, тк ODQA и Knowledge Graph QA необходимы для лучшей фактологии при генерации, да и само направление графов знаний имхо перспективное.

Контакты @zu_ann

StableRep: Synthetic Images from Text-to-Image Models Make Strong Visual Representation Learners

Коллеги из #ODS подсветили интересную статью про self-supervised learning.

Идея:
По промтам генерить картинки и генерации в виде позитивных пар из топ-К использовать для дообучения. Да тут включается мой любимый metric/contrastive learning.

В итоге CLIP полученный на обучении с такой процедурой генерации картинок на 20млн пар, оказывается лучше чем classic CLIP, обученный на 50млн.

Но.
Нужно понимать, что модели, которые генерят новых кандидатов, вполне могли видеть те же данные что и классический CLIP. А значит, скорее всего, мы просто аугментируем и дополняем знания изначальной родительской модели через промтинг.

И даже есть статья, которая подтверждает, что увеличение числа негативных и позитивных примеров, которые видят модели, обученные на принципах contrastive/metric learning даёт значимый буст качества.

В исследовании гугла, даже показывается, что увеличение размера ТОЛЬКО негатив кэша уже улучшает "насмотренность" таких моделей и как следствие метрики на downstream. Причём, не обязательно пересчитывать эмбеды кэша, каждую эпоху, достаточно даже раз в N эпох.

В общем, работа подтверждает предыдущие исследования, и даёт возможность использования генеративных моделей для улучшения уже имеющихся прото-моделей.


Источник:
https://t.me/opendatascience/1905

В своём прошлом посте говорил о слухах, что AMD будет поддерживать вычисления DL моделей на GPU и колабиться с PyTorch

И вот свершилось!

Лиза Су, также продемонстрировала, что на новой gpu для Deep learning AMD MI300X влезает фулл LLM класса Falcon40B. Звучит многообещающе. Да и в целом, конкуренция это хорошо.

З. Ы. Да я в курсе, что Лиза Су дальняя родственница Хуанга из NVIDIA. Но вы наверняка и не знали, что интел и NVIDIA были долго кормовой базой для AMD, пока правительство не врубило антимонопольные штучки и позволило уйти в свободный полёт AMD. Опять же конкуренция важная штука для капитализма.

А вот Лиза Су показывает риал-тайм демку инференса модельки Falcon 40B на MI300X.

Более того, они договорились с HuggingFace, что те возьмутся за оптимизацию многих моделей с HF хаба под видеокарты AMD 🔥

@ai_newz

Друзья, сегодня проходит второй день Конференции Диалог2023.

Мы рады сообщить, что наша работа по атакам на текст вошла в Сборник статей, тема: Augmentation methods for spelling corruptions.

Авторы мои коллеги, товарищи и подписчики:@alenusch, @qwertysobaka, @go_bobert. А также Ваш покорный слуга.

Скоро, надеюсь, мы порадуем Вас открытой версией кода.

А пока, смотрите интересные доклады, набирайтесь знаний и идей.

UPD. Прямая ссылка на статью:
https://www.dialog-21.ru/media/5914/martynovnplusetal056.pdf

Клуб дебатов для вашей LLM.
Или как изобретение, которому более 2000 лет позволяет LLM справляться с галлюцинациями.

Сегодня поговорим про Multi-Agent Debates Elevate Language Models: MIT and Google Brain Unlock LLM Potential and Accuracy. Статью скачать тут.

Исследователи из MIT и Google Brain предлагают новый подход к улучшению качества рассуждений и итоговых генераций LLM путём дополнения Chain of Thoughts взаимным общением между моделями.

Они были вдохновлены одним из адептов агентного ИИ Марвином Мински и его работой Society of Mind, также в интернете есть книжка воть.

Немного предыстории:

Мински, основатель лаборатории искусственного интеллекта Массачусетского технологического института, представил свою теорию о том, как работает разум.
Он предположил, что это не единое целое, а скорее сложная система, состоящая из множества более мелких и простых процессов, которые Мински назвал “агентами”.
Эти агенты, каждый из которых прост сам по себе, работают вместе, создавая разумное поведение, то поведение, которое ИИ каждый день пытается имитировать у нас, людей.

Я и сам грешен, признаюсь, защищал магистерскую работу по роевому интеллекту и был адептом агентного ИИ. Поэтому данный подход очень близок мне.

А теперь к делу.
Основная идея состоит в том, чтобы собрать агентов на некоторой дебат-арене. В этой среде запрос/промт кормят каждому из агентов-LLM , а их ответы перекрестно выдают всем остальным агентам. При этом, контекст который на каждом шаге принимает конкретная LLM состоит из его рассуждения и рассуждения соседей. Через 3-4 итерации таких дебатов, модели сходятся к одной стабильной генерации. Т.е. подобно людям во время дискуссии они приходят к общим выводам.

Если более внятно алго такой:

1. Для заданного запроса несколько экземпляров языковой модели сначала генерируют отдельные ответы-кандидаты.

2.Каждый отдельный экземпляр модели читает и критикует ответы всех других моделей и использует этот контент для обновления своего собственного ответа.

3.Затем этот шаг повторяется в течение нескольких раундов, пока мы не получим окончательный ответ.

При этом данный процесс побуждает модели строить ответы, которые согласуются как с их внутренней критикой, так и разумны в свете ответов других агентов.

Полученный кворум моделей может одновременно поддерживать несколько цепочек рассуждений и возможных ответов, прежде чем предлагать окончательный ответ.

Т. е. CoT можно и нужно комбинировать с Society of Mind.

В конце хочу рассказать немного про эксперименты лаборатории ИИ MIT.

Методика была оценена в трех тестах:

1. Правильное изложение фактов о биографии известного ученого-компьютерщика.

2. Проверка достоверности в вопросах о фактических знаниях

3. Предсказание следующего наилучшего хода в шахматной партии.

В итоге Society of Mind превзошел другие варианты во всех категориях, как показано в таблице 1. под постом.

У меня остаётся только один вопрос конечно - это критерий останова этих дебатов. Где он? Это замер перплексии или BLEU генерации, или что? Жду ваши варианты ответа в комментариях.