Интересное открытие flex дня.
Или не BERT и LLM живёт земля...

Был сегодня на встрече со своими коллегами по цеху и даже с бывшими коллегами по работе.

Вот один из таких коллег, сообщил, что моя модель пару лет была бессменно в одном важном сервисе по автоматизации поддержки звонков клиентов крупного банка... 😎

Что же за модель спросите вы?

BERT? Нет. GPT? Нет.

Ответ:
BiLSTM+attention+glove и fastext 💃 эмбеддинги. Обучены конечно эмбы на логах той же системы. Как сейчас помню 15 гигов логов.
Обучение на CPU макбука в ночь перед уходом с работы, утром проверил метрики и собрал новую ветку на релиз... Вот такие пирОги.

Забавно, что все несли BERTы (ну как же хайпово), а приросту значимого не было...

А вы LLM, трансформеры.. Остальное умерло (хотя кто-то уже и BERTы хоронит).

Кстати тут прошёл сорев, где один человек завёл классик пайп на DeBERTa + почистил данные, ушёл на месяц в свои дела. Через месяц внезапная радость 3е место, золото, призовые. А вокруг один decoder-like... 🚬

Говорит закат энкодеров пошёл... Ага щаз... Всему своё место.

Выводы: юзайте сначала что-то простое, если уже сливки с метрики собрали, упёрлись в потолок, усложняйте пайп, чтобы правый хвост добить качества. Если оно вам конечно надо.

Юмор выходного дня 😂

Наткнулся в ленте.

Какой у тебя длинный... 🫢
Вход в transformer. 📝

Или пара вредных советов для создания вашего longformer...

Тут давече вышел хабропост про то, как из вашей модели сделать longformer и расширить вход за 512 seqlen.

Нас это зацепило и мы решили, что можем воспроизвести. Засучили рукава и принялись за работу. В процессе подготовки словили несколько факапов и набили пару шишек. Поэтому, думаю, дополнения от Жеского Дяди не помешает.

Итого, что советуем:

1. При расширении контекста, нужно довыровнять global position embeddings и attention, тк мы же увеличили seqlen. Для адаптации автор поста врубал MLM и фризил всё остальное,кроме указанных выше позиций и внимания. На данном этапе не забудьте расфризить MLM head.

2. Когда собрали и запустили код, обнаружили, что при сетапе из п1. у нас стали умирать конечные эмбеды. Наши метрики упали. А хотелось бы их сохранить. Поэтому автор предлагает 30% доливать коротких текстов. Но на модели с нашим числом весов (large) пришлось увеличить долю до 40%.

3. Но и доработки п.2 не хватало. Обнаружили проблемы с прогревом, снизили его с 15к шагов до 2-5к , иначе всё сходилось не к той области весов и после отключения прогрева разлетелось к чертям.

4. Катастрофическая забывчивость для малых текстов за 2-3 пункты поличилась, но зазор всё ещё был 2-3%
качества, а хотелось воспроизвести результат поста и получить минимум разницы или даже прирост.

Поэтому дядя вспомнил про ChatGPT и как там в RLHF PPO используют KLD регуляризации к reference модели. По сути self дистилляция. И тут мы врубили её к изначальной версии без выравнивания (она учитель) и только для коротких текстов.

Крч дописали ещё одну голову совместно с MLM. В итоге получили даже где-то прирост 0.5% , что радует.

Почему в посте на хабр так всё вышло гладко и сладко? Особенно для tiny модельки. Думаю дело в числе весов и модель успела быстро сойтись и не разлететься по лоссу не в том пространстве. Сетап изначально был напомню 1 в 1. Для больших моделей от large и выше пользуйтесь советами выше.

Как-то так. Дерзайте и кидайте свои наблюдения, советы в комментариях.

Новый любимый лось:
SigLIP Log-Sigmoid loss 🌿

Крч, недавно ребята анонсировали в SigLIP модифицированный log-sigmoid лосс. И да, это тот, который в reward юзают для обучения. 😎

Об этом уже писал тут. Обещали быстрый, с малыми затратами по компьюту эффект для contrastive learning. В их случае image2text на примере CLIP-like.

А так как я маньяк на всякие self-supervised штуки а-ля metric/contrastive learning, взял да и реализовал лосю со статьи, но в своём стиле.

Было:
LogSigmLoss = -E[LogSigmoid(Ri -Rj)],
где R=dot(emb1, emb2.T) - значение близости между двумя эмб матрицами. Там могут лежать текст эмбы или текст эмбы и картиночные эмбы.

В статье: добавляется температура и биас так, что R=dot(emb1, emb2.T)*exp(T)+bias

При этом близость косинусная, тк эмбы перед этим L2 нормализуют.

У меня чет не завелось для текстов с нормализацией L2. Поэтому я просто модифицировал свой adaptive margin loss к виду SigLIP. А именно везде, где у нас близости, добавил обучаемый T и bias и загнал в LogSigmoid, где пары имеют близость:

PosSim - без изменений dot-prod между позитивной парой.

NegSim=Log[Sum(exp(neg_mul*exp(T) +bias))] , - это чудовище плата за отсутствие нормализации.

Итого сравнил до и после результаты с добавлением и без обучаемых параметров температуры и смещения. На наших метриках ранжирования recall@10 сходится к лучшим значениям в 3-4 раз быстрее! Это при одинаковом батче, схеме lr scheduling и тп. К примеру recall@10 = 0.74 был достигнут за 27 эпох против 102 до! 📈

Это успех, господа и дамы. Мой новый фаворит. 💃