Mera 🫡

Второй день подряд...

Как видят своего лида мои падаваны.
спасибо @qwertysobaka

Внимание, возможны репутационные осадки в виде фрикаделек LLMок.

На прошедшей конференции EACL была статья про утечки тест сетов бенчей в LLMки. Между прочим получила приз.

Поэтому рынок LLM может сильно перевернуться, когда добавят оценку утечки данных на общепринятые бенчмарки. Многие модели потеряют репутацию, если обнаружится утечка, и многие компании начнут в скором времени переобучать свои LLM без утечек и вообще будет весело :)

Тут буду я, гляну глазком

Яндекс выпустил целую линейку больших языковых моделей третьего поколения. YandexGPT 3 эффективнее решает сложные задачи и вообще лучше понимает контекст. Самое интересное, что смогли улучшить фактологию и надежность предоставляемой информации из генерации.

Первая нейросеть из линейки — это YandexGPT 3 Pro, которая может обрабатывать существенно больше запросов за единицу времени – чем предыдущие модели. А еще она способна представлять данные в формате JSON (JavaScript Object Notation).

Новые возможности для заказчиков: компании могут дообучать YandexGPT 3 Pro на собственных данных, чтобы она ещё лучше соответствовала потребностям конкретного бизнеса. Дообученную версию затем можно встроить в продукты через API (попробовать в демке тоже можно), при этом, стоимость использования новой нейросети снизилась почти в два раза.

Жду теперь энтузиастов, которые оценят новую версию на общепринятых публичных бенчмарках. Хотя по инфо из статьи имеется 100 бесплатных запросов в деморежиме. Но умельцы, уверен, найдутся.

Примоднимся сегодня чутка.

https://t.me/latech/805

Видели такое?
Тут говорят можно разные техники, лоссы, архитектуры DL наглядно изучить. Фреймворк DL Pytorch.

Удобно?

https://nn.labml.ai/

Co-co Jamba

Знаю, что уже много где было, НО: https://www.ai21.com/blog/announcing-jamba

На MOE, трансформер и мама любит мамба и Сережа тоже(с)

+ Жирный контекст на GPU (до 140k)

.....
и много кеков с Mr. President track

UPD чекп на 🤗

https://www.youtube.com/live/Vx7JQ--OBoI?si=fOrCFJLqTzng3aP_

и я там был, мед пиво пил, за CLIP вопрос задавал, чехол на ноутбук забрал.

Metric learning живее всех, два из трех докладов про sbert for RecSys и CLIP.

Это шоу "восстанови prompt или умри". Продолжение.

Тут, крч, уже коллеги писали, что с Gemma вышел косяк на косяке, удивительно,что оно работает. А тут такое дело, что соревка по промптам, как раз на том же семействе и уже докатилося до дискуссий на kaggle.

А Дядя, тем временем, думает, как быть участникам, как побеждать, куда двигаться? Напомню, опорных стилей измененных промтов на руках нет. Ну только один:)

Варианты:

1. Пробинг на LB или "случайное" блуждание с LLM на perplexity, благо, что за модель известно. Брать, генерить систем промпты для подбора стиля переписывания и следить за скором на лб или за перплексией локально.

2. Более направленное движение для п.1. Уже если подумать получше, то перевернуть задачу: у нас есть стартовый промпт, переписанный промпт X и генерация от Х. Давайте подбирать словосочетания/токены в изначальном промпте и следить за perplexity(Generation/X). Тут уже важна стратегия, например, меняем на синонимы или синонимичные фразы.
И выбирать те изменения, которые минимизируют перплексию.

3) Тоже самое, что в п. 2., но учим reward модельку, оценивающую prompt+gen. Также фиксируется генерация, далее можно перебирать, как в п. 2. токены или словосочетания, но уже максимизируем reward. Сетов для reward можно отрыть кучу на hf datasets, а в качестве базовой тушки взять, естественно, Gemma из сорева и сверху на last-token эмб кинуть пару слоев или сделать LoRA тюн. Как учить reward модельки тоже нагуглите.

В случае п. 2-3, остается все еще несколько сложностей: правила замены токенов, глубина замены (те каждое слово или К из М). Но тут уже ваши фантазии и эвристики, к сожалению таков уж сорев. В казино порой шансы те же, но выигрыш крупнее (шучу).

Успехов!

UPD. Самая боль будет, если промпты переписывали НЕ с целью улучшить генерацию. Тогда ток п. 1. работает с пробингом ЛБ, плак.

Все еще жив. Всегда. 🫡

https://bloop.ai/blog/evaluating-llms-on-cobol

Я сам когда-то увлекался размерностями, но на примере фрактальной геометрии, очень напоминает эти концепции.
Полезное чтиво 👇

Как устроено пространство, в котором думают языковые модели?

Наша статья про анизотропию и внутреннюю размерность активаций трансформеров вышла в печать на EACL! В честь этого я подготовил небольшой хабр с её разбором.

Статья, хабр

О спасиб, дядя в телевизоле экспертах.

https://cs.hse.ru/olymp/team

🚀 @SBERLOGASCI webinar on data science:
👨‍🔬 Богдан Булатов "Deep-Q algorithm and autodidactic iteration algorithm for Cube Rube"
⌚️ Понедельник, 8 Апреля, 19.00 (по Москве)

Add to Google Calendar

Будет рассказано о применении Deep Q-algorithm и autodidactic iteration algorithm для решения задачи о нахождении короткого пути на графах Кэли (другими словами - решение Кубика Рубика).
Презентация доклада доступна по ссылке: https://docs.google.com/presentation/d/1JmvIHvAYjv1xxBcCPmiTWJ1PbFOi0XITfbv8yKGALzQ/edit?usp=sharing

Ноутбук: https://www.kaggle.com/code/bagdan/autodidactic-iteration-algorithm-for-cube-rube (апвоуты приветствуются).

Также будет дан разбор алгоритма Deep Q Network (DQN) на примере задачи по посадке лунного модуля (https://www.gymlibrary.dev/environments/box2d/lunar_lander/
см. ноутбук: https://www.kaggle.com/code/bagdan/dqn-lunar-rider

Zoom link will be in @sberlogabig just before start. Video records: https://www.youtube.com/c/SciBerloga - subscribe !

JetMoe: и в MLP и в гриву и на свою Attention голову.

Интересный эксперимент с тем, куда бы еще втащить MoE: в MLP было, в LoRA адаптеры было, в QKV даже видел вроде. Но как же мы забыли, что вполне на поверхности роутить бошки внимания. И вот ребята запилили такое.

Хвастают тем что потратили 96 h100 около 2 недель претрена. Сделали 8b модельку, с 2.2b активными параметрами на инфере и обходящую на MTBench 13b Llama2.