Яндекс отметил достижения исследователей в области машинного обучения

Компания уже в пятый раз вручила премию Yandex ML Prize. Её лауреатами стали 11 участников, представивших наиболее перспективные и значимые работы в области распознавания и синтеза речи, компьютерного зрения, информационного поиска, обработки естественного языка и генеративных моделей. При этом один из наших коллег по цеху тоже стал лауреатом, что особенно приятно!

Очень важно, что исследования лауреатов расширяют возможности для прикладного применения ML-технологий. Например, социально-значимые кейсы: поиск новых методов лечения серьёзных заболеваний, помощь людям с ограниченными возможностями и многое другое.

Отдельно подчеркну, что Яндекс поддерживает не только состоявшихся ученых, но и молодых исследователей, которые только начинают свой путь в науке. В этом году отметили представителей ведущих ВУЗов и исследовательских групп: МФТИ, МИСИС, СПбГУ, ВШЭ, Сколтех и Назарбаев Университет.

Теперь и я подумываю над тем, чтобы податься на премию в следующем году, пробуйте и вы!

Подбор недвижимости на RAGах.
Вайб выходного дня.

До чего техника дошла. Увидел на сайте Я.недвижимость возможность в бетке подбирать квартиры и тп. с помощью LLM.

На самом деле, сразу прикинул, а как? Что там под капотом.

Гипотеза, как это работает:

1. Вы вводите критерии подбора квартиры, на естественном языке конечно, хотя саджесты тоже в сервисе наблюдаются.
2. Далее запрос в виде критериев летит уверен в базу знаний, где каждый объект тоже описан на Я.стественном языке. Тут тоже предполагаю, что всё же или шаблонами заранее собрали или далее шаблоны вкинули в LLM, чтобы она их переписала в более естественный стиль.
3. Далее врубается RAG, который по такому запросу и БД выдаёт топК кандидатов в LLM. А она их реранжирует уже исходя из запроса пользователя, там же есть критерии.

Получается, вот такой сервис распознавания интентов, где намерение это приобрести недвигу с заданными параметрами: расположение, класс жилья, комнатность и тп.

До чего LLM-техника дошла!

UPD. А итить ей ещё теперь в такое же ток с картинками, прям взял загрузил ещё планировочки какие хотел бы, текст описания. Ух, мультимодалочка!

Юмор выходного дня.

Как твоя мама видит mixt of Mistral experts.

Творчество юзеров нашего детища.

RuElectra-small идёт в массы.

Спасибо за скрин @japanesefarmer

UPD. Мы тут ещё баловались с @chckdskeasfsd. Делали обрезку и облегчение этой же модельки.
См. тут.

Метрики обрезки

P/S ruTiny модели это дистилляты крутых sentence энкодеров, поэтому если хотите догнать их, используйте их пайп с нашей small electra

Олды vs зумеры

Лучший подарок в следующем году, свой Mixture of experts based LLM.

А что вы ждёте от следующего года?)

За картинос спасибо @bogdanisssimo

hh.ru приглашает принять участие в их втором ML-чемпионате, участникам предлагается решить задачу Sequential рекомендаций, а именно: по последовательности событий внутри пользовательских сессий предсказать вакансию, на которую пользователь откликнется в своей следующей сессии.

Надеюсь, что мы скрасим ваши новогодние каникулы. Всех с наступающим!

https://boosters.pro/championship/hh_recsys/

Как выглядит конец этого года у Жоского Дяди.

P/S Вредные привычки плохо. Но, видимо, моя зависимость - это ML/DS/AI.

Вайб "Вьетнамские флешбеки".

#grokaem_собес #grokaem_nlp
Я собрала 100 вопросов по NLP, которые мне задавали или задавала я. Надеюсь, что они будут полезны, чтобы освежить в памяти важные моменты.

*Notion будет пополняться*

Notion русская версия

В составлении вопросов помогали:
ds girl
канал Плюшевый Питон
Alexander Babiy
канал что-то на DL-ском
канал Dealer.AI
канал алиса олеговна

Часть вопросов:
8. Объясните разницу между косинусной близостью и косинусным расстоянием. Какое из этих значений может быть негативным? Как вы будете их использовать?
21. Что такое negative sampling и зачем он нужен?
30. Что такое затухающие градиенты для RNN?
41. Что используется в трансформере layer norm или batch norm и почему?
55. Объясните подходы для позициональных эмбеддингов и их плюсы и минусы.
75. В чем отличие оптимизатора Adam от AdamW?
86. Объясните концепции metric learning. Какие подходы вам известны?
88. Объясните виды sampling при генерации? top-k, top-p, nucleus sampling?
92. В чем отличие prefix tuning от p-tuning и от prompt tuning?
98. Объясните принцип работы KV cache, Grouped-Query Attention и MultiQuery Attention.

👆Поддержим Милану и скажем спасибо другим коллегам по цеху!

P. S. Кому-то этот notion не даст покоя ни на каникулах ни в НГ:) Stay tuned! 🦾🕺🎅🎄

Дорогие подписчики, в уходящем 2023г. было много всего: открытие этого канала, сложные вызовы, горечь потерь и радость открытий. Я желаю Вам в новом году: мира, добра, новых достижений и будьте здоровы!

Впереди нас ждёт ещё больше исследований, знаний и технологических вызовов!

С Новым годом! 🦾🤖🎄

SigLIP models теперь официально в Transformers. И от себя замечу-этот siglip лосс в основе не только хорош для CLIP-like задач, но и для любых иных в стиле contrastive, в тч sentence/text embs аля sbert и др.

https://huggingface.co/docs/transformers/main/en/model_doc/siglip

Git LLMs pull, LLMs merge, LLMs push.

В последнее время хайпу взял Mixtral с его реализацией MoE подхода (писал про него туть). Но увеличение capacity модели и улучшение ее свойств можно достичь не только засчëт экспертов. Новое веяние это merging моделей.

В чем состоит идея git merge'а моделек?

Во-первых, это не ансамблинг моделей, те мы не используем процедур голосования, стэкинга, boosting или bagging.

Во-вторых мы НЕ склеиваем их по принципу схожему с MoE.

Слияние происходит на уровне слоев, таким образом, чтобы учесть соноправленность весов в слоях (коленниарность), а также знаковую совместимость значений активаций. При этом можно подобно методу "лотерейного билета" убирать слабо совместимые слои или слои, которые не являются значимыми. Также, есть подходы демасштабирования и масштабирования моделей. К примеру, мы имели 7b и 9b и можем расширить итоговое значение размера после слияния, как в пользу последней, так и первой или вообще получить еще большую мега модель аля Голиаф 120b. Самое интересное, что какие-то методы позволяют только парно склеить модели, а какие-то больше двух одновременно. Подробнее о методах слияния можно почитать по ссылке на hf в начале.

Почему это работает и даже удается достичь прогресса в метриках? Ответ лежит в той же плоскости методов оптимизации 0го порядка, а также ema, swa подходов улучшения обучения. Мы используем "субоптимальные" (как мы считаем) веса моделей кандидатов для слияния, далее выбираем наиболее подходящие слои и механики для этого. Следовательно мы умно "суммируем" такие веса, влияя на итоговое пространство таким образом, что веса двигаются ближе к оптимальному набору. В этом и состоит суть подходов ema/swa и метода треугольников/медиан и пр. в оптимизации. А тк. мы склеиваем слои и их веса , которые соноправлены, то мы не ломаем модель, смыслы в ее весах заложенные и тп.

Для собственных экспериментов можно использовать mergekit и colab. Так что мерджим!