Dealer.AI
14.4K subscribers
672 photos
44 videos
16 files
699 links
Жоский ИИ Дядя
Твой личный поставщик AI 🦾🤖
Канал о мире интересного AI: GenAI, RecSys, поиск, classic ML, бизнес приклад и ai-meme👾

Для связи @dealer_ai
(реклама и консультации)

Head of ML, AI.
Kaggle: https://www.kaggle.com/andrilko

РКН: 6348592885
Download Telegram
Forwarded from Kantor.AI (Victor Kantor)
ML-тренировки МТС х ВШЭ

Вчера вместе с Никитой Зелинским и великолепным Сашей Абрамовым @dealerAI открыли тренировки по ML от МТС и ВШЭ. Первое соревнование, которое будем решать с ребятами, посвящено распознаванию сгенерированных LLM текстов (будем отличать их от человеческих).

Я даже наивно надеюсь успеть и сам поучаствовать - всегда хотел поучиться решать каггл. Особенно приятно, что когда-то Саша учился у нас на Data Mining in Action, а теперь и у меня есть возможность поучиться у него :)

Btw, многие, наверно, подумали: "А как же private sharing?". Для тех, кто не знает, на kaggle можно делиться своими наработками по соревнованию: внутри своей команды или на всех участников соревнования. Третьего не дано, за передачу и использование "втихую" могут быть проблемы. Из фото вы видите, что для одной команды у нас многовато людей, поэтому все наработки и идеи, которые мы будем обсуждать в классе, будут собираться вместе, а затем публиковаться в открытом доступе на форуме соревнования. Так что если кто-то хочет к нам присоединиться в удаленном и асинхронном режиме - милости просим, материалы будут.

Спасибо коллегам из ВШЭ, с которыми у нас уже много совместных активностей, а в следующем году будет еще больше. И, конечно, спасибо Саше, что согласился поучаствовать в роли тренера.

P.S.: На фото есть пасхалка: подсказка, с кем еще мы сейчас обсуждаем грядущие образовательные активности (и может быть, до чего-то договоримся). Кто первый догадается? :)
19👍6🔥2😁1
Хак дня:
Как повысить число просмотров вашего профиля в LinkedIn, указав всего один язык программирования? Написать Python/c++/Java?

Нет, попробуйте COBOL!
😁293🔥2
Forwarded from MarksRemarks (Mark Baushenko)
🔵Вот и долгожданный пост с разбором нашего решения занявшее первое место в соревновании Альфа банка по структуризации чеков ОФД.

🔴Мы записали видео, где подробно прошли по всем этапам соревнования и гипотезам которые у нас были.

🔵Все вопросы по решению можете задавать в комментариях, постараюсь на все из них ответить ⤵️
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8
Яндекс отметил достижения исследователей в области машинного обучения

Компания уже в пятый раз вручила премию Yandex ML Prize. Её лауреатами стали 11 участников, представивших наиболее перспективные и значимые работы в области распознавания и синтеза речи, компьютерного зрения, информационного поиска, обработки естественного языка и генеративных моделей. При этом один из наших коллег по цеху тоже стал лауреатом, что особенно приятно!

Очень важно, что исследования лауреатов расширяют возможности для прикладного применения ML-технологий. Например, социально-значимые кейсы: поиск новых методов лечения серьёзных заболеваний, помощь людям с ограниченными возможностями и многое другое.

Отдельно подчеркну, что Яндекс поддерживает не только состоявшихся ученых, но и молодых исследователей, которые только начинают свой путь в науке. В этом году отметили представителей ведущих ВУЗов и исследовательских групп: МФТИ, МИСИС, СПбГУ, ВШЭ, Сколтех и Назарбаев Университет.

Теперь и я подумываю над тем, чтобы податься на премию в следующем году, пробуйте и вы!
👍6🔥1🖕1
Тут буквально на днях Microsoft выложили код огромной проделанной работы. Речь идет о LongNet представленном в июне этого года. Очередная попытка побороться с квадратичной сложностью внимания и заскелить длину последовательности до (просто вдумайтесь) 1B токенов (см график на срине 1) 😳

Звучит круто, на деле механизм следующий: будем делить последовательность на сегменты, а внутри еще на уровень разреженности (ну типо как sparse attention). Посмотреть визуализацию можно на скрине 2.

Но это еще не все. Это дело все можно распараллелить на гпушки следующим образом: возьмем длину последовательности, разделим объем последовательность на сегменты, количество которых равно количеству карт. Дальше на каждой карте будут свои матрицы Q, K, V. Но объеденим далее мы в одну только матрицы K, V, а Q будет на каждой карте своя в итоговой формуле. (Скрин 3)

Так вот. Для всего этого дела теперь есть код в открытом доступе. Вот репа (заходим в директорию torchscale/model и наслаждаемся)

НО ЭТО ТОЖЕ ЕЩЕ НЕ ВСЕ. Также в начале декабря они зарелизели LongVIT, который представляет из себя такой же алгоритм, только картинка будет разделена на патчи (скрин 4), что и представит последовательность (код можно найти в той же репе, но директория examples/longvit)

🖥Еще раз. Код весь туть
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍144❤‍🔥2
Подбор недвижимости на RAGах.
Вайб выходного дня.

До чего техника дошла. Увидел на сайте Я.недвижимость возможность в бетке подбирать квартиры и тп. с помощью LLM.

На самом деле, сразу прикинул, а как? Что там под капотом.

Гипотеза, как это работает:

1. Вы вводите критерии подбора квартиры, на естественном языке конечно, хотя саджесты тоже в сервисе наблюдаются.
2. Далее запрос в виде критериев летит уверен в базу знаний, где каждый объект тоже описан на Я.стественном языке. Тут тоже предполагаю, что всё же или шаблонами заранее собрали или далее шаблоны вкинули в LLM, чтобы она их переписала в более естественный стиль.
3. Далее врубается RAG, который по такому запросу и БД выдаёт топК кандидатов в LLM. А она их реранжирует уже исходя из запроса пользователя, там же есть критерии.

Получается, вот такой сервис распознавания интентов, где намерение это приобрести недвигу с заданными параметрами: расположение, класс жилья, комнатность и тп.

До чего LLM-техника дошла!

UPD. А итить ей ещё теперь в такое же ток с картинками, прям взял загрузил ещё планировочки какие хотел бы, текст описания. Ух, мультимодалочка!
👍355
Юмор выходного дня.

Как твоя мама видит mixt of Mistral experts.
😁60👍62
Творчество юзеров нашего детища.

RuElectra-small идёт в массы.

Спасибо за скрин @japanesefarmer

UPD. Мы тут ещё баловались с @chckdskeasfsd. Делали обрезку и облегчение этой же модельки.
См. тут.
9🔥3🤩1
Dealer.AI
Творчество юзеров нашего детища. RuElectra-small идёт в массы. Спасибо за скрин @japanesefarmer UPD. Мы тут ещё баловались с @chckdskeasfsd. Делали обрезку и облегчение этой же модельки. См. тут.
Метрики обрезки

P/S ruTiny модели это дистилляты крутых sentence энкодеров, поэтому если хотите догнать их, используйте их пайп с нашей small electra
👍5
Олды vs зумеры
😁70👍1
Лучший подарок в следующем году, свой Mixture of experts based LLM.

А что вы ждёте от следующего года?)

За картинос спасибо @bogdanisssimo
18👍3😁1
Forwarded from Boosters.pro
hh.ru приглашает принять участие в их втором ML-чемпионате, участникам предлагается решить задачу Sequential рекомендаций, а именно: по последовательности событий внутри пользовательских сессий предсказать вакансию, на которую пользователь откликнется в своей следующей сессии.

Надеюсь, что мы скрасим ваши новогодние каникулы. Всех с наступающим!

https://boosters.pro/championship/hh_recsys/
🥴14🔥6🤡1
Как выглядит конец этого года у Жоского Дяди.

P/S Вредные привычки плохо. Но, видимо, моя зависимость - это ML/DS/AI.

Вайб "Вьетнамские флешбеки".
🔥15👍32
Forwarded from grokaem себя (Milana)
#grokaem_собес #grokaem_nlp
Я собрала 100 вопросов по NLP, которые мне задавали или задавала я. Надеюсь, что они будут полезны, чтобы освежить в памяти важные моменты.

*Notion будет пополняться*

Notion русская версия

В составлении вопросов помогали:
ds girl
канал Плюшевый Питон
Alexander Babiy
канал что-то на DL-ском
канал Dealer.AI
канал алиса олеговна

Часть вопросов:
8. Объясните разницу между косинусной близостью и косинусным расстоянием. Какое из этих значений может быть негативным? Как вы будете их использовать?
21. Что такое negative sampling и зачем он нужен?
30. Что такое затухающие градиенты для RNN?
41. Что используется в трансформере layer norm или batch norm и почему?
55. Объясните подходы для позициональных эмбеддингов и их плюсы и минусы.
75. В чем отличие оптимизатора Adam от AdamW?
86. Объясните концепции metric learning. Какие подходы вам известны?
88. Объясните виды sampling при генерации? top-k, top-p, nucleus sampling?
92. В чем отличие prefix tuning от p-tuning и от prompt tuning?
98. Объясните принцип работы KV cache, Grouped-Query Attention и MultiQuery Attention.
👍415🔥42
👆Поддержим Милану и скажем спасибо другим коллегам по цеху!

P. S. Кому-то этот notion не даст покоя ни на каникулах ни в НГ:) Stay tuned! 🦾🕺🎅🎄
19
Дорогие подписчики, в уходящем 2023г. было много всего: открытие этого канала, сложные вызовы, горечь потерь и радость открытий. Я желаю Вам в новом году: мира, добра, новых достижений и будьте здоровы!

Впереди нас ждёт ещё больше исследований, знаний и технологических вызовов!

С Новым годом! 🦾🤖🎄
👏24👍32🤗2
Dealer.AI pinned a photo