Forwarded from Kantor.AI (Victor Kantor)
ML-тренировки МТС х ВШЭ
Вчера вместе с Никитой Зелинским и великолепным Сашей Абрамовым @dealerAI открыли тренировки по ML от МТС и ВШЭ. Первое соревнование, которое будем решать с ребятами, посвящено распознаванию сгенерированных LLM текстов (будем отличать их от человеческих).
Я даже наивно надеюсь успеть и сам поучаствовать - всегда хотел поучиться решать каггл. Особенно приятно, что когда-то Саша учился у нас на Data Mining in Action, а теперь и у меня есть возможность поучиться у него :)
Btw, многие, наверно, подумали: "А как же private sharing?". Для тех, кто не знает, на kaggle можно делиться своими наработками по соревнованию: внутри своей команды или на всех участников соревнования. Третьего не дано, за передачу и использование "втихую" могут быть проблемы. Из фото вы видите, что для одной команды у нас многовато людей, поэтому все наработки и идеи, которые мы будем обсуждать в классе, будут собираться вместе, а затем публиковаться в открытом доступе на форуме соревнования. Так что если кто-то хочет к нам присоединиться в удаленном и асинхронном режиме - милости просим, материалы будут.
Спасибо коллегам из ВШЭ, с которыми у нас уже много совместных активностей, а в следующем году будет еще больше. И, конечно, спасибо Саше, что согласился поучаствовать в роли тренера.
P.S.: На фото есть пасхалка: подсказка, с кем еще мы сейчас обсуждаем грядущие образовательные активности (и может быть, до чего-то договоримся). Кто первый догадается? :)
Вчера вместе с Никитой Зелинским и великолепным Сашей Абрамовым @dealerAI открыли тренировки по ML от МТС и ВШЭ. Первое соревнование, которое будем решать с ребятами, посвящено распознаванию сгенерированных LLM текстов (будем отличать их от человеческих).
Я даже наивно надеюсь успеть и сам поучаствовать - всегда хотел поучиться решать каггл. Особенно приятно, что когда-то Саша учился у нас на Data Mining in Action, а теперь и у меня есть возможность поучиться у него :)
Btw, многие, наверно, подумали: "А как же private sharing?". Для тех, кто не знает, на kaggle можно делиться своими наработками по соревнованию: внутри своей команды или на всех участников соревнования. Третьего не дано, за передачу и использование "втихую" могут быть проблемы. Из фото вы видите, что для одной команды у нас многовато людей, поэтому все наработки и идеи, которые мы будем обсуждать в классе, будут собираться вместе, а затем публиковаться в открытом доступе на форуме соревнования. Так что если кто-то хочет к нам присоединиться в удаленном и асинхронном режиме - милости просим, материалы будут.
Спасибо коллегам из ВШЭ, с которыми у нас уже много совместных активностей, а в следующем году будет еще больше. И, конечно, спасибо Саше, что согласился поучаствовать в роли тренера.
P.S.: На фото есть пасхалка: подсказка, с кем еще мы сейчас обсуждаем грядущие образовательные активности (и может быть, до чего-то договоримся). Кто первый догадается? :)
❤19👍6🔥2😁1
Kantor.AI
Photo
На тему детектирования LLM-генерированного текста:
(https://t.me/ml_cybersecurity/82)
на SemEval-2024 есть дорожка "Multigenerator, Multidomain, and Multilingual Black-Box Machine-Generated Text Detection"
https://github.com/mbzuai-nlp/SemEval2024-task8
Спасибо @inkoziev
(https://t.me/ml_cybersecurity/82)
на SemEval-2024 есть дорожка "Multigenerator, Multidomain, and Multilingual Black-Box Machine-Generated Text Detection"
https://github.com/mbzuai-nlp/SemEval2024-task8
Спасибо @inkoziev
Telegram
RED BLUE Machines | ИИ и безопасность
Вышла статья с обзором способов детектирования
LLM-контента.
Перечислили доступные датасеты и применяемые техники.
A Survey on Detection of LLMs-Generated Content
https://arxiv.org/abs/2310.15654
https://github.com/Xianjun-Yang/Awesome_papers_on_LLMs_detection
LLM-контента.
Перечислили доступные датасеты и применяемые техники.
A Survey on Detection of LLMs-Generated Content
https://arxiv.org/abs/2310.15654
https://github.com/Xianjun-Yang/Awesome_papers_on_LLMs_detection
🔥5👍1
Forwarded from MarksRemarks (Mark Baushenko)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8
Яндекс отметил достижения исследователей в области машинного обучения
Компания уже в пятый раз вручила премию Yandex ML Prize. Её лауреатами стали 11 участников, представивших наиболее перспективные и значимые работы в области распознавания и синтеза речи, компьютерного зрения, информационного поиска, обработки естественного языка и генеративных моделей. При этом один из наших коллег по цеху тоже стал лауреатом, что особенно приятно!
Очень важно, что исследования лауреатов расширяют возможности для прикладного применения ML-технологий. Например, социально-значимые кейсы: поиск новых методов лечения серьёзных заболеваний, помощь людям с ограниченными возможностями и многое другое.
Отдельно подчеркну, что Яндекс поддерживает не только состоявшихся ученых, но и молодых исследователей, которые только начинают свой путь в науке. В этом году отметили представителей ведущих ВУЗов и исследовательских групп: МФТИ, МИСИС, СПбГУ, ВШЭ, Сколтех и Назарбаев Университет.
Теперь и я подумываю над тем, чтобы податься на премию в следующем году, пробуйте и вы!
Компания уже в пятый раз вручила премию Yandex ML Prize. Её лауреатами стали 11 участников, представивших наиболее перспективные и значимые работы в области распознавания и синтеза речи, компьютерного зрения, информационного поиска, обработки естественного языка и генеративных моделей. При этом один из наших коллег по цеху тоже стал лауреатом, что особенно приятно!
Очень важно, что исследования лауреатов расширяют возможности для прикладного применения ML-технологий. Например, социально-значимые кейсы: поиск новых методов лечения серьёзных заболеваний, помощь людям с ограниченными возможностями и многое другое.
Отдельно подчеркну, что Яндекс поддерживает не только состоявшихся ученых, но и молодых исследователей, которые только начинают свой путь в науке. В этом году отметили представителей ведущих ВУЗов и исследовательских групп: МФТИ, МИСИС, СПбГУ, ВШЭ, Сколтех и Назарбаев Университет.
Теперь и я подумываю над тем, чтобы податься на премию в следующем году, пробуйте и вы!
Yandex ML Prize
Премия Яндекса при экспертной поддержке Школы анализа данных за вклад в развитие ML
👍6🔥1🖕1
Forwarded from что-то на DL-ском
Тут буквально на днях Microsoft выложили код огромной проделанной работы. Речь идет о LongNet представленном в июне этого года. Очередная попытка побороться с квадратичной сложностью внимания и заскелить длину последовательности до (просто вдумайтесь) 1B токенов (см график на срине 1) 😳
Звучит круто, на деле механизм следующий: будем делить последовательность на сегменты, а внутри еще на уровень разреженности (ну типо как sparse attention). Посмотреть визуализацию можно на скрине 2.
Но это еще не все. Это дело все можно распараллелить на гпушки следующим образом: возьмем длину последовательности, разделим объем последовательность на сегменты, количество которых равно количеству карт. Дальше на каждой карте будут свои матрицы Q, K, V. Но объеденим далее мы в одну только матрицы K, V, а Q будет на каждой карте своя в итоговой формуле. (Скрин 3)
Так вот. Для всего этого дела теперь есть код в открытом доступе. Вот репа (заходим в директорию torchscale/model и наслаждаемся)
НО ЭТО ТОЖЕ ЕЩЕ НЕ ВСЕ. Также в начале декабря они зарелизели LongVIT, который представляет из себя такой же алгоритм, только картинка будет разделена на патчи (скрин 4), что и представит последовательность (код можно найти в той же репе, но директория examples/longvit)
🖥 Еще раз. Код весь туть
Звучит круто, на деле механизм следующий: будем делить последовательность на сегменты, а внутри еще на уровень разреженности (ну типо как sparse attention). Посмотреть визуализацию можно на скрине 2.
Но это еще не все. Это дело все можно распараллелить на гпушки следующим образом: возьмем длину последовательности, разделим объем последовательность на сегменты, количество которых равно количеству карт. Дальше на каждой карте будут свои матрицы Q, K, V. Но объеденим далее мы в одну только матрицы K, V, а Q будет на каждой карте своя в итоговой формуле. (Скрин 3)
Так вот. Для всего этого дела теперь есть код в открытом доступе. Вот репа (заходим в директорию torchscale/model и наслаждаемся)
НО ЭТО ТОЖЕ ЕЩЕ НЕ ВСЕ. Также в начале декабря они зарелизели LongVIT, который представляет из себя такой же алгоритм, только картинка будет разделена на патчи (скрин 4), что и представит последовательность (код можно найти в той же репе, но директория examples/longvit)
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14❤4❤🔥2
Подбор недвижимости на RAGах.
Вайб выходного дня.
До чего техника дошла. Увидел на сайте Я.недвижимость возможность в бетке подбирать квартиры и тп. с помощью LLM.
На самом деле, сразу прикинул, а как? Что там под капотом.
Гипотеза, как это работает:
1. Вы вводите критерии подбора квартиры, на естественном языке конечно, хотя саджесты тоже в сервисе наблюдаются.
2. Далее запрос в виде критериев летит уверен в базу знаний, где каждый объект тоже описан на Я.стественном языке. Тут тоже предполагаю, что всё же или шаблонами заранее собрали или далее шаблоны вкинули в LLM, чтобы она их переписала в более естественный стиль.
3. Далее врубается RAG, который по такому запросу и БД выдаёт топК кандидатов в LLM. А она их реранжирует уже исходя из запроса пользователя, там же есть критерии.
Получается, вот такой сервис распознавания интентов, где намерение это приобрести недвигу с заданными параметрами: расположение, класс жилья, комнатность и тп.
До чего LLM-техника дошла!
UPD. А итить ей ещё теперь в такое же ток с картинками, прям взял загрузил ещё планировочки какие хотел бы, текст описания. Ух, мультимодалочка!
Вайб выходного дня.
До чего техника дошла. Увидел на сайте Я.недвижимость возможность в бетке подбирать квартиры и тп. с помощью LLM.
На самом деле, сразу прикинул, а как? Что там под капотом.
Гипотеза, как это работает:
1. Вы вводите критерии подбора квартиры, на естественном языке конечно, хотя саджесты тоже в сервисе наблюдаются.
2. Далее запрос в виде критериев летит уверен в базу знаний, где каждый объект тоже описан на Я.стественном языке. Тут тоже предполагаю, что всё же или шаблонами заранее собрали или далее шаблоны вкинули в LLM, чтобы она их переписала в более естественный стиль.
3. Далее врубается RAG, который по такому запросу и БД выдаёт топК кандидатов в LLM. А она их реранжирует уже исходя из запроса пользователя, там же есть критерии.
Получается, вот такой сервис распознавания интентов, где намерение это приобрести недвигу с заданными параметрами: расположение, класс жилья, комнатность и тп.
До чего LLM-техника дошла!
UPD. А итить ей ещё теперь в такое же ток с картинками, прям взял загрузил ещё планировочки какие хотел бы, текст описания. Ух, мультимодалочка!
👍35❤5
Творчество юзеров нашего детища.
RuElectra-small идёт в массы.
Спасибо за скрин @japanesefarmer
UPD. Мы тут ещё баловались с @chckdskeasfsd. Делали обрезку и облегчение этой же модельки.
См. тут.
RuElectra-small идёт в массы.
Спасибо за скрин @japanesefarmer
UPD. Мы тут ещё баловались с @chckdskeasfsd. Делали обрезку и облегчение этой же модельки.
См. тут.
❤9🔥3🤩1
Dealer.AI
Творчество юзеров нашего детища. RuElectra-small идёт в массы. Спасибо за скрин @japanesefarmer UPD. Мы тут ещё баловались с @chckdskeasfsd. Делали обрезку и облегчение этой же модельки. См. тут.
Метрики обрезки
P/S ruTiny модели это дистилляты крутых sentence энкодеров, поэтому если хотите догнать их, используйте их пайп с нашей small electra
P/S ruTiny модели это дистилляты крутых sentence энкодеров, поэтому если хотите догнать их, используйте их пайп с нашей small electra
👍5
Лучший подарок в следующем году, свой Mixture of experts based LLM.
А что вы ждёте от следующего года?)
За картинос спасибо @bogdanisssimo
А что вы ждёте от следующего года?)
За картинос спасибо @bogdanisssimo
❤18👍3😁1
Forwarded from Boosters.pro
hh.ru приглашает принять участие в их втором ML-чемпионате, участникам предлагается решить задачу Sequential рекомендаций, а именно: по последовательности событий внутри пользовательских сессий предсказать вакансию, на которую пользователь откликнется в своей следующей сессии.
Надеюсь, что мы скрасим ваши новогодние каникулы. Всех с наступающим!
https://boosters.pro/championship/hh_recsys/
Надеюсь, что мы скрасим ваши новогодние каникулы. Всех с наступающим!
https://boosters.pro/championship/hh_recsys/
🥴14🔥6🤡1
Forwarded from grokaem себя (Milana)
#grokaem_собес #grokaem_nlp
Я собрала 100 вопросов по NLP, которые мне задавали или задавала я. Надеюсь, что они будут полезны, чтобы освежить в памяти важные моменты.
*Notion будет пополняться*
Notion русская версия
В составлении вопросов помогали:
ds girl
канал Плюшевый Питон
Alexander Babiy
канал что-то на DL-ском
канал Dealer.AI
канал алиса олеговна
Часть вопросов:
8. Объясните разницу между косинусной близостью и косинусным расстоянием. Какое из этих значений может быть негативным? Как вы будете их использовать?
21. Что такое negative sampling и зачем он нужен?
30. Что такое затухающие градиенты для RNN?
41. Что используется в трансформере layer norm или batch norm и почему?
55. Объясните подходы для позициональных эмбеддингов и их плюсы и минусы.
75. В чем отличие оптимизатора Adam от AdamW?
86. Объясните концепции metric learning. Какие подходы вам известны?
88. Объясните виды sampling при генерации? top-k, top-p, nucleus sampling?
92. В чем отличие prefix tuning от p-tuning и от prompt tuning?
98. Объясните принцип работы KV cache, Grouped-Query Attention и MultiQuery Attention.
Я собрала 100 вопросов по NLP, которые мне задавали или задавала я. Надеюсь, что они будут полезны, чтобы освежить в памяти важные моменты.
*Notion будет пополняться*
Notion русская версия
В составлении вопросов помогали:
ds girl
канал Плюшевый Питон
Alexander Babiy
канал что-то на DL-ском
канал Dealer.AI
канал алиса олеговна
Часть вопросов:
8. Объясните разницу между косинусной близостью и косинусным расстоянием. Какое из этих значений может быть негативным? Как вы будете их использовать?
21. Что такое negative sampling и зачем он нужен?
30. Что такое затухающие градиенты для RNN?
41. Что используется в трансформере layer norm или batch norm и почему?
55. Объясните подходы для позициональных эмбеддингов и их плюсы и минусы.
75. В чем отличие оптимизатора Adam от AdamW?
86. Объясните концепции metric learning. Какие подходы вам известны?
88. Объясните виды sampling при генерации? top-k, top-p, nucleus sampling?
92. В чем отличие prefix tuning от p-tuning и от prompt tuning?
98. Объясните принцип работы KV cache, Grouped-Query Attention и MultiQuery Attention.
dynamic-epoch-4bb on Notion
100 questions about NLP | Notion
Один из кайфовых отработанных навыков - это задавать вопросы. Не знать ответ - это не плохо, плохо даже не загуглить.
👍41⚡5🔥4❤2
👆Поддержим Милану и скажем спасибо другим коллегам по цеху!
P. S. Кому-то этот notion не даст покоя ни на каникулах ни в НГ:) Stay tuned! 🦾🕺🎅🎄
P. S. Кому-то этот notion не даст покоя ни на каникулах ни в НГ:) Stay tuned! 🦾🕺🎅🎄
❤19
Дорогие подписчики, в уходящем 2023г. было много всего: открытие этого канала, сложные вызовы, горечь потерь и радость открытий. Я желаю Вам в новом году: мира, добра, новых достижений и будьте здоровы!
Впереди нас ждёт ещё больше исследований, знаний и технологических вызовов!
С Новым годом! 🦾🤖🎄
Впереди нас ждёт ещё больше исследований, знаний и технологических вызовов!
С Новым годом! 🦾🤖🎄
👏24👍3❤2🤗2