Интересное что-то
517 subscribers
2.72K photos
253 videos
138 files
4.52K links
Материалы и мысли, понадерганные отовсюду
Блог: https://t.me/asisakov_channel
Чат: https://t.me/youknowds_chat
Download Telegram
Forwarded from РИСЕРЧОШНАЯ
📱 СЕМЕЙСТВО GPT [1]

Кратко ➡️ Трансформеры преобразуют данные одновременно, а не поэтапно, как RNN. Они обычно обучаются как unsupervised, что позволяет находить больше паттернов без необходимости в разметке. Ключевой принцип — MDL, доказываемый через компрессию данных. Для повышения производительности моделей важно использовать большие и разнообразные наборы данных

Подробно ➡️ Конспект на notion

Видео ➡️ На канале Игоря Котенкова

#LLM #NLP #NOTION
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from РИСЕРЧОШНАЯ
📱 СЕМЕЙСТВО GPT [2]

Кратко ➡️ Токены и процесс Byte Pair Encoding (BPE) помогают эффективной токенизации. Генерализация улучшает обобщающую способность моделей с использованием принципа MDL. Важность представления слов и их значимости в NLP. Дополнительные ссылки на материалы по темам включены.

Подробно ➡️ Конспект на notion

Видео ➡️ На канале Игоря Котенкова

#LLM #NLP #NOTION
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from РИСЕРЧОШНАЯ
📱 БАЗОВЫЕ RECSYS МОДЕЛИ И ПОЗИЦИОННОЕ КОДИРОВАНИЕ В GPT

Кратко ➡️ (Alternating Least Squares) и KNN (K-Nearest Neighbors) — это базовые модели рекомендательных систем, которые стоит освоить. ALS эффективно работает с разреженными матрицами пользователь-товар, а KNN ищет ближайших соседей для рекомендаций. Так же обновлена страничка с Позиционным кодированием!

Подробно ➡️ Доступно по данной ссылке

#RECSYS #NOTION
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Александр
нашел очень красивые lecture notes: https://archives.leni.sh/stanford/CS224w.pdf
Forwarded from 🇻 🇱 🇦 🇩
Без видео
Есть слайды:
https://web.stanford.edu/class/cs224w/slides/07-theory2.pdf

И доп чтение (статьи)
1 Identity-aware Graph Neural Networks
https://arxiv.org/pdf/2101.10320
2 Graph Neural Networks are More Powerful than We Think
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10447704
3 Counting Graph Substructures with Graph Neural Networks
https://openreview.net/pdf?id=qaJxPhkYtD
4 Position-aware Graph Neural Networks
https://arxiv.org/pdf/1906.04817