Всем привет!
Меня зовут Артем (@matfu21). Я работаю в AI VK и занимаюсь исследованиями в рекомендациях под руководством Александра Дьяконова.
До этого я работал в Яндексе и лидил небольшую RnD команду, которая отвечала за pre-train OneRec-like моделей, занимался внедрениями рекомендательных трансформеров в сервисы Яндекса ARGUS и другими прикладными исследованиями Talk.
За последнее время у меня появилось несколько статей с первым авторством, по которым можно понять, чем примерно я занимаюсь:
- SIGIR’26: Gated Bidirectional Linear Attention for Generative Retrieval
- KDD’26: Session-Level Optimization for Large-Scale Retrieval using REINFORCE with Multi-Step Off-Policy Correction
В канале буду писать про все, что мне интересно. В основном это рекомендательные системы и персонализация: разборы статей, подборки, примеры кода и т.д.
Меня зовут Артем (@matfu21). Я работаю в AI VK и занимаюсь исследованиями в рекомендациях под руководством Александра Дьяконова.
До этого я работал в Яндексе и лидил небольшую RnD команду, которая отвечала за pre-train OneRec-like моделей, занимался внедрениями рекомендательных трансформеров в сервисы Яндекса ARGUS и другими прикладными исследованиями Talk.
За последнее время у меня появилось несколько статей с первым авторством, по которым можно понять, чем примерно я занимаюсь:
- SIGIR’26: Gated Bidirectional Linear Attention for Generative Retrieval
- KDD’26: Session-Level Optimization for Large-Scale Retrieval using REINFORCE with Multi-Step Off-Policy Correction
В канале буду писать про все, что мне интересно. В основном это рекомендательные системы и персонализация: разборы статей, подборки, примеры кода и т.д.
❤🔥7🔥6❤4
Поговорил с Jiangxia Cao из Kuaishou OneRec Team на SIGIR’26
Признаю, я давний фанат Kuaishou. Это люди, которые внедряют много всего в прод и с невероятной скоростью. При этом еще и успевают писать про это статьи.
На конференции SIGIR’26 мне удалось пообщаться с Jiangxia Cao, одним из ключевых разработчиков в OneRec Team из Kuaishou. У него более 1800 цитирований, он является соавтором таких работ, как OneReason, Kwai Summary Attention, QARM, OpenOneRec и еще многих других. Отдельно хочу отметить его отзывчивость и позитивность.
У меня к нему было много вопросов, но задал я лишь маленькую часть. Несколькими решил с вами поделиться.
* Сейчас происходит активное интегрирование LLM в рекомендательные системы. Какие вы с командой видите наиболее перспективные направления?
Они верят в три способа, как можно внедрять LLM в платформу с рекомендациями коротких видео:
1. Как generative retrieval на semantic ids, то есть как дополнительный источник кандидатов. Понятный способ, активно внедряют к себе многие крупные ребята. Здесь как раз примерами служат такие работы, как OneReason от Kuaishou или PLUM от DeepMind.
2. Как “агента”, который может замешивать разные кандидатогенераторы (кандгены). Будто вызов каждого источника кандидатов — это свой tool call. Необычный способ, раньше про такой не слышал. Jiangxia сказал, что у них может быть до 200 кандгенов. И нужно как-то адаптивно под запрос пользователя выбирать подмножество из них. После этого выходы именно этих выбранных кандгенов и будут ранжироваться последующими моделями в стеке. То есть LLM в некотором смысле выполняет роль Mixigen.
3. Как инструмент, через который можно управлять бесконечной лентой рекомендаций через текст. Мы открыли ВК Клипы, и он на их примере показал, как это выглядит. Если человек, например, 5 раз подряд быстро пролистал клипы, то появляется текстовое окно. В него ты можешь вписать, какой контент ты хочешь видеть в ленте. И лента подстраивается под тебя. Если ты ставишь дизлайк на клип, то вылезает еще одно окно, в которое ты вписываешь, что тебе не понравилось. Такая фича в Kuaishou появляется уже через месяц! Большой шаг в сторону controllable и unbiased рекомендаций.
* В вашем текущем OneRec Technical Report после генерации кандидатов генеративной моделью есть еще доотбор Reward-моделью. А вы не думали о том, чтобы от этой стадии доотбора избавиться?
Здесь он сказал, что через месяц как раз выходит статья про это. Но отдельно подчеркнул, что в коротких видео их основная рекомендательная система состоит из четырех стадий, в которой OneRec заменяет только первые две.
* Как вам удается писать так много статей? У вас на это есть специальные KPI, и вас хвалят за статьи на ревью?
Сказал, что они работают с понедельника по пятницу в обычном режиме. Их KPI — это растить продуктовые метрики. А по выходным уже пишут статьи в свое удовольствие.Получается, 9-9-6 — это обман, у ребят пятидневка.
Дальше мы много говорили про OneReason. Это большой техрепорт от ребят на 110 страниц. Сделаю про него отдельный разбор на канале, уж очень масштабная работа. И уже там расскажу подробности.
И еще несколько интересных фактов:
* Послушали вместе мою волну в Яндекс Музыке.У меня пошел русский рэп. Он попросил включить погромче, и ему прям зашло.
* Он знает про работу ребят из Яндекса — Gryphon: A Unified Architecture for Semantic-ID Generation and Item-Level Scoring in Industrial Recommendations. Сказал, что они ее там все вместе читали.
Признаю, я давний фанат Kuaishou. Это люди, которые внедряют много всего в прод и с невероятной скоростью. При этом еще и успевают писать про это статьи.
На конференции SIGIR’26 мне удалось пообщаться с Jiangxia Cao, одним из ключевых разработчиков в OneRec Team из Kuaishou. У него более 1800 цитирований, он является соавтором таких работ, как OneReason, Kwai Summary Attention, QARM, OpenOneRec и еще многих других. Отдельно хочу отметить его отзывчивость и позитивность.
У меня к нему было много вопросов, но задал я лишь маленькую часть. Несколькими решил с вами поделиться.
* Сейчас происходит активное интегрирование LLM в рекомендательные системы. Какие вы с командой видите наиболее перспективные направления?
Они верят в три способа, как можно внедрять LLM в платформу с рекомендациями коротких видео:
1. Как generative retrieval на semantic ids, то есть как дополнительный источник кандидатов. Понятный способ, активно внедряют к себе многие крупные ребята. Здесь как раз примерами служат такие работы, как OneReason от Kuaishou или PLUM от DeepMind.
2. Как “агента”, который может замешивать разные кандидатогенераторы (кандгены). Будто вызов каждого источника кандидатов — это свой tool call. Необычный способ, раньше про такой не слышал. Jiangxia сказал, что у них может быть до 200 кандгенов. И нужно как-то адаптивно под запрос пользователя выбирать подмножество из них. После этого выходы именно этих выбранных кандгенов и будут ранжироваться последующими моделями в стеке. То есть LLM в некотором смысле выполняет роль Mixigen.
3. Как инструмент, через который можно управлять бесконечной лентой рекомендаций через текст. Мы открыли ВК Клипы, и он на их примере показал, как это выглядит. Если человек, например, 5 раз подряд быстро пролистал клипы, то появляется текстовое окно. В него ты можешь вписать, какой контент ты хочешь видеть в ленте. И лента подстраивается под тебя. Если ты ставишь дизлайк на клип, то вылезает еще одно окно, в которое ты вписываешь, что тебе не понравилось. Такая фича в Kuaishou появляется уже через месяц! Большой шаг в сторону controllable и unbiased рекомендаций.
* В вашем текущем OneRec Technical Report после генерации кандидатов генеративной моделью есть еще доотбор Reward-моделью. А вы не думали о том, чтобы от этой стадии доотбора избавиться?
Здесь он сказал, что через месяц как раз выходит статья про это. Но отдельно подчеркнул, что в коротких видео их основная рекомендательная система состоит из четырех стадий, в которой OneRec заменяет только первые две.
* Как вам удается писать так много статей? У вас на это есть специальные KPI, и вас хвалят за статьи на ревью?
Сказал, что они работают с понедельника по пятницу в обычном режиме. Их KPI — это растить продуктовые метрики. А по выходным уже пишут статьи в свое удовольствие.
Дальше мы много говорили про OneReason. Это большой техрепорт от ребят на 110 страниц. Сделаю про него отдельный разбор на канале, уж очень масштабная работа. И уже там расскажу подробности.
И еще несколько интересных фактов:
* Послушали вместе мою волну в Яндекс Музыке.
* Он знает про работу ребят из Яндекса — Gryphon: A Unified Architecture for Semantic-ID Generation and Item-Level Scoring in Industrial Recommendations. Сказал, что они ее там все вместе читали.
🔥22❤8❤🔥7👌1
IR конференции
Перед тем как переходить к постам про статьи и конференции, хочу дать небольшой контекст уважаемым подписчикам.
Есть такой раздел на arXiv, который называется Information Retrieval. Все статьи про рекомендации, поиск и рекламу лежат именно здесь (но не только они, e.g. RAG).
Обычно эти статьи с шести конференций ниже. Чтобы названия для вас не выглядели как набор случайных букв, прикладываю рядом известную работу с каждой из конференций.
* KDD (A*) — Graph Convolutional Neural Networks for Web-Scale Recommender Systems
* RecSys (A) — Sampling-bias-corrected neural modeling for large corpus item recommendations
* WWW (A*) — Mixed Negative Sampling for Learning Two-tower Neural Networks in Recommendations
* SIGIR (A*) — LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation
* WSDM (A) — Top-K Off-Policy Correction for a REINFORCE Recommender System
* CIKM (A) — BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer
Иногда что-то крутое проскакивает на ICML (A*) — Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations, NeurIPS (A*) — Recommender Systems with Generative Retrieval, или вообще лежит pre-print-ом на arXiv — PLUM: Adapting Pre-trained Language Models for Industrial-scale Generative Recommendations.
Сразу оговорюсь, что это субъективный список. Он построен на основе конференций, которые я встречаю в статьях. И у меня определенно есть байес к статьям из индустрии.
Вместе с ИИ-стажером мы составили диаграмму, я постарался ее верифицировать. На ней можно сравнить IR-конференции по числу участников и статей в proceeding-ах (так называется сборник трудов конференции, e.g. SIGIR’25). KDD для меня всегда ощущалась самой крупной из них, так оно и оказалось. Все познается в сравнении, поэтому рядом добавил NeurIPS и ICML.
SIGIR — это одна из крупных A*-конференций, одного масштаба с тем же RecSys-ом. На прошлой неделе презентовал нашу работу на ней. В следующих постах расскажу про работу и общие впечатления от конференции.
P.S. А за дедлайнами recsys-конференций можно следить здесь: https://recsys.info
Перед тем как переходить к постам про статьи и конференции, хочу дать небольшой контекст уважаемым подписчикам.
Есть такой раздел на arXiv, который называется Information Retrieval. Все статьи про рекомендации, поиск и рекламу лежат именно здесь (но не только они, e.g. RAG).
Обычно эти статьи с шести конференций ниже. Чтобы названия для вас не выглядели как набор случайных букв, прикладываю рядом известную работу с каждой из конференций.
* KDD (A*) — Graph Convolutional Neural Networks for Web-Scale Recommender Systems
* RecSys (A) — Sampling-bias-corrected neural modeling for large corpus item recommendations
* WWW (A*) — Mixed Negative Sampling for Learning Two-tower Neural Networks in Recommendations
* SIGIR (A*) — LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation
* WSDM (A) — Top-K Off-Policy Correction for a REINFORCE Recommender System
* CIKM (A) — BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer
Иногда что-то крутое проскакивает на ICML (A*) — Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations, NeurIPS (A*) — Recommender Systems with Generative Retrieval, или вообще лежит pre-print-ом на arXiv — PLUM: Adapting Pre-trained Language Models for Industrial-scale Generative Recommendations.
Сразу оговорюсь, что это субъективный список. Он построен на основе конференций, которые я встречаю в статьях. И у меня определенно есть байес к статьям из индустрии.
Вместе с ИИ-стажером мы составили диаграмму, я постарался ее верифицировать. На ней можно сравнить IR-конференции по числу участников и статей в proceeding-ах (так называется сборник трудов конференции, e.g. SIGIR’25). KDD для меня всегда ощущалась самой крупной из них, так оно и оказалось. Все познается в сравнении, поэтому рядом добавил NeurIPS и ICML.
SIGIR — это одна из крупных A*-конференций, одного масштаба с тем же RecSys-ом. На прошлой неделе презентовал нашу работу на ней. В следующих постах расскажу про работу и общие впечатления от конференции.
P.S. А за дедлайнами recsys-конференций можно следить здесь: https://recsys.info
1🔥14❤8👍6
SIGIR’26 🇦🇺
На прошлой неделе подошел к концу SIGIR’26, который проходил в Мельбурне! Как и обещал, делюсь краткими впечатлениями от конференции.
Для меня это была вторая международная конференция после RecSys’25, но при этом отличие было сильное. Я ехал сюда как первый автор, поэтому делал постер и рассказывал про нашу работу.
Постер был для статьи Gated Bidirectional Linear Attention for Generative Retrieval. Подробнее расскажу в следующем посте.
Самыми интересными для меня были постерные сессии. На каждой из них находил несколько работ, которые были полезны и авторов которых активно расспрашивал.
Однако могу выделить и две тематические сессии, идеи из которых меня зацепили:
* Reasoning for Recommendation
В последнее время я думал, как правильно делать test-time scaling для рекомендательных трансформеров. Если мы говорим про специализированные модели, которые работают только с пространством item-ов, то в них не построишь осмысленные CoT. Открыл для себя latent reasoning. Работа с конференции: Factorized Latent Reasoning for LLM-based Recommendation. Первые работы в рекомендациях и LLM: Think Before Recommend: Unleashing the Latent Reasoning Power for Sequential Recommendation, Training Large Language Models to Reason in a Continuous Latent Space.
* Industry 1
Здесь меня зацепила тема conversational search. Это расширение классического поиска: вместо одиночного запроса — диалог с сохранением контекста, уточняющими вопросами и связным ответом, а не списком ссылок. Было две хороших работы от Amazon и JD.com про построение и оптимизацию large-scale агентов для похожих задач: Building a Production Shopping Agent at Scale, Probe-then-Plan: Environment-Aware Planning for Industrial E-commerce Search.
А еще к конференции было привязано соревнование от Kuaishou — LLM-Rec Challenge. Прикольная задача на LLM x RecSys про рекомендации, сохранение general text knowledge и понимание item-ов по semantic ids одной моделью. Еще и с большим призовым фондом.
P.S. Двенадцать Апостолов — место не с этой планеты (последнее фото). Если будете в окрестностях Мельбурна, обязательно посетите!
На прошлой неделе подошел к концу SIGIR’26, который проходил в Мельбурне! Как и обещал, делюсь краткими впечатлениями от конференции.
Для меня это была вторая международная конференция после RecSys’25, но при этом отличие было сильное. Я ехал сюда как первый автор, поэтому делал постер и рассказывал про нашу работу.
Постер был для статьи Gated Bidirectional Linear Attention for Generative Retrieval. Подробнее расскажу в следующем посте.
Самыми интересными для меня были постерные сессии. На каждой из них находил несколько работ, которые были полезны и авторов которых активно расспрашивал.
Однако могу выделить и две тематические сессии, идеи из которых меня зацепили:
* Reasoning for Recommendation
В последнее время я думал, как правильно делать test-time scaling для рекомендательных трансформеров. Если мы говорим про специализированные модели, которые работают только с пространством item-ов, то в них не построишь осмысленные CoT. Открыл для себя latent reasoning. Работа с конференции: Factorized Latent Reasoning for LLM-based Recommendation. Первые работы в рекомендациях и LLM: Think Before Recommend: Unleashing the Latent Reasoning Power for Sequential Recommendation, Training Large Language Models to Reason in a Continuous Latent Space.
* Industry 1
Здесь меня зацепила тема conversational search. Это расширение классического поиска: вместо одиночного запроса — диалог с сохранением контекста, уточняющими вопросами и связным ответом, а не списком ссылок. Было две хороших работы от Amazon и JD.com про построение и оптимизацию large-scale агентов для похожих задач: Building a Production Shopping Agent at Scale, Probe-then-Plan: Environment-Aware Planning for Industrial E-commerce Search.
А еще к конференции было привязано соревнование от Kuaishou — LLM-Rec Challenge. Прикольная задача на LLM x RecSys про рекомендации, сохранение general text knowledge и понимание item-ов по semantic ids одной моделью. Еще и с большим призовым фондом.
P.S. Двенадцать Апостолов — место не с этой планеты (последнее фото). Если будете в окрестностях Мельбурна, обязательно посетите!
🔥15❤5
Написал подробный пост на Хабре про нашу статью, принятую на воркшоп KDD 2026. Кому интересен RL в рекомендациях, рекомендую глянуть!
❤5👍4🔥2🤯1
Forwarded from AI VK Hub
Большинство современных рекомендательных моделей решает локальную задачу — предсказать следующее взаимодействие или следующий положительный фидбэк. Мы сформулировали задачу как RL на уровне сессии и обучили кандидатогенератор через off-policy REINFORCE на логах.
На индустриальных данных такая модель выигрывает у next-item и next-positive prediction по всем оценкам награды за сессию, сохраняя качество кандидатогенерации по recall-метрикам.
#aivkhub #ml #recsys
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7🤔1
Давно хотел попробовать себя в роли репортера, и вдруг появилась возможность. Мне кажется получилось КРУТО! Зацените)
🔥10❤🔥1💯1
Forwarded from AI VK Hub
Media is too big
VIEW IN TELEGRAM
Репортаж с KDD 2026 ⬆️
На прошлой неделе команда AI VK Research участвовала в KDD 2026 — одной из ключевых мировых ML-конференций. Наши ребята представили результаты двух своих исследований, посвящённых развитию рекомендательных систем.
Что обсуждали на KDD, какие тренды появились и как прошла презентация работ команды, рассказывает старший исследователь AI VK Research Артём Матвеев🎬
Подробнее об исследованиях
➡️ Session-Level Optimization for Large-Scale Retrieval using REINFORCE with Multi-Step Off-Policy Correction
🟣 Обзор статьи
➡️ Planning over Matrix-Factorization MDPs for Candidate Generation
🟣 Обзор статьи
#aivkhub #конференция #kdd #recsys #репортаж
На прошлой неделе команда AI VK Research участвовала в KDD 2026 — одной из ключевых мировых ML-конференций. Наши ребята представили результаты двух своих исследований, посвящённых развитию рекомендательных систем.
Что обсуждали на KDD, какие тренды появились и как прошла презентация работ команды, рассказывает старший исследователь AI VK Research Артём Матвеев
Подробнее об исследованиях
#aivkhub #конференция #kdd #recsys #репортаж
Please open Telegram to view this post
VIEW IN TELEGRAM
❤11🔥5❤🔥1
Плагин для vim mode в Zotero
Моя история. Много лет назад я подсел на Obsidian для ведения заметок, чтения статей и планирования. Всё было хорошо, пока мне не показали Zotero, в котором на порядок удобнее работать со статьями: быстрое сохранение статей с arXiv, в pdf-ке со статьёй можно делать записи от руки apple pencil-ом, удобное выделение текста и продуманный механизм комментариев к этим выделениям, еще и приложение на iPad. После этого все статьи я перенёс в Zotero, а заметки продолжил писать в Obsidian, потому что текстовые заметки в Zotero для меня были сильно менее удобными.
Но мне очень не нравилось, что от одного приложения пришлось перейти сразу к двум. Хотелось иметь всё в одном месте. Поэтому я попробовал сделать обратный переход в Obsidian, перенёс туда часть статей. Но смириться с тем, что работа с pdf там гораздо хуже, не смог.
Дальше я спросил себя, а чего именно мне не хватает в текстовых заметках Zotero, и понял — vim mode-а, уж слишком я к нему привык. Но его поддержки от команды Zotero будто и не планируется.
Тогда я решил напрячь своего верного друга Opus-а, чтобы он написал мне такой плагин для Zotero. Первые версии работали так себе, было много багов. Тогда я решил впервые попробовать следующую схему. Без каких-либо доп. плагинов попросить claude вызывать codex для review самого себя, исправлять все замечания, потом опять вызывать codex — и так до сходимости.
И всё отлично заработало! Так на свет появился zotero-vim-note. Кто пользуется Zotero и, как я, давно ждал vim mode — можете затестить!
P.S. Поддержка только под Zotero 10+, не гарантирую, что у вас заработает, но у меня всё супер! Доволен!
Моя история. Много лет назад я подсел на Obsidian для ведения заметок, чтения статей и планирования. Всё было хорошо, пока мне не показали Zotero, в котором на порядок удобнее работать со статьями: быстрое сохранение статей с arXiv, в pdf-ке со статьёй можно делать записи от руки apple pencil-ом, удобное выделение текста и продуманный механизм комментариев к этим выделениям, еще и приложение на iPad. После этого все статьи я перенёс в Zotero, а заметки продолжил писать в Obsidian, потому что текстовые заметки в Zotero для меня были сильно менее удобными.
Но мне очень не нравилось, что от одного приложения пришлось перейти сразу к двум. Хотелось иметь всё в одном месте. Поэтому я попробовал сделать обратный переход в Obsidian, перенёс туда часть статей. Но смириться с тем, что работа с pdf там гораздо хуже, не смог.
Дальше я спросил себя, а чего именно мне не хватает в текстовых заметках Zotero, и понял — vim mode-а, уж слишком я к нему привык. Но его поддержки от команды Zotero будто и не планируется.
Тогда я решил напрячь своего верного друга Opus-а, чтобы он написал мне такой плагин для Zotero. Первые версии работали так себе, было много багов. Тогда я решил впервые попробовать следующую схему. Без каких-либо доп. плагинов попросить claude вызывать codex для review самого себя, исправлять все замечания, потом опять вызывать codex — и так до сходимости.
И всё отлично заработало! Так на свет появился zotero-vim-note. Кто пользуется Zotero и, как я, давно ждал vim mode — можете затестить!
P.S. Поддержка только под Zotero 10+, не гарантирую, что у вас заработает, но у меня всё супер! Доволен!
🔥7👍5❤2🥰1💅1
