OneRec-V2 Technical Report
https://arxiv.org/pdf/2508.20900

Парни публикую техрепорты быстрее, чем я успеваю писать на них разборы 🗿

- Обновленная архитектура: 8b (!) dense decoder-only (но в прод снова выкатывают 1b)
- Обновленная процедура алайнмента
- Прирост поверх v1 сопоставим с приростом v1 относительно каскадной системы
- Профит от скейлинга на 4b -> 8b уже не особо уменьшает претрейновый лосс

Про нестабильности в обучении
(мемчик из внутреннего чата от Влада Тыцкого)

Недавно мы взялись написть архетип - библиотечный класс нашей генеративной модели. После лёгкого рефакторинга обучение начало "взрываться" (кто бы мог подумать).

Что мы обычно используем для стабилизации:
- Gradient clipping
- Лоссы и нелинейности - в fp32
- Learning rate warmup и аккуратный подбор пикового значения
- Pre-norm
- QK-нормализацию

До сих пор не используем, но в LLM применяют:
- AdamW
- Очистку датасета от "плохих" батчей
- Отключение bias
- RMSNorm вместо LayerNorm

Конкретно в этом случае не спасало вообще ничего. Локализовать проблему помогло только отслеживание std (!) активаций на разных слоях.

Дебаг занял недели, а фикс ровно 1 строку кода.

Написал разбор свежей статьи от Alibaba о фундаментальных моделях. Эта тема меня очень интересует, хотя подход, основанный на ручных признаках, не тот, который мы используем в своей работе.

Обязательно подпишитесь на Рекомендательную: там публикуются разборы актуальных статей, и очень часто их делают ребята из нашей команды.

Генеративные рекомендации III. Хайп и хаос

Меняя компанию, я успела походить по собесам в области RecSys DL, и в одной из секций всегда всплывали генеративные рекомендации. Тема сейчас настолько хайповая, что в терминологии полный хаос, который идёт к нам ещё из научных статей. Пара примеров понимания "генеративных рекомендаций" из статей 23-25 годов:

“The first generative recommendation system in the literature” – хочет назвать известная компания свою же прошлую архитектуру из “Actions…” (ICML'24). Сподвигает их к этому предложение "Generative Recommender", но их парадигма по сути только заменяет концепцию обучения с impression-based на авторегрессивную, не меняя ни задачи модели, ни способ инференса.

"In the paradigm of generative recommendation, the primary objective is to predict the next item a user is likely to interact with" - хочет написать Huawei в препринте этого года. И приписывает таким образом пальму первенства генеративных рекомендаций ванильному SASRec из 2019 года (а то и BERT4Rec из 2018). Мотивация Huawei понятна: они обновляют архитектуру трансформера для простой Shifted Sequence модели (как это делают FuX-α, HSTU, eSASRec и пр.), не меняя концепцию обучения или задачи инференса. Но подчеркнуть актуальность статьи нужно, “Generative” в название статьи добавить хочется, и потому возникает такой вот финт, причём применяется он сейчас в статьях часто. Под "Generative" в заголовке статьи 2024-25 года часто будет скрываться именно авторегрессивная постановка обучения, без концептуальных нововведений на уровне моделирования. Разве что каузальная маска внимания может быть чуть видоизменена под конкретную задачу, как в "Generative Rankers" из моего прошлого поста.

“We propose a generative Next-K strategy, where recommendations are generated item-by-item” – пишет Саша Петров с соавтором в "Generative Sequential Recommendation..." (SIGIR’23). Тут реализуется простая идея: айтем, сгенерированный авторегрессивной моделью, можно подставить в последовательность и продолжить генерировать рекомендации дальше. Помимо жадной генерации есть и другие стратегии. Интуитивно очень понятный подход, и тут он «генеративный» уже в прямом смысле слова, без оговорок. Но хайпует сейчас другое.

“We propose a new paradigm ... Instead of traditional query-candidate matching approaches, our method uses an end-to-end generative model that predicts the candidate IDs directly.” – пишет Google в статье про TIGER (NeurIPS’23). TIGER использует полноценную энкодер-декодер архитектуру и обучается генерировать один следующий айтем (состоящий из набора иерархических semantic ids) для пользователя с заданной историей (в которой также каждый айтем представлен как набор semantic ids). Результаты на публичных датасетах у этой модели легко бьются простым SASRec с gBCE или SS лоссом, но важно далеко не это. Открывается целое направление в RecSys ресёрче:

“We propose OneRec, which replaces the cascaded learning framework with a unified generative model. This is the first end-to-end generative model” - пишут KuaiShou в препринте OneRec (2025). В данном случае одна модель заменяет собой все стадии индустриальных рекомендательных пайплайнов от кандидато-генерации до ранжирования. Прямая генерация айтемов по семантическим айди повторяет идею TIGER, так что в первом приближении модель относится к кандидато-генерации ("Generative Retrieval"). Но использование RL подходов в серии статей “One…” от KuaiShou
позволяет моделям дообучаться на максимизацию приносимого ими профита. По сути, это инкорпорация сразу и ранжирующего сигнала (конверсии в целевые действия - на которые учатся ранжирующие модели), и даже более общего экономического сигнала сразу в единую модель. Что в идеальном мире позволяет ей быть end-to-end генеративным рекомендательным движком, затюненным на полезность в сервисе. Так что законно задаёмся вопросом – не это ли RecSys будущего?

Про серию “One…” можно почитать хардовые разборы у Коли Савушкина из Яндекса и поучаствовать в ближайших ридинг группах VK.

Подпишитесь на канал Даши Тихонович, если интересно читать про актуальные рекомендательные технологии.

А ещё прочитайте eSASRec, где Даша - первый автор. Достойная работа, которая принята на RecSys ’25!

Oral от Саши на RecSys 🔥

PML

Выступаю завтра на PML с рассказом про опыт внедрения генеративных моделей в нашу экосистему. Постарался подготовить очень практический материал, который можно будет применить в вашей компании. Должно быть полезно, даже если у вас нет большого числа видеокарт и намерения строить end2end генеративные рекомендации.

Оффлайн билетов уже нет, но можно посмотреть трансляцию:
https://pmlconf.yandex.ru/2025/

Презентация с сегодняшнего выступления

Всем спасибо, кто дошел, было приятно видеть полный зал!

Yandex Cup

Пока я немного погряз в работе и запусках (надеюсь очень скоро будет, чем поделиться в канал), напишу здесь про Yandex Cup. В этом году пересобрали ML трек, задачи должны стать интереснее, а финал пройдет в Стамбуле.

Если интересно попробовать свои силы, еще остается несколько дней на регистрацию:
https://yandex.ru/cup

CIKM'25

В этом году я решил не ехать на RecSys, зато лечу на CIKM в Сеул. Не все слышали про эту конференцию, хотя на ней публикуются очень многие хорошие работы.

В программе этого года самые интересные (на мой взгляд) работы от Pinterest (TransAct V2 и PinRec), несколько работ от команды OneRec из Kuaishou (например QARM про способ токенизации и Pantheon, который они используют в качестве reward модели), а также end2end генеративная рекламная система от Meituan (самой большой доставки еды в мире).

Постараюсь привезти какие-нибудь инсайты, которыми поделюсь в канале.

CIKM'25 recap

Для меня это первый опыт поездки на CIKM и надо сказать, что конференция показалась мне в разы более полезной, чем RecSys. У обеих нет статуса A*, но CIKM отличается более лайтовым ревью работ. Например там нет ограничений на публикацию статьи до самой конфы. Казалось бы, такой подход должен привести к негативному отбору, но по факту на конференцию привозят большое количество отличных индустриальных и прикладных работ, которые не прошли по критериям научности в другие места.

Несколько заметок на полях по результатам поездки:

1. Тренд на Target Aware архитектуры в ранжировании
Компании переходят от классических deep ranker архитектур, основанных на feature interaction, к моделям с использованием раннего связывания с историей пользователя (InterFormer, RankMixer, MTGR, TransAct V2).

Общая идея:
- Используем сырую историю событий как вход в модель
- В attention нужно подставить как историю, так и самого кандидата (в виде одного или нескольких токенов)
- Сохраняются классические ручные признаки

Тренд появился не вчера, но все ещё не стихает. Мы в Яндексе тоже внедряем такие модели. На PML'25 как раз был доклад об этом от Пети Зайделя из команды Музыки.

2. Конкуренция на китайском рынке рекомендательных систем
По статьям прослеживается, насколько китайский рынок конкурентен. Как минимум 3 популярные платформы коротких видео (Douyin, Kuaishou, Weixin Channels) и 2 крупных ecom сервиса (Meituan и Taobao) привезли свои работы.

Кроме того, на CIKM приехали ребята из NetEase Cloud Music - 2й по популярности платформы музыкального стриминга в Китае. Говорят, что читают наши статьи и активно пользуются датасетом, попросили сфотографироваться 🙂
Доклады у них кстати тоже были неплохие: Climber про target-aware transformer и работа про semantic ids.

Ещё один интересный инсайт про конкуренцию: компании скрывают настоящих авторов своих работ, чтобы тех не захантили конкуренты! Узнали мы это из приватного разговора в куллуарах 🙂

3. Тренд на end2end системы только набирает обороты
Я здесь много пишу про то, что мы верим в end2end генеративные рекомендтельные системы и строим такую у себя (поделюсь кстати в ближайшее время, как у нас с этим дела). Meituan привез на конференцию работу про свою реализацию - EGA v1. Несмотря на то, что работа выпущена весной этого года, из слайдов мы узнали, что АБ тест провели уже больше года назад! Надо догонять 🙂

На конференции были ребята из core команды OneRec. Удалось узнать у них много деталей, которых нет в статьях. Западные команды тоже вдохновились работой и пытаются нагнать. Говорят, основные сложности лежат в инфраструктуре. По нашему опыту это действительно непростая часть.

Ещё немного инсайдов:
- Pinterest не переобучают и не дообучают свой PinRec, хотя в модели используются item id. Очень неожиданно и даже странно
- PinnerFormer не используется как кандидат-генератор, только как фича в downstream моделях
- TransAct V2 переобучают раз в неделю, но со случайных весов
- Для построения semantic ids в OneRec использовали всего 200 GPU 🗿

ML Global Recap'25

Готовлю выступление на наш митап ML Global Recap. Расскажу там по-подробнее, как я вообще вижу текущие тренды в рекомендациях, куда идут разные компании и что рассказали на конференциях в этом году. По-подробнее расскажу, что было на RecSys (я на него не ездил, но от нашей команды была большая делегация) и на CIKM, добавлю каких-нибудь инсайдов.

Кроме меня выступит Лёша Гусаков, наш CTO, с рассказом про NeurlPS, а также лиды CV, NLP и Speech команд с рассказами про тренды в их областях. Должно быть интересно!

Презентацию скину в канал, но лучше приходите послушать лично. Пообщаемся после выступления в куллуарах 🙂

Ссылка на регистрацию

Подборка статей 2025 (часть 1)

Как и обещал, выкладываю подборку статей по темам, которые освещал на выступлении.

End2End
- OneRec: Unifying Retrieve and Rank with Generative Recommender and Iterative Preference Alignment
- OneRec Technical Report
- OneRec-V2 Technical Report
- OneLoc: Geo-Aware Generative Recommender Systems for Local Life Service
- OneSug: The Unified End-to-End Generative Framework for E-commerce Query Suggestion
- OneSearch: A Preliminary Exploration of the Unified End-to-End Generative Framework for E-commerce Search
- UniSearch: Rethinking Search System with a Unified Generative Architecture
- EGA-V1: Unifying Online Advertising with End-to-End Learning
- EGA-V2: An End-to-end Generative Framework for Industrial Advertising
- GPR: Towards a Generative Pre-trained One-Model Paradigm for Large-Scale Advertising Recommendation

LLM + RecSys
- PLUM: Adapting Pre-trained Language Models for Industrial-scale Generative Recommendations
- OneRec-Think: In-Text Reasoning for Generative Recommendation
- Align3GR: Unified Multi-Level Alignment for LLM-based Generative Recommendation
- GFlowGR: Fine-tuning Generative Recommendation Frameworks with Generative Flow Networks

Масштабирование
- LONGER: Scaling Up Long Sequence Modeling in Industrial Recommenders
- Scaling Generative Recommendations with Context Parallelism on Hierarchical Sequential Transducers
- Twin-Flow Generative Ranking Network for Recommendation
- InterFormer: Effective Heterogeneous Interaction Learning for Click-Through Rate Prediction
- MARM: Unlocking the Recommendation Cache Scaling-Law through Memory Augmentation and Scalable Complexity
- TBGRecall: A Generative Retrieval Model for E-commerce Recommendation Scenarios
- RankMixer: Scaling Up Ranking Models in Industrial Recommenders
- Climber: Toward Efficient Scaling Laws for Large Recommendation Models
- MTGR: Industrial-Scale Generative Recommendation Framework in Meituan
- Action is All You Need: Dual-Flow Generative Ranking Network for Recommendation
- Meta’s Generative Ads Model (GEM): The Central Brain Accelerating Ads Recommendation AI Innovation
- OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender
- Massive Memorization with Hundreds of Trillions of Parameters for Sequential Transducer Generative Recommenders
- From Features to Transformers: Redefining Ranking for Scalable Impact
- From Scaling to Structured Expressivity: Rethinking Transformers for CTR Prediction
- Scaling Transformers for Discriminative Recommendation via Generative Pretraining
- Meta Lattice: Model Space Redesign for Cost-Effective Industry-Scale Ads Recommendations

Подборка статей 2025 (часть 2)

Фундаментальные модели
- PinFM: Foundation Model for User Activity Sequences at a Billion-scale Visual Discovery Platform
- Large Foundation Model for Ads Recommendation
- Foundation Model for Personalized Recommendation
- Meta’s Generative Ads Model (GEM): The Central Brain Accelerating Ads Recommendation AI Innovation
- Realizing Scaling Laws in Recommender Systems: A Foundation–Expert Paradigm for Hyperscale Model Deployment
- External Large Foundation Model: How to Efficiently Serve Trillions of Parameters for Online Ads Recommendation
- Meta Lattice: Model Space Redesign for Cost-Effective Industry-Scale Ads Recommendations

Мультимодальность и Semantic Ids
- VL-CLIP: Enhancing Multimodal Recommendations via Visual Grounding and LLM-Augmented CLIP Embeddings
- Enhancing Embedding Representation Stability in Recommendation Systems with Semantic ID
- Progressive Semantic Residual Quantization for Multimodal-Joint Interest Modeling in Music Recommendation
- QARM: Quantitative Alignment Multi-Modal Recommendation at Kuaishou
- BiListing: Modality Alignment for listings
- DAS: Dual-Aligned Semantic IDs Empowered Industrial Recommender System
- Sparse Meets Dense: Unified Generative Recommendations with Cascaded Sparse-Dense Representations
- MOON Embedding: Multimodal Representation Learning for E-commerce Search Advertising
- MOON2.0: Dynamic Modality-balanced Multimodal Representation Learning for E-commerce Product Understanding
- LEMUR: Large scale End-to-end MUltimodal Recommendation
- STORE: Semantic Tokenization, Orthogonal Rotation and Efficient Attention for Scaling Up Ranking Models
- Multi-Aspect Cross-modal Quantization for Generative Recommendation
- Personalized Multi Modal Alignment Encoding for CTR-Recommendation in WeChat
- Generative Recommendation with Semantic IDs: A Practitioner’s Handbook
- CoFiRec: Coarse-to-Fine Tokenization for Generative Recommendation
- Generating Long Semantic IDs in Parallel for Recommendation
- A Simple Contrastive Framework Of Item Tokenization For Generative Recommendation
- Learnable Item Tokenization for Generative Recommendation
- SIDE: Semantic ID Embedding for effective learning from sequences
- ActionPiece: Contextually Tokenizing Action Sequences for Generative Recommendation

Подборка статей 2025 (часть 3)

Attention-based ranking
- LONGER: Scaling Up Long Sequence Modeling in Industrial Recommenders
- TransAct V2: Lifelong User Action Sequence Modeling on Pinterest Recommendation
- Twin-Flow Generative Ranking Network for Recommendation
- InterFormer: Effective Heterogeneous Interaction Learning for Click-Through Rate Prediction
- MARM: Unlocking the Recommendation Cache Scaling-Law through Memory Augmentation and Scalable Complexity
- GReF: A Unified Generative Framework for Efficient Reranking via Ordered Multi-token Prediction
- RankMixer: Scaling Up Ranking Models in Industrial Recommenders
- Climber: Toward Efficient Scaling Laws for Large Recommendation Models
- MTGR: Industrial-Scale Generative Recommendation Framework in Meituan
- Action is All You Need: Dual-Flow Generative Ranking Network for Recommendation
- Make It Long, Keep It Fast: End-to-End 10k-Sequence Modeling at Billion Scale on Douyin
- OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender
- Massive Memorization with Hundreds of Trillions of Parameters for Sequential Transducer Generative Recommenders
- Practice on Long Behavior Sequence Modeling in Tencent Advertising
- Pyramid Mixer: Multi-dimensional Multi-period Interest Modeling for Sequential Recommendation
- Adaptive Domain Scaling for Personalized Sequential Modeling in Recommenders
- From Features to Transformers: Redefining Ranking for Scalable Impact
- From Scaling to Structured Expressivity: Rethinking Transformers for CTR Prediction
- Meta Lattice: Model Space Redesign for Cost-Effective Industry-Scale Ads Recommendations

Non-Two-Tower retrieval
- Autoregressive Generative Retrieval for Industrial-Scae Recommendations at Pinterest
- MPFormer: Adaptive Framework for Industrial Multi-Task Personalized Sequential Retriever
- MISS: Multi-Modal Tree Indexing and Searching with Lifelong Sequential Behavior for Retrieval Recommendation
- Sparse Meets Dense: Unified Generative Recommendations with Cascaded Sparse-Dense Representations
- Bidding-Aware Retrieval for Multi-Stage Consistency in Online Advertising
- Equip Pre-ranking with Target Attention by Residual Quantization
- GRank: Towards Target-Aware and Streamlined Industrial Retrieval with a Generate-Rank Framework
- SilverTorch: A Unified Model-based System to Democratize Large-Scale Recommendation on GPUs
- DualGR: Generative Retrieval with Long and Short-Term Interests Modeling
- An Efficient Embedding Based Ad Retrieval with GPU-Powered Feature Interaction
- Hierarchical Structured Neural Network: Efficient Retrieval Scaling for Large Scale Recommendation

Пока у нас новый год и праздники, компании из Китая продолжают выкладывать очень интересные работы, так что выходные можно провести с пользой.

* OxygenREC: An Instruction-Following Generative Framework for E-commerce Recommendation

JD.com опубликовала работу про внедрение end2end генеративной рекомендательной системы в разные поврехности их маркетплейса. Результаты АБ-тестов впечатляют. Куча технических подробностей, мы в команде уже разбираем детали.

* OpenOneRec Technical Report

Kuaishou написали работу про объединение LLM и генеративной рекомендательной системы. Идейно статья похожа на OneRec-Think, однако в новой публикации делают не только претрейн, но и алайнмент. Кроме того, выкладывают в open source код обучения, датасеты и саму модель!