Спойлер 👀

Ждем сегодня подробного поста про статью от первого автора (со ссылкой на архив конечно же) 🦄

Заодно познакомлю вас с ее каналом -- интрига 👻

#кейсы #ML

Меня часто спрашивают сколько займет по времени вырасти от джуна до синьора / лида.

Обычно я в пример привожу Дашу
В начале 22го она пришла к нам джуном (кстати взяв 4е место в нашей сореве)

Несколько месяцев она уже лидит RnD-группу нейросетевых рекомендаций в МТС \ MWS.

Но на этом она не останавливается — не так уж и сложно было ее убедить опубликовать свои идеи в статье на RecSys’25, что стоило не только новогодних и майских праздников, а еще и много нервов 🙃.

А на днях Даша еще и канал завела — не стесняйтесь подписываться!

PS
ссылочка любителям сюжетов про быстрый рост 😃

"eSASRec: Enhancing Transformer-based Recommendations in a Modular Fashion»

Нашу статью приняли на ACM RecSys 2025! (arxiv).
Совместная работа с Никитой Зелинским, Сашей Петровым, исследователями из МТС (и экс-МТС), а также с Андреем Савченко.

В работе мы представляем модульный взгляд на классические трансформерные бейзлайны в RecSys и ищем наиболее эффективную архитектуру (собранную по принципу лего), которая показывает хорошее качество в самых разных сетапах - от привычной LOO валидации на небольших академических датасетах до парето-оптимальности (в рамках NDCG / Beyond-Accuracy качества) на тайм сплите. Финальная связка - которую мы назвали eSASRec - получилась из «Shifted Sequence" задачи обучения (как в SASRec), LiGR архитектуры слоёв трансформера (как в продовой модели LinkedIn из «From Features to Transformers…») и Sampled Softmax лосса (тут без сюрпризов, хотя стоит сказать, что gBCE был очень близок по качеству, но не всегда быстро сходился).

На самом деле, в рамках этой достаточно долгой работы (первые экспы начались больше чем полгода назад) мы отвечали и на более широкий спектр вопросов. В академии есть свой заданный «порядок» для написания статей, и мы не могли добавить никаких выводов сверх основного фокуса работы. Так что вот основные официальные выводы статьи: есть обновленный SASRec, и он хорош во всех сетапах, в которых мы его тестили. Например, он даёт взрывные +23% от качества ActionPiece и TIGER в академических бенчмарках. А ещё в терминах парето-оптимальности он держит качество на уровне HSTU и FuXi, хотя в отличие от последних не использует таймстемпы ни в истории пользователей, ни при формировании рекомендаций. Ещё eSASRec максимально просто имплементировать и он не имеет проблем с масштабированием (тут спасибо LinkedIn за архитектуру). И мы открываем доступ к нашим имплементациям и коду бенчмарков.

А теперь - что в статью не вошло, и о чём можно было бы подискутировать).

Лично для меня помимо определения современного бейзлайна самым интересным был вопрос - можно ли верить SOTA клеймам на основе академических RecSys датасетов?

Я отвечу для начала очень простым примером из наших результатов: классическая LOO валидация на самых популярных датасетах Амазона показала, что давно известный вариант SASRec+SS без каких-либо обновлений уже давал те самые +23% к качеству ActionPiece и TIGER. Просто никто этот вариант на данных датасетах в качестве бейзлайна не заводил. А завели вариант BCE, 1 негатив, имплементация RecBole, 5 лет назад - и с тех пор только копипастили из статьи в статью. Значит ли это, что SASRec+SS такая уж «SOTA» рядом с TIGER?

По моим ощущениям (мы же дискутируем?), результаты на Amazon Beauty/Sports/Toys в целом не то чтобы отражали реальную полезность моделей - они явно отдают предпочтение более простым архитектурам. Например, оптимальные гипер-параметры там: 1 слой трансформера, 1 голова, количество факторов 64. А ещё HSTU и FuXi на этих датасетах тоже ощутимо «проигрывают» старенькому SASRec+SS. Хотя на Мувиленсе - уже ощутимо “выигрывают”.

Про тайм сплит и beyond-accuracy: мы в статье отмечаем эффективность моделей индикаторами Парето-оптимальности. Это позволяет хоть немного делать выводы о результатах архитектур между разными датасетами (пока нет общепринятого академического подхода для оценки степени трейд-оффа точности и “персонализации”). Наши выводы - что есть архитектуры, которые оставались Парето-оптимальными на всех тестовых датасетах (например, HSTU и eSASRec). Но даже между ними нельзя сказать заранее, какая модель окажется выше по NDCG, а какая - выше по Coverage, всё сильно зависит от данных. Не самый утешительный вывод в ML, где мы привыкли к "вот это State-of-the-Art - и ." Зато честный.

Спасибо всем, с кем мы вместе сделали эту работу ❤️

#ML

Пока придумывал броские заголовки постов для сл недели, наткнулся на бесплатный завтрак (в оригинале Free Lunch), который-таки приняли на SIGIR'25 (топовая конфа, кажется A*):

InfoNCE is a Free Lunch for
Semantically guided Graph Contrastive Learning

PS: речь об отсылке к No free lunch theorem

🧀😆

#корпжиза

Увидел в канале Юры классный пост, с которым сложно не согласиться. Вот только в комментах заметили один маленький нюанс в посте -- чел, который добился выдающегося успеха в своем деле, реализуя принцип "никогда не спорь с заказчиком", не нашел время обследоваться и умер молодым от не выявленного вовремя заболевания. Успех в могилу, увы, не унесешь. А про клиентов вспомнился бородатый анекдот:

Христос как-то решил снова спуститься на землю и помочь страждущим, принял образ участкового терапевта и сел на прием. Заезжает к нему старушка на инвалидной коляске, с одышкой, еле жизнь теплится. Он коснулся ее за руку и исцелил. Выходит старушка в коридор, без одышки, на своих ногах, а там ее очередь давай расспрашивать:
- ну как тебе, как новый врач-то?
- да такой же как все они, сопляк безграмотный, даже давление не померил!

Как вы думаете, надо всегда идти навстречу клиентам? Или вы сразу оговариваете свои границы и объем возможного зазора?

#ML

Весной 2015 меня отчислили из ШАД Яндекса, а с классной работы — Яндекс.Терра — пришлось уйти из-за постоянных мигреней.
Но все что ни делается — делается к лучшему, и после забавного конкурса (1500 заявок на 30 стульев) в несколько этапов взяли в создающийся с нуля Центр анализа данных московского ДИТа (а по прописке - ДЗМ), где аналитиком я проработал всего неделю, а через неделю уже выступал с презентацией перед зам. министра ИТ Москвы, откуда вернулся уже лидом. Одним из самых злободневных проектов была проблема маршрутизации онкологических пациентов, и здесь, спасибо Мише Матвиенко, работа меня свела с Ильей, который после работы районным онкологом пораскинул мозгами и пошел менять мир вокруг.

И это у него получается — уже тогда он создал Высшую школу онкологии, Фонд профилактики рака, проект «Просто спросить» , потом была онкоклиника «Луч» и многое-многое другое. В каких-то проектах я даже чуть-чуть поучаствовал.

Почему у него получается? Мой ответ — потому что умеет видеть перспективы, он визионер.
Поэтому я ни разу не удивился когда увидел его очередной пост.

Всего год назад я читал статью Google Deep Mind о том что модели работает по точности как терапевты, а по уровню эмпатии — вдвое приятнее человека (здесь вспомнилась топ-цитата от хирурга-канальи Шадури: на вопрос "какую операцию из описанных вами лучше сделать?", ответ был -- "это зависит от ваших финансовых возможностей" -- хотя операция там вообще оказалась не нужна) и кривился — выборка для теста у них маленькая , меньше тысячи кейсов, методология описана плохо итд и тп. Меня угораздило сослаться на эту статью в панели на юбилее в Сколково в том году — один молодой дерзкий врач пытался затеять драку после панели 🤣

А сейчас смотрю — уже и сами врачи нашли как применять LLM, разобрались без нас ☹️

PS: рекомендую не только пост, но и сам канал Ильи

#ML

Дима все же выложил свои слайды о рекомендациях треков в Звуке

#кейсы

Сегодня оффтоп

Когда болею развлечения у меня странные

Вот Макс запускает LLM на калькуляторе (правда с 16 Gb оперативы) и у него классно получается

Я же смотрел рекламу, и среди рекламы курсов про то как «Войти в элиту Промпт-инжиниринга» попался такой мега-проект в лучших традициях МММ

Мол, вложись в гостиницы — и будет тебе счастье, доходность 44%
А если денег нет — не беда, мы тебе сами беспроцентный кредит на 6 мес дадим -- так толсто что даже тонко 🤣🤣🤣🤣🤣🤣🤣

В подвале страницы координаты:

Индивидуальный предприниматель Мурыгин Александр Иванович
ИНН: 503199439647

Неужели настолько все в открытую? 🤔

Первой же ссылкой находим больше десятка судебных дел, в тч о невозвращенных кредитах

Особенно понравилось такое:

Допрошенный в суде Мурыгин А.И. вину не признал, с протоколом не согласился, пояснил, что он общественный порядок не нарушал, нецензурной бранью не выражался, он шел к кассе автовокзала,, нес в руках пиво и печенье в кармане, к нему подошли сотрудники полиции и задержали его. Перед этим он выпил со знакомым одну бутылку водки, просил строго не наказывать.
Мы

же не будем делать выводы о человеке и его предприятии по таким невинным шалостям? 😃

В конце концов

Отсутствие судимости у вашего делового партнера свидетельствует о его низкой активности в бизнесе.

#ML

Если с утра поиграть с бананом, то кончится это альтернативной аватаркой для канала. Такая вот дата-каналья

#кейсы #корпжиза

Если кто-то задается вопросом, почему в гос ВУЗах программы по ИТ/ИИ редко соответствуют потребностям индустрии (разве что крупная компания делала факультет / программу совместно с ВУЗом) — ниже ответ.

Итак, гос ведомство Х решило привлечь отраслевых экспертов к ревью программ ВУЗов, так вышло что я в этом пуле оказался.

Но чтобы приступить к работе надо было подписать договор как с самозанятым — формально «чтобы получить оплату», в высшей степени символическую.
Чтобы не возиться с бумажками я естественно предложил перевести свое участие на общественные начала — дело-то благое, инициатива светлая.

Но нет, оказалось нельзя 👿.

А теперь выдержки из договора (который конечно отказались менять):

3.7. В случае невыдачи чека, указанного в пункте 3.5 Договора, Исполнитель обязуется выплатить Заказчику

штраф в размере 30%

от каждой суммы, на которую не был выдан чек.

3.9. При возникновении убытков, вызванных невыполнением Исполнителем пункта 3.5 и пункта 3.8 Договора, Исполнитель обязуется

возместить Заказчику убытки,

если таковые у Заказчика будут иметь место.

4.1. Исполнитель обязан оказать Заказчику услуги в соответствии с Договором, по результатам чего составить и подписать акт сдачи-приемки и отчет об оказанных услугах и передать их Заказчику.
4.2. После оказания услуг Исполнитель в течение 5 (пяти) рабочих дней направляет Заказчику подписанные со своей стороны оригиналы акта сдачи-приемки и отчета об оказанных услугах на бумажном носителе.
4.3. Приемка оказанных в соответствии с Договором услуг осуществляется путем подписания Заказчиком оригиналов акта сдачи-приемки оказанных услуг и отчета об оказанных услугах на

бумажном носителе

в течение 10 (десяти) рабочих дней со дня их оказания.

5.1. В случае просрочки оказания услуг более чем на 5 (пять) рабочих дней, как отдельных этапов услуг (если таковые предусмотрены), так и оказания услуг в целом по вине Исполнителя, а также в каждом случае нарушения условий Договора Заказчик вправе удержать из стоимости просроченной услуги по соответствующему Запросу неустойку

в размере 1% за каждый день просрочки.


5.2. В каждом случае нарушения Исполнителем какого-либо из обязательств, оговоренных в разделе 6 Договора, Заказчик имеет право взыскать с Исполнителя весь доход, полученный Исполнителем в результате такого нарушения, а
также все убытки

, причиненные Заказчику в результате такого нарушения.

5.3. В случае просрочки оплаты услуг более чем на 15 (пятнадцать) рабочих дней по вине Заказчика Исполнитель вправе потребовать взыскания неустойки в размере 0,01% за каждый день такой просрочки от стоимости услуг.

6.2. За нарушение Исполнителем пункта 6.1. Договора Заказчик вправе требовать
от Исполнителя выплаты
штрафа в размере 100 000 (ста тысяч) рублей за каждый случай нарушения

.

9.3. Заказчик вправе в любой момент отказаться от исполнения Договора.

Фактически понесенные расходы Исполнителем при этом Заказчиком не оплачиваются.

Исполнитель вправе отказаться от исполнения обязательств по Договору

при условии полного возмещения Заказчику убытков,

предварительно письменно уведомив Заказчика не позднее, чем за 7 (семь) календарных дней до даты расторжения.

Так вот, если у вас возникают вопросы почему в рядовом региональном ВУЗе программы по ИТ именно такие — ревьюли их те, кто подписывал такой вот договор.

Я даже его кабальным назвать не могу -- он хуже договора о полной капитуляции, он рассчитан видимо либо на тех, кто не владеет грамотой, либо убежденных фанатов BDSM.

PS: естественно, такое я подписывать не стал

Кто знает что это ?)

пока собираю кейс для поста вам полуночное равенство

#корпжиза

Тенденция (к)липового потребления информации стала раем для каналий-верхоглядов.

Эти господа на совещаниях (а в худшем варианте когда у вас такой руководитель — на 1:1) пропускают мимо ушей содержательные вопросы / результаты / достижения , зато в почти случайный момент X могут выдать что-то в духе — а почему вы не попробовали сеть XYZ? Как не попробовали? Она же уже два дня как вышла? Самый топ!

Признавайтесь, у всех же были такие неловкие моменты — когда вы разбирали до кода и до строчки новую оригинальную статью, вы пропустили сотни новых броских заголовков (из которых 99% чистый маркетинг — а вот, компания AAA внедрила XYZ и огого!) и тут вы оказались обезоружены — на фоне «up-to-date» информированного верхогляда вы в глазах топов какой-то динозавр.

Что же делать? Каналы друзей-MLE наполнены обзорами классных статей и DS/AI-новостями, понятными только в вашем же кругу.

Как же бить каналий-верхоглядов их же оружием?

Против верхоглядов безотказно работает тот же лайфхак что и для рассказчиков бесконечных несмешных анекдотов — с середины продолжать анекдот за рассказчика.

Только верхогляд спешит козырнуть новостью «из мира AI», вы ее с середины продолжаете с уточнением что уже все проверили / попробовали / подумали / сравнили с другими решениями / связались с разработчиками.

Придется правда следить за отраслью в части кейсов и новых фичей — получать дайджест, который вы сможете пересказать CEO, и он даже больше половины поймет (для любого CEO, которого дергают в 100500 направлений, это прям много).

Я для себя нашел такой дайджест, в котором сблалансированы бизнес-кейсы/ маркетинг / идеи статей — в AI-сводке.

Забирайте, дарю

#ML

Эту книжку я стрельнул у друга и, как матерая каналья, «зачитал» 👺.

Мы давно экспериментируем с RL в рекламной вертикали для закупки траффика в DSP, что-то даже в проде 🤖.

А чтобы такие как я не «зачитывали» чужие книги, Дима Фролов, который это направление у нас лидировал, собрал репо со статьями про RL в real-time прайсинге рекламы.

А заодно с кусочком данных, симуляцией RTB-аукциона и реализацией десятка биддинговых агентов.

Думаю, будет полезно тем, кто занимается прайсингом.

Ну а тем кто только начинает знакомство c RL от души рекомендую курс

PS: звездочки на гитхабе приветсвуются 🤗

#кейсы #корпжиза

история 100% в духе каналий

Как оно бывает, когда биг босс говорит, что у компании миллионы клиентов

Лет 10 назад одна компания, продававшая и подключавшая (в числе прочих услуг) iptv приставки, захотела потеснить Mediascope на рынке измерения телевизионной рекламы. Медиаскоп, на секундочку, это многолетний монополист, по которому в мире тв-рекламы меряют всех: от завалящих региональных канальчиков до «Первого канала».

Гендиректор этого продавца iptv серьезно заявлял: «у нас есть 2 миллиона приставок, а у Медиаскопа всего десяток тысяч панелистов, мы сделаем инструмент намного лучше». Для реализации амбициозного проекта позвали умных программистов из топовой Российской айти компании, потому что ГД компании-продавца iptv дружил с ГД айтишников и заранее ударил с ним по рукам, что делать будут вместе.

Когда два биг босса договорились, подчиненным остается брать под козырек и приступать к неохотному, но неизбежному исполнению. Но стоило дискуссии спуститься на один уровень иерархии ниже, оказалось, что приставок все же 200 тысяч. Ну напутал босс, бывает. Однако подчиненные ГД это тоже не тот уровень, чтобы данные отгрузить, поэтому диалог делегировали и еще ниже. Оказалось, что там все в шоке, что приставок 200к, ведь 20к было всего! В конечном счете до айтишников вместо обещанных миллионов дошло 12 тысяч (даже с зарплатой и то разрыв обещаний и факта не так драматичен), но самое веселое выяснилось в конце. Оказалось, что из 12 тысяч приставок только по 2 тысячам есть данные о составе домохозяйства (кто живет-то в квартире), причем в некоторых случаях в одну квартиру были записаны 50 и более человек.

Когда вы станете биг боссом (если еще не), обязательно помните, что числа, принесенные вам менеджером в отчете, могут быть реально на порядок выше чисел, которые он сам получил от своих подчиненных. И чем выше вы в иерархии, тем более беспросветное вранье к вам иногда приносят. Это очень грустный эффект, потому что как следствие он приводит к инфляции реальных достижений - в них тоже перестают верить, а разбираться становится лень, когда 9 из 10 утверждений об успехах сформулированы с большой натяжкой, творческим додумыванием, "правильным" способом подсчета и умелым стоянием рядом в нужное время в нужном месте.

P.S.: Медиаскоп по-прежнему стандарт измерения тв-рекламы, а ГД из истории по слухам успешно устроил свою жизнь в счастье вдали от Родины. Еще и до того, как его объявили в розыск. Как-никак матёрый был менеджер.

#ML

Сегодня полезное -- нашел на просторах линка хорошую подборку материалов по агентам, пошире чем наш курс (курс все же ограничен по времени)

#ML

Про вайбкодинг и непрограммистов

Пока корпорации и канальи в них пытаются высчитать какую экономию принесет внедрение всяких cursor-стайл надстроек к IDE и вколачивающие их гвоздями в виде KPI (слыхал про KPI в виде "30% кода подразделения должна быть навайбкожена" — каков заход, а?), а в панелях спорят кому же оно нужнее — джунам, мидлам, синьорам или продактам, обнаружил что в сети полно вполне себе коммерчески успешных проектов, логика которых помещается в пять строчек кода и 10 строк конфига.

Бытовая задача — сохранить видео с YouTube.
Вот они, успешные сервисы :

https://en1.savefrom.net/1-youtube-video-downloader-8jH/
https://vidfly.ai/youtube-video-downloader/ # домен-то каков!
и чуть более цивилизованные вроде https://www.clipto.com/ru/media-downloader/youtube-downloader

А вот что выдаст ChatGPT после пары попыток:

%pip install imageio-ffmpeg -q
%pip install yt-dlp -q

from yt_dlp import YoutubeDL
import imageio_ffmpeg as ffmpeg

url = "https://youtube.com/shorts/-2mpzwJKhGk?si=fcQnzYrQWVXO4tNJ"

ydl_opts = {
    "ffmpeg_location": ffmpeg.get_ffmpeg_exe(),
    "outtmpl": r"/Downloads/%(title)s.%(ext)s",  
    "quiet": False,             
    "noplaylist": True,          
    "cookiesfrombrowser": ("chrome", "Default"), 
    "outtmpl": "%(title)s.%(ext)s",
    "format": "bv*[vcodec^=avc1][ext=mp4]+ba[acodec^=mp4a][ext=m4a]/b[ext=mp4]",
    "prefer_free_formats": False,              
    "merge_output_format": "mp4",
    "postprocessor_args": ["-movflags", "+faststart"],
}

with YoutubeDL(ydl_opts) as ydl:
    ydl.download([url])   

Риторический вопрос — что будет с ушлыми сервисами когда далекие от ИТ люди это поймут и начнут активно пользовать?

Или провайдеры GPT-лайк сервисов встроят у себя минимальную возможность выполнения скриптов и оборачивать результаты таких запросов в агенты ?

проснулся в 2017м и увидел незнакомое слово

#корпжиза

в чем сила типажей -- сложно встретить 100% совпадение, но легко найти 5-10-20-30% совпадений у себя 🤔