— До Таллина далеко?
— Теперь далеко!

#корпжиза

Несмотря на то что в Грязном Гарри снято пять частей, самая полезная и атмосферная первая.

В ней показан идеальный диалог с тимлидом:

Диалог с лейтенантом (тим лидом, TL):
— TL: Ты неплохо сработал, шеф был доволен!
— Да ну
— TL: Велел сказать тебе «well done!»
— Не могу передать как я тронут
— TL: Я передаю тебе похвалу, мог бы быть повежливее. Еще никто не умер от того, что сказал спасибо.
— Скажу спасибо когда мне оклад повысят (В оригинале «I’d much rather say thanks to a raise»)

мне даже добавить нечего, шедевр!

Таки сделали запись тренировки, которую вел Александр Геннадиевич Дьяконов! Еще раз огромное ему спасибо!

#корпжиза

Карьерные трэки бывают достаточно извилисты и иногда можно обнаружить в кресле большого начальника человека, очень далекого от специфики самой работы.

Диалог Гарри и самодовольного подловатого капитана полиции (далее М) из третьего фильма про Грязного Гарри:

— Это все, капитан? Мне нужно идти работать
— М: Но не в отделе убийств
— Что?!
— М: Тебя переводят в кадры (HR)!
— Да это ж для одних говнюков!
— М *встает*: Я 10 лет работал в отделе кадров!
— Да…

Здесь стоит вспомнить мудрость царя Соломона «и это пройдет» и порадоваться что такое длится обычно недолго.

PS: Выражение лица Клинта Иствуда когда его перевели в кадры — бесценно

Теперь когда будут спрашивать что такое brand safety — буду показывать это фото

Во вторник в 6 вечера думаю послушать парней , кажется , что будет интересно. И да , у Саши Абрамова DealerAi тайтл таки поменялся — эх, упустил Сбер парня 🤷‍♂️

Ребята из Летово не согласились что Unlearning в рекомах — нерешенная задача, и даже прислали небольшой обзор, ну а поскольку я обещал им обзор посмотреть, разобрать и дополнить , то сделаю это публично, с обсуждением. Велком!

Unlearning в рекомендашках завтра

Ребята, завтра в 18 поговорим на вебинаре с Никитой Зелинским директором по машинному обучению и исследованию данных в MTS Web Services про рекомендательные системы, а точнее про:

Unlearning в рекомендашках — постараемся вместе разобраться о чем речь, куда удалось продвинуться и почему до нашей индустрии это пока не докатилось.

Подпишитесь кстати на его канал — очень крутой, там про жесткий DS в корпах @datarascals

Ссылка на трансляцию будет у нас в канале, а напоминалку можете добавить в календарь: https://calendar.app.google/7rrdX5SmZgeXcqdRA

Итак, обзор за авторством ребят из школы Летово

и обзор, который совершенно случайно 🤣 вышел на той неделе в IEEE Transactions on Knowledge and Data Engineering (правда препринт доступен еще с декабря) — ну что ж, обсудим, заодно захватим бенчмарки и попробуем понять что опять академики делают не так (хотя после массовых LOO-валидаций в статьях на RecSys уже удивляться не стоит)

🚀 Ребята из ИнженеркаТех специально для канала Дата канальи дарят эксклюзивный промокод DATA, который дает -15% к скидкам на все курсы дополнительно до конца октября!

Сейчас самое время, чтобы прокачать свои навыки и освоить новый стек.

Симулятор Data Warehouse на базе dbt. Научитесь работать с dbt Core и освоите DataOps практики, каталог данных и data lineage. Решай реальные задачи в интерактивном тренажере → Начать в демо-доступе

💚 Кстати, они перевели всю документацию dbt на русский язык! Теперь она доступна бесплатно для всех: https://docs.getdbt.tech/

Теранежр Dagster + Apache Nifi ETL-разработка и оркестрация данных. Стройте современные data pipeline с одним из самых популярных инструментов на рынке → Начать в демо доступе

Тренажер DLT — Python ETL Забудьте про костыли в пайплайнах. Загружайте данные из API, ClickHouse, S3 за 5-10 строк кода. Встроенная интеграция с Dagster. От ноутбука до продакшена → Получить доступ со скидкой

Демо-доступ есть у большинства курсов, чтобы сначала попробовать, а потом уже решить

🎁 Промокод DATA действует до 28 февраля.

ООО “Инженеркатех” ИНН ИНН: 9715483673 erid: 2Vtzqv127pQ

#корпжиза

Почему "не тех" бизнес часто не очень настроен к ML? В смысле признает необходимость и полезность, но не видит основным драйвером выручки?

Меня однажды это сильно фрустрировало — как так, зарабатываем миллиарды рублей на моделях, а к DS как к функции отношение скорее покровительственно-снисходительное, а не как к партнерам по бизнесу.

Хотя CIR DS-функции в крупном бизнесе может быть и менее 1% (cost to income ratio — отношение затрат к доходу), эти эффекты, в основном:
⁃ Достигаются улучшением существующих процессов (ex: улучшили качество лидогенерации, ценообразование), в тч сокращением костов (удержание сотрудников например) — но это все «и так работает» и аффектит выручку всего бизнеса максимум процентов на 10, после нескольких лет внедрений — причем низковисящие фрукты собирают за год-два (получая основной прирост), а дальше рутинная кропотливая работа с десятками и сотнями неудачных А/Б
⁃ Иногда ML и правда выступает enabler’ом — например, для запуска BNPL (рассрочки), но и здесь эффект будет сосредоточен в оценке риска а не экспоненциальном росте выручки продукта.

А чего бы бизнес вообще хотел?

В идеале что-то вроде такого (с поправкой на то что это все же dark pattern), то есть конструкцию:

◦ с практически нулевыми костами (ООО Престо, о которой речь в статье — 2 чел, 10 тыс уставного капитала и 12.5 млрд выручки ) 
◦ имеющую сильное конкурентное преимущество (например, законно обходит регуляцию)
◦ хорошо масштабируемую даже самозапрет на кредит не помеха)
◦ супер-маржинальную (85% годовых намекает)
◦ понятное и хитрое, без этой ваше заумной математики и A/B

Вот кстати, более полное расследование от того же автора

Dark patterns не специфика именно WB:
«Amazon fined in Poland for dark pattern design tricks»
и еще «The dark pattern that cost Amazon $2.5 billion»
или SHEIN, да много можно найти — не только про интерфейс, но и про алгоритмы ценообраования в доставке еды и многое другое.

Мой вывод в итоге для себя простой — делать понятные интересные вещи, не пытаясь соревноваться с бизнесом в создании денег из воздуха.

#кейсы

Нынче популярны плтатформы а-ля «RAG из коробки», «Агент за три дня»
Очередные стартаперы пришли ровно с этой идеей — в питче голосовой агент по кнопке, мол синтез решен, turn detection 99,(9)%, гибрид промтов, гардрейлов и вызовов RAG, супер-пупер инновационный способ разработки — drugndrop на максималках, latency готового агента в миллисекундах.

Пошли в пилот — выдали ресурсов, данные, скрипты, помогли с интеграцией.

Проходит пара недель — нерабочий прототип.
Еще пара недель — агенты зависают, начинают выдавать диалоги ДРУГИХ явно клиентов из другой предметной области.
Почему так? -- пацанский ответ:

мы думали вам быстро, а не вау!

Что внутри?

Царь-промпт на полмиллиона токенов, ASR и NLU — на регэкспах, словарь опечаток текстовым файликом

#оффтоп

31 год развития GEN AI одной картинкой 😄


PS

Ссылка на оригинальную игру на веб-архиве

PPS

Когда искал запись известной речи Мартина Лютера Кинга "I have a dream" как образец ораторского мастерства, вспомнил что кроме arxiv.org со статейками по ML есть еще и archive.org, залип

#кейсы

Про офисную политику

В третьей части Грязного Гарри есть момент когда полицейский спецназ толпой захватил группу пацифистов, подозревая их в терроризме.
А потом шеф полиции (тот самый, который 10 лет в кадрах) предложил публично наградить Гарри и его напарницу — потому как это укрепит позиции мэра на выборах.

Как?

Ну как же, при поддержке мэра в полиции появились женщины-оперативники — и сразу крутой результат!

Что характерно, взяли не тех, и это достаточно быстро всплыло.

А теперь собственно аналогичная история.
Данным-давно один из топов городской структуры решил подняться на теме DS/ML и создал «центр анализа данных», через достаточно жесткий фильтр туда классных набрали ребят (с частью до сих пор дружим, многие очень хорошо выросли по карьере и разъехались по миру), большинство было студентами еще.

И как всегда с новыми инициативами — надо показывать квиквины (quick wins) — быстрые результаты 😄.

Поэтому уже на второй неделе работы я и пара других тим лидов докладывали о достаточно наивных «файндингах» в данных московскому замминистру, через 2 месяца — министру, еще через 4-5 — министру другого министерства.

Дело шло к подготовке большой презентации мэру где нужно было поразить его воображение насколько дата-анализ полезен городу, уже даже дату согласовали.

И тут во всем городе отхлебывает ЕМИАС — медицинская система, данные из которой (топ-1 наш источник данных, но были еще) мы уже больше чем полгода «анализировали».

Это прям серьезный форс-мажор, шеф висит на волоске — и вот он собирает нас всех (человек 30) и закрывает на трое суток — ищите мол где ошибка, что сломалось — вы же умные.

По фильму можно было догадаться что было дальше

Проблему нашел штатный, нераспиаренный, но очень синьорный аналитик из той компании, которая систему и разрабатывала (он кстати и проектировал схему данных для нее).

Через трое суток ЕМИАС заработал, а для нас это стало очень хорошим отрезвлением — кто мы и что реально можем, и почему шеф нас так пиарил и водил по кабинетам.