Убираем снег в пост-индустриальной цивилизации

Москву и Подмосковье завалило снегом (рекорд за последние пол века). Мне посчастливилось в это время оказаться в деревне, где если ты сам его не почистишь, то через пару дней окажешься забаррикадированным в своем доме до весны. Так что ноги в руки (точнее лопату в руки) и вперед чистить.

У whoop, к слову, чистка снега - это одна из доступных активностей, и судя по зафиксированным показателям нагрузки - не самая легкая. Набил дневную норму strain, помахав сорок минут лопатой на свежем воздухе.

Но главное, что я для себя вынес - это то, что пост-индустриальная цивилизация украла у нас осмысленный физический труд. И эта мысль многое расставила на свои места. Меня всю сознательную жизнь преследует парадокс: я очень люблю физические нагрузки, но при этом не могу нормально втиснуть спорт в свою рутину. После короткого медового месяца с очередным плаванием/бегом/лыжами/etc, спорт по-английски, не прощаясь выскальзывает из моего расписания.

Ведь в какой-то момент уже невозможно игнорировать вопрос «а куда ты, собственно, бежишь/плывешь/скачешь в присядку»? Стоишь в пробке из-за перекрытого садового кольца смотришь на всех этих спортсменов и особенно остро понимаешь, что куда бы эти прекрасные люди не бежали, прибегут они туда же откуда начинали - бегут то по кругу. Ясно, что есть много рационально звучащих ответов: «здоровье, энергия, подтянутость, хорошее настроение» звучат разумно, но не слишком конкретно: это что то что случится потом, а прямо сейчас ты тратишь сорок минут на дорогу, парковку, переодевалку, чтобы перебирать ногами в душном помещении на беговой дорожке, глядя на медленно меняющиеся циферки.

Я как-то обходил эту проблему и раньше: ну там делаешь пробежку до дальней кофейни, где берешь кофе. Или идешь в дальний поход чтобы там развести костер и посидеть. В общем старался найти хоть какую-то самую захудалую цель.

Со снегом все по-другому: не уберешь - будет беда. В такой постановке у меня ноль проблем с мотивацией. Более того: вижу с утра что снег идет: уже в приятном предвкушении полезной тяжелой работы. Сейчас перечитываю Анну Каренину, и там Левин (читай, аватар самого Толстого) понял ровно ту же истину и кайфует от сенокоса. Потому что здоровое тело просит нагрузки, а разум смыслов. И тягать гири выглядит как плацебо для меня.

А теперь давайте представим следующий шаг: когда большие языковые модели лишат нас здоровой мотивации качать мозги. Даже представлять не хочется, верно?

Что с этим всем делать? Если честно, решительно непонятно.
(Фото кошки для бОльшей художественности прилагается)

Большие стройки (или как мы строили профессию ИИ-тренеров в Т)

Наша культура учит нас, что все масштабное и важное рождается через искру гениальности, жертву и подвиг. Причем как массовое искусство, так и серьезные художники (новелла «колокол» из страстей по Андрею Рублеву, к примеру). Хотя если посмотреть на реальность, то там чаще побеждает невзрачный кропотливый труд, искренняя любознательность и фокус на цели.

Я тут недавно осознал, что развивая LLM в Т, я как-то незаметно для самого себя выстроил в компании новую профессию: ИИ-тренера (несколько сотен человек). Попроси меня сейчас провернуть что то подобное - я в ужасе убегу, а там как-то оно шаг за шагом и построилось. И если смотреть на шаги отдельно, то не так уж оно и страшно:

1. Цель
Наверное самое главное, что цель у меня была максимально конкретная и измеримая: наши LLM должны были в короткий срок обогнать по качеству ChatGPT в одном из продуктов (был 23-й год). И в достижении этой цели мы уткнулись в данные. Так что на первом этапе мы просто пытались решить проблему некачественных разметок. Без всяких высоких мыслей о построении профессии.

2. Ищем экспертизу извне
Если проблему можно закрыть деньгами, то это не проблема а расходы. Мы изначально попытались выстроить работу почти со всеми ру-вендорами разметок. Давали тестовое задание, делали две-три итерации и понимали, что не идет: и итерации медленные и качество хромает. Но зато в процессе этих мытарств мы поняли, что конкретно ищем и открыли найм. В тот момент Сбер и Яндекс решали похожую задачу, так что мы просто скопировали их JD и пытались кого то оттуда дернуть. Нам с этим невероятно повезло и самый первый найм был очень удачным - к нам вышла Гаяна, которая помогла нам избежать каких то типовых ошибок. Сейчас она возглавляет этот отдел.

3. От нуля к единице
Самый сложный этап - это собрать команду первых 5-10 человек и получить от них качественную работу. На этом этапе я вовлекался максимально: мы искали эйчаров которые работали с наиболее похожим профилем людей и помогали нам в итоге с масс наймом, вместе готовили и смотрели тестовые, анализировали зарплаты. Дальше мы пробовали разный инструментарий для работы, разные модели оплаты и подходы к построению цикла обратной связи. Если бы я отключился в этот момент, то скорее всего вышло бы что то странное, потому что именно у меня в голове был образ результата. На этом этапе мы осознали с какой стоимостью и скоростью мы можем работать, какая иерархия команды нужна и кто в ней за что отвечает. И тем самым закрыли продуктовую задачу. Эти первые шаги в разных компаниях проходят по разному: где-то корпорация помогает тебе, подкидывая готовые организационные примитивы, где-то тормозит бюрократией. Нам вот повезло - Т умеет работать с творческими профессиями.

4. Масштабирование
Sweet-spot любого управленца: ключевые люди собраны, команда саморегулируется, появилось много заказчиков. Тут моя роль скорее была в том, чтобы у нас появилось верхнеуровневая приборная панель, на которой мы видим системные болячки, и настройка взаимодействия с заказчиками. Здесь важно всем объяснить, кто за что отвечает, у кого какие управленческие рычаги, получше подумать про финансы, рост людей, и что для нас «здоровое состояние». Если сам крутил винтики на шаге ноль - то уже несложно.

6. Отпускаем в свободное плавание
Мне кажется для управленца очень важно понять, когда пора выходить из проекта или закрывать его и разбирать команду. Если система хорошо настроена, то полезно найти кого-то, для кого обязательные операционные проблемы будут вызовом, а не рутиной, и отдать рычаги управления. Это был для меня первый раз, когда я сам захотел отдать кому-то рабочий, без-проблемный сервис, чтобы сфокусироваться на задачах, которые меня растят. Жадничать контрпродуктивно (надо себе почаще это напоминать).

Вывод такой: если бы изначально я ставил перед собой задачу создать профессию ии-тренеров, то мы бы намудрили и ничего бы не построили. Но так как на каждом этапе мы брали посильную практичную
задачу, то в итоге у нас получилась здоровая структура с грамотной системой управления.

Игры, в которые играют люди управленцы

Я перешел в управление из инженерии, причем существенную часть пути прошел в стартапах, где тебя не наставляет корпоративная машина менторинга, и приходится разбираться самому. В такой траектории есть свои плюсы (она как минимум веселее), но неосознанность в некоторых важных вопросах долго портила мне жизнь.

Одним из самых вредных заблуждений было непонимание ключевой цели работы управленца моего типа. Очевидно, есть позиции, где ты скорее должен быть операционным руководителем, который удерживает статус-кво и следит, чтобы все не развалились, но в техе, как правило, от тебя ждут другого.

Ценность управленца такого типа - в изменениях, которые ты привносишь в компании. Иногда это изменения индуцированные внешними обстоятельствами, иногда это изменения начатые по собственной инициативе. Есть простой проверочный вопрос: «а что было бы, если бы я вообще ничего не делал весь год». Если для компании картина радикально не меняется в этом мысле-эксперименте, то это нехороший сигнал. И тут совсем не важно, как много ты напрягался и вещей сделал. Компании стало в итоге в лучше, или же ты просто классно провел время в компании умных и интересных людей? (По идее именно в таком духе и должны проходить перфоманс ревью, но к сожалению это далеко не везде так).

На линейных управленческих позициях это непонимание не слишком мешает успешно справляться с работой: можно опереться на то, что тебе спускают сверху в виде задач. А вот на более высоких уровнях у тебя появляется гораздо больше агентности, и ты во многом сам начинаешь формировать себе и другим повестку. Вот там надо очень аккуратно выбирать за какие вопросы ты берешься, так как в крупной организации всегда «все не так», и можно умереть пытаясь все привести в порядок (что обычно и не нужно). И вот эта приоретизация через масштаб потенциальных изменений помогает в этом море не утонуть.

В такой парадигме если тебе предлагают огромную поляну, где куча народа в подчинении, большие обороты, но все хорошо - это вполне может быть заслуженная пенсия. Да, высокий статус, хорошая компенсация, но при этом карьера встает на паузу. Сложно будет сделать инкремент (на практике, не совсем так конечно - через год грянет кризис и изменения будут огого, но идею вы поняли).

Постом выше я писал, что «жадничать не хорошо», и надо знать, когда отдать кому-то сервис в управление. Это не какой-то альтруизм, а вполне себе рациональная задача оптимизации, где ты пытаешься разменять свою энергию на максимумальняй импакт для компании по наилучшему курсу. В такой постановке полезно раздать непрофильные активы.

А еще это требует психологической перестройки: мы же хотим стабильности, безопасности. А тут получается, что стабильность для тебя - это конец. И работа хорошего управленца - конечна. Что сначала пугает, а потом наоборот делает жизнь проще.

Очень полезно знать, в какую игру ты играешь. (Фото прилагается: смотрите, какой в пиджаке я тут весь из себя, ну?)

Хотел написать пост про цифры с потолка, а получился мем.

Чемодан

Я раньше очень много читал. А потом решил, что и так все понял, и перестал читать. Моя супруга (ее библиотека на фото), как идейный борец за аналоговую жизнь, не могла с этим смириться, и разными ухищрениями пыталась втянуть меня в чтение-как-досуг.

В ход шли уговоры, тизеры интересных книг, совместные походы в книжные, вроде «подписных» (где я пил кофе и смотрел а окно), многое, многое, но я был неприступен. Даже когда все условия подталкивали к чтению, я, под ироничные замечания жены, брал что-то монументальное: Ветхий Завет, книгу о славянских обычаях в дореволюционной орфографии, Мирчу Эллиаде. На меньшее я был не согласен, и минут, в среднем, через семь я эту книгу закрывал и открывал рилзы.

Тогда она сменила тактику: стала подбрасывать книги в места моего отдыхновения, но я как ниндзя уклонялся и избегал ловушек. Но мне все же было суждено споткнуться и споткнулся я о чемодан Довлатова.

Довлатов классный: не заламывает руки в стенаниях «да чтож это то за жизнь такая», не рисует лубочную картинку, не читает нотации, а с большой любовью и вниманием и иронией описывает не самую благополучную жизнь, ну в общем, какая она и есть.

Короче. Я его перечитал и как-то выбрался из нечитовой берлоги. Такой вот gateway drug получился. Горячо рекомендую.

Метрики

Как оно обычно бывает. Приходишь ты в новую ИИ/МЛ команду, спрашиваешь о целях и достижениях, а тебе в ответ на полном серьезе «мы вырастили горох ndcg на 0.08. В следующем квартале еще на 0.05 подрастим». Ничерта не понимаете в рексистемах и что это такое? Вот я понимаю, а мне все равно это не говорит ни о чем. И даже их бизнесовому руководителю ни о чем не скажет. Но никто конфузиться не хочет, все кивают головой, вместо того чтоб спросить «и че мне с твоего 5 эн ди си джи». Почему так?

Моя гипотеза: есть физически интерпретируемые метрики и есть абстрактные математические. По первым можно ставить цели и достигать результатов, вторые берут в отсутствии первых. И юные млщики регулярно подменяют первые вторыми.

Выручка, средний таймспент, вероятность события - все это понятно как пощупать. Выручку сравнить с цифрой зп, таймспент со своим экранным временем в телефоне, вероятность с подкидыванием кубика. Что-то специфичное, типо оборачиваемости в екоме, чуть сложнее понять на кончиках пальцев, но если понял, то понял. И в таких попугаях все цели понятны: вот на сколько метрику улучшил, на столько у тебя и карман потяжелел.

Млщики же знакомятся с метриками по учебникам. Там тоже есть физические метрики вроде accuracy. Понятно как интерпретировать: взял 100 примеров, из них 10 косячных - значит аккураси 0.90. Но проблема в том, что у любой модели есть как минимум несколько свойств, со своими метриками, а не зная какую конкретно бизнес задачу ты решаешь, непонятно какое из них ключевое. И вот ученые мужи, составители учебников заказывают рукава (или скорее хмурят высокие лбы) и пытаться собрать из вороха метрик и общих соображений синтетическую «хорошесть»: f1, например, который по сути гармоническое среднее между вполне физичными precision и recall. Вот почему тут гармоническое среднее, а не любая другая функция? Почему в dcg и ndcg экспоненциальное убывание полезности? Честный ответ:«потому» (вам могут соврать, придумав правдоподобное умное объяснение, но пожалуйста не ведитесь). Потому что по таким метрикам «в среднем паршивая модель» будет хуже, чем «в среднем хорошая».

Но нафига это тащить в бизнес кейс, где ты точно знаешь какую ценность ты хочешь получить и измерить? Бери и строй себе прокси метрики к твоим целевым, можешь даже тервер вспомнить, чтоб поточнее вышло. Ладно еще по метрикам из учебников сравнивают модели и выбирают субоптимальную, так еще и цели по ним начинают ставить - тогда вообще караул.

Очень я не люблю, когда люди не понимают физику процесса, за который берутся. В анекдоте про математиков и физиков в поезде я безусловно на стороне физиков: счетоводы прячутся от жизни в туалетах, а физики в итоге выходят раз-на-раз с кондуктором. Выбираем жизнь, а не симулякры!

В тему поста выше, подписываюсь под каждым словом

Полностью согласен. DSы часто абстрагируются от реальной бизнес-задачи и углубляются в рост исключительно ML-метрик

Но бывает и обратное: бизнес-менеджеры воспринимают DSов как инструмент для роста NDCG/Gini, а не как специалистов, способных формулировать бизнес-гипотезы и создавать новые пользовательские сценарии. ИМХО, в начале карьеры оказаться у такого менеджера может застопорить рост на долгие годы.

Главная проблема в том, что оптимизация метрик в рексисе часто сводится к улучшению алгоритмов в рамках текущей продуктовой модели и текущего датасета. Правильно выбранные метрики позволяют системно улучшать качество, и это действительно даёт дельту в существующих бизнес-метриках.
Но не менее важно DS специалисту помогать бизнесу в поиске и генерации новых сценариев, которые позволяют развивать бизнес не только в глубину(улучшение текущих метрик, на текущих датасетах) а так же и в ширину (добавление новых паттернов потребления itemов, новые пользовательские сценарии и тд), это все позволяет бизнесу иметь дополнительную устойчивость и гибкость.

Несколько примеров почему важен этот "широкий" вижн:

Ютуб продолжал улучшать свои алгоритмы для горизонтальных видео, но крупный рост дал новый формат потребления вертикального контента, даже при неидеальных алгоритмах на старте

В поиске десятилетиями улучшали NDCG, @K метрики и тд, но теперь их значимость на бизнес снижается, потому что люди перешли на чтение ответов от LLM в самом начале выдачи, где уже собраны ответы на большую долю пользовательских сценариев

Spotify, когда внедрили свои discover weekly - они могли продолжать выбивать лучшие метрики на уже известных и больших точках рекомендаций, но придумали как рекомендации можно по другому упаковать и это дал сильный рост

Главная мысль в том, что DS это связующее звено между бизнесом и алгоритмами, и думать, и действовать он должен не только как kaggle-grandmaster (выбить максимум на заранее оговоренной метрике на текущем датасете), а сочетать в себе множество ролей, которые охватывают продукт целиком (Product, ML, DA, DE и тд) и думать DS должен не только о том, как добить заветные ndcg/auc и тд, а о том как в целом менять пользовательский опыт таким образом, чтобы это позволяло бизнесу расти

Чеклист здорового мл проекта

В Т по долгу службы мне надо присматривать за десятками МЛ проектов одновременно. Со временем у меня сложилась простая диагностическая рутина, которая вылавливает очевидные косяки. Если кто-то из олдов помнит Joel test для кодинга, то вот моя выстраданная горьким опытом версия для МЛ:

1. Цель проекта ясна
Очевидно, но есть ньюансы: Вам могут говорить, что хотят денег заработать, а на деле пытаются обогнать внутренних конкурентов и занять поляну. Или же ожидают, что сделав Х - автоматически получат У. Настоящую цель вам могут не сказать, но ее можно выяснить вопросами типо «а вот представь мы запустили Х, и получим не У а Z, это будет считаться успехом?»

2. Все требования оцифрованы и измеримы
Не только ключевая цель проекта, но и разные неявные ожидания от системы (безопасность, косты инфры, дайверсити). По каждому из значений метрик можно однозначно сказать: система ок или не ок.

3. Продуктовый дискавери сделан
Проверочный вопрос: а давайте представим, что все сделали идеально, правда ли мы увидим ожидаемые эффекты? Иногда это сложно понять не эимплементировав систему, но boy oh boy, как часто это можно сделать малой кровью, понаблюдав за действиями пользователей системы. Особенно это больно в GenAI, где ускоряют кусочек бизнес процесса, а общего ускорения не происходит; протолкнули ботлнек дальше по пайплайну, и все.

4. Экспериментальный цикл - короткий
Т. е. качественные оффлайн прокси метрики. Офлайн метрики для принятия решений сходятся по вероятности к значениям целевых метрик (хотя бы из одного распределения). Доверительные интервалы метрик - оценены (и у разметочных метрик дисперсия не только от размера выборки зависит, а еще от качества работы разметчиков). В офлайн измерениях тоже есть серые тесты.

5. Все решения принимаются через эвалы
Нет «волшебных чисел» или «волевых архитектурных решений». Если в проекте спорят, что лучше работает - это красный флаг, надо проверять на цифрах.

6. Начали с бейзлайна
Вы не поверите, как часто бейзлайн обгоняет сложные решения. Просто потому что в бейзлайне сложнее накосячить.

7. R&D бэклог опирается на аналитику
В автоматизации ошибки системы на эвале распричинены до руткоза. В персонализации фичи опираются на поведенческие или количественные исследования (или хотя бы здравый смысл). Если весь бэклог - это список архитертур моделей, то это плохой беклог. В идеале дифф между целевым значением таргет метрики и текущем должен быть полностью обьяснен и атрибутирован конкретным причинам.

8. Большая часть усилий уходит на работу с данными
Команда не пытается подстроить систему под имеющиеся данные, а активно эти данные меняет (вычищают мусор, переписывают источники, анализируют фичи).

9. Система покрыта интеграционными тестами
Мало толку от идеальной модели, если ее скоры перетираются по дороге. Особенно больно с инференсом LLM, где обновление рантайма может изменить поведение модели.

10. Эксперименты логируюися и воспроизводимы
В ответ на «мы уже это пробовали» можно посмотреть, а что конкретно пробовали, и если нужно вернуться к идее, но в чуть другой постановке.

11. Вы знаете, когда остановиться
Вы на берегу договорились, что будет критерием остановки проекта.

Ну и естественно, предполагается, что инженерная культура хорошая, млщики вычищают лики, не косячат в написании трейнлупа и т д. Этот чеклист не гарантирует успеха проекта, но если у вас проставлено меньше 9 галочек, то это плохой знак.

Мы тут с женой решили посмотреть какой-нибудь comforting фильм из нулевых, и остановились на комедии «Марли и я». Это кино про семью, которая завела собаку, и та сыграла важную роль в их жизни. Но я совершил стратегический проступок, предложив на двух третях фильма прерваться и пойти спать (а досмотреть на следующий день). В итоге первый день мы посмотрели легкую семейную комедию, а второй вечер смотрели драму про кризис среднего возраста и умирающую собаку.

Не повторяйте моих ошибок.

GenAI - это, конечно, инвестиционный пузырь, но именно поэтому заниматься его внедрением надо сейчас
И почему нарратив про продавцов лопат - это булшит

Мне видится, что за прошлый год бизнес среда окончательно поделилась на два лагеря. Технооптимисты, обещающие нам ИИ-сингулярность и автономных агентов десятки процентов роста GDP, и пессимисты, которые грустно смотрят на P/E техно-компаний из S&P, и недоумевают. Кто прав?

Мой тейк: правы и те, и те. GenAI на длинном горизонте действительно даст десятки процентов GDP, но инвестиции в флагманские инфраструктурные компании никогда не окупятся теми иксами, на которые нам намекает их капитализация. Потому что у этих китов парадоксально нет рычага на извлечение львиной доли маржи.

По порядку. Откуда десятки процентов GDP? Ну давайте взглянем на 3 основных источника ценности.

1. Профессия разработки изменилась, и новые продукты создаются быстрее. Особенно с выходом моделей конца 2025-го года. Писать код вручную выглядит как анахронизм. Причем в наибольшем выигрыше опытные инженеры, которые знают, чего они хотят от ллм (их эффективность выросла на 20% - на этой цифре сходятся большинство серьезных исследований). При этом автономные кодинг агенты, которые создают сложные системы без человека - это все еще лабораторные прототипы, но вот быстро пробежать первую милю до MVP они помогут уже сейчас. Соло девелоперы, запускающие полноценные бизнесы уже никого не удивляют.

2. Диджитал (и не только) профессии усилились в разы.
Копирайтинг, маркетинг, управление контентом, аналитика - атомарные кусочки этих конвейеров уже ускорились за счет ко-пилотов. Более 60% сотрудников S&P 500 регулярно используют эти инструменты в работе. Со временем случится и кумулятивный эффект. По оценкам антропика это все незаметно дает +2%% GDP (нифига себе). Нецифровые профессии - готовятся.

3. Энтерпрайз автоматизация идет, но тяжело
Оказывается, что сначала нужно пройти все стадии цифровой трансформации, покрытия глубокой аналитикой (в народе - бигдата), и только потом можно сверху строить ИИ. Но и там где это все сделано, запустить пилот очень просто, масштабироваться без заметных прокрасов метрик - сложнее, а вот сделать большой и стабильный аплифт - очень тяжело. Приходится менять сами бизнес процессы, а не только втыкать ИИ. Но реально: лидеры уже далеко зашли по этий дорожке, и сомнений в успехе нет.

И казалось бы, если ты OpenAI - бери и отжимай маржу через цену за токен. Но все не так просто:
- выжимать деньги из B2C клиентов сложно. Конкуренция острая, и опенсорс не спит. Потеряешь рынок.
- выжимать деньги из В2В - опасно. Им на своей стороне надо еще сделать огромную работу, чтоб это все полетело. Если задушишь их еще и ценой - плюнут и не будут ничего делать. Попробовать самому забраться повыше по цепочке добавочной ценности - нереально (пытаются конечно, через дженерик автономных агентов, но пока выходит плохо). Каждое внедрение уникально, сотни вертикалей. Просто талантов не хватит всех окучить, даже имея бесконечные деньги. Так что приходится партнерство строить, а не быковать.

И получилась интересная ситуация. Чуваки с деньгами понимают, что происходит что-то значимое, пытаются заработать на хайпе и несут деньги в OAI, nvidia, you name it. А они не умеют возвращать инвестиции. Они могут только лопаты раздавать, а существенная часть добавочной ценности на стороне реальных компаний, которые продукты людям строят (и будут делиться маржой со своими стейкхолдерами). Но вы за OAI и софтбанк с шейхами не переживайте - они на IPO бабушкам свои убытки продадут.

А вот если вы строите реальньные продукты, и улучшаете операции опираясь на GenAI, то мои поздравления. Чуваки у которых много денег и мало экспертизы проинвестировали вам офигенный рычаг. Аккуратно считаем PnL проектов, двигаемся осторожно, пилотами, и большая часть маржи осядет в вашей компании (ну и частично у вас 😉). Кайф же.

Пейпер нашей фундаментальной команды приняли на EACL’26 🎉

Один из поводов личной гордости: мы первые из крупных компаний пошли в опенсорс LLM в России, и собрали все возможные шишки по дороге, но в итоге раскачали движ, и теперь все крупные игроки стараются что-то сделать для комьюнити. Помимо этого ребята показывают первоклассный уровень владения технологией и изобретают ноухау, и прикольно получить лишнее тому подтверждение