Kantor.AI
11K subscribers
129 photos
8 videos
3 files
164 links
Канал Виктора Кантора про Data Science, образование и карьеру в сфере анализа данных. По вопросам сотрудничества: @mariekap

РКН: 5140322136
Download Telegram
Почему я работаю CDO в МТС, версия без рекламного булшита

Начнём с того, что есть IT компании, сервисами которых уже пользуются десятки миллионов пользователей, а процессы в команде неплохо отлажены и не бюрократизированы. Вопрос в том, зачем идти в большую компанию, где все делается по куче регламентов, а продукты (кроме традиционных услуг) в начале своего пути.

Тут ответ простой: мне всегда было интересно, чтобы прям с адом и приключениями. Например, одна из причин, по которой мне было интересно запускать Академию Данных Mail.Ru - то, что сделать это нужно было за два месяца. А представляете, как интересно сделать Data Driven и замашинлернить компанию, где это делается вот совсем не на раз-два-три? Это нормальный вызов для тех, кто любит и может превозмогать. Плюсом поиска сложностей является то, что за них платят больше, чем за работу в максимально комфортных условиях. Минусом - что задолбаешься так, что этой дельте в оплате рад не будешь. Но основная награда не в деньгах, об этом дальше.

Другая причина работать в МТС или любой другой большой еще не IT компании - тщеславие. Для значительной части сообщества все хорошее, что вы здесь сделаете, будет вашим достижением, а не следствием того, что компания итак крутая. Здесь можно дойти до крайности и пойти работать вообще в noname место, но мой выбор пока все же компании лидеры рынка. В любом случае чувство, что ты сделал что-то, что другие сделать не могут, меня мотивирует сильнее всего.

Кроме того, есть «академический интерес». Как строят новое я уже посмотрел и поучаствовал в Яндексе, теперь интересно поучаствовать в трансформации существующего бизнеса. Есть интригующее ощущение, что если уметь и делать с нуля, и менять к лучшему, можно нанести миру сильно больше пользы и в конечном счете иметь больший impact.

Ну и, конечно, приходил в МТС я как CDS, а в конечном счете оказался в топ-менеджменте с совершенно другим масштабом задач и уровнем сложностей. Это очень интересный опыт, на который у меня есть свои планы.
Btw я наконец-то добавил возможность комментирования и теперь можно назадавать вопросов в комментах :)
Что больше всего шокирует в людях, когда становишься руководителем

Мой личный топ это:
1) неадекватность самооценки,
2) лицемерность и токсичность на грани полного провала,
3) ощущение безнаказанности,
4) абсолютное преобладание эмоций над логикой,
5) нужно быть готовым получить по морде за любое проявление заботы о команде.

Самооценка

Обычно руководителем назначают того, в кого можно впихнуть много всякого геморроя, и он его будет разгребать, а не жаловаться. Такие люди часто склонны к рефлексии вида «если что-то не получается, значит я мало и неэффективно работаю, это мой провал». Шок у руководителя случается, когда к нему раз за разом приходят сотрудники, косячащие так, что чудом не разогнали всю команду, и качают права, как будто они тут первые парни на деревне. В ход у сотрудников идут самые смешные обороты вроде «Я же свою работу делаю хорошо, почему другие хорошо сделать не могут». Здесь справедливо заметить, что нужно вовремя давать сотруднику обратную связь и не забывать про ее негативную часть. Но, к сожалению, не всегда даже в самом явном виде фидбек до человека доходит (давать конечно все равно нужно, даже если это бесполезно).

Лицемерие

Что интересно, искренняя убежденность в своей хорошести и ценности, независимо от обстоятельств, волшебно соседствует с любовью сплетничать за спиной у руководства. И при этом у людей никаких подозрений, что улыбаться в лицо и поливать говном за чаем это чем-то плохо :) Причём говном поливать ведь очень легко, если не предлагать никакую конструктивную повестку или, предлагая ее, не задумываться о трудностях ее воплощения. Впрочем, это еще ладно, назовём это «корпоративной культурой». Не видел ни одной компании, где никто так не делает. Но что гораздо интереснее, так это то, что сотрудники думают, что разговор за чаем с коллегой остаётся за чаем, и о нем не становится известно руководителю. Раскрою тайну: зачастую становится.

Безнаказанность

У айтишников часто есть ощущение, что можно делать любую дичь, и их никто за это не уволит. Даже когда на их глазах увольняешь человека, который, казалось, всех пересидит и переиграет, сотрудникам проще поверить, что «на самом деле сам ушёл», и они все в безопасности, чем что уволили, и их ждёт та же участь, если не работать. Здесь я виню не один только идиотизм, а все же в купе с сошедшим с ума рынком. Сейчас действительно любой лентяй может просто прыгать по вакансиям, оставаясь в каждом месте до тех пор, пока не раскроют, так что нечего бояться или переживать за качество своей работы.

Хождение на поводу у эмоций

Еще одна проблема, с которой приходится работать руководителю, это тотальный отказ сотрудников быть последовательными. Мой частый сценарий: аналитик говорит, что уходит, а на вопрос «Почему?» отвечает, что хочет новый опыт и попробовать быть продактом. Ему предлагают перейти в продакты у нас в компании и попробовать свои силы, на что аналитик отвечает «ой, не знаю, я уже собрался в компанию Х». На вопрос «а на какую позицию?» ответ в 99% случаев: «а тоже аналитиком». Ну супер. Значит человеку на самом деле либо денег не хватало, либо компания и команда приелись, а он задвигает что-то про смену профессии. Я бы назвал это так: «мне что-то не нравится, я хочу что-то поменять, но не планирую сейчас разбираться, что чувствую и что хочу». И дальше начинается такое броуновское движение на поводу у неосознаваемых эмоций.

Дорога в ад

Ну и самая, так сказать, классика, это то, что дорога в ад устлана благими намерениями. Станьте руководителем и поймёте. Хотите провести реформы в команде плавно, чтобы все ценные сотрудники нашли себе новую роль и поменьше стрессовали - «на кухне» вас назовут слабым и нерешительным. Хотите быть демократичнее и ближе к народу - возмутятся, какой стыд, что руководство плохо держит дистанцию и не управляет само, без перекладывания ответственности на сотрудников. Хотите наоборот взять ответственность на себя, чтобы не мучать людей принятием решений, для которых у них объективно не хватает информации - получите негодование из-за вашего авторитарного стиля управления.
Не уволили человека и дали ему второй шанс себя проявить - ждите, напишет на вас жалобы во все инстанции, когда вторая попытка провалится и придёт время прощаться. Первое правило при руководстве людьми: за 90% хорошего, что вы сделаете для кого-то, вам нагадят. Поэтому никогда не делайте «для кого-то», а делайте просто как считаете правильным. И ничего не ждите взамен.

К сожалению, этот текст о наболевшем, конечно же, ничего не изменит. Герои моего поста не конкретные люди, это собирательные образы, но большинство прочитает про них и подумает «ай какие нехорошие конечно люди бывают, а вот я норм», ничего не примерив на себя. Ну что ж, ничего страшного, зато те, кто хотят быть руководителем, кто представляет, как круто быть босом, могут прочитать и задуматься, а так ли классно жить с вечным фейспалмом :)
Что больше всего восхищает в людях, когда становишься руководителем

Как в прошлый раз, сначала весь топ:
1. Ответственность
2. Способность к сотрудничеству и командной работе
3. Эмоциональная вовлечённость в работу
4. Смелость брать на себя больше
5. Интеллект и профессионализм
6. Поддержка, которую даёт вам команда

Ответственность
Большинство сотрудников готовы работать, когда уже закоммитились на работу. Да, меня восхищает то, что люди выполняют обязательства. В условиях высокой неопределенности есть миллион причин сказать «это делать не предполагалось» и отлынивать от работы. Но когда работаешь с надежными людьми, и для рабочих задач им надо, например, ночью полететь в другой город (хотя вроде айтишники, а не менеджеры по продажам), после аэропорта ехать «два дня лесом, три дня полем» и дальше удачно провести сложные переговоры, внезапно (!) оказывается, что люди делают такие вещи даже без прямого указания, убалтываний, вытанцовываний вокруг них, а просто потому что это их работа и так надо. Есть в этом простом рабочем настрое что-то крутое, надежное, вселяющее веру в то, что любые горы можно свернуть.

Сотрудничество
Другой приятный момент - то, что люди умеют сотрудничать друг с другом. Делать не только свои задачи, но и оказывать друг-другу помощь, а если это руководители - помочь людьми из своей команды, когда очень нужно. Это, конечно, сильно зависит от того, как вы нанимаете и повышаете сотрудников, ведь если в вашей команде будут серьезные межличностные конфликты, дух сотрудничества может легко раствориться. Но по умолчанию людям больше нравится дружить и делать что-то вместе, а не устраивать разборки.

Эмоциональная вовлечённость
В здоровой команде людям не плевать на свою работу. Для них важно дотащить до прода, важно, чтобы это было полезно, важно не красить траву в зелёный цвет, а созидать. И важно, чтобы в их области ответственности все работало. Это вовлечение хорошо помогает и со следующим пунктом в нашем списке.

Смелость брать на себя больше
Казалось бы, из-за уже лежащей на тебе ответственности хватает нервов и итак есть о чем беспокоиться. Но нет, всегда находятся люди, готовые принять в себя еще х2 работы и справиться с ней. Такие растут очень быстро и в плане своих реальных возможностей, и в карьере. Лишь бы только не сгорали: изнутри бывает сложно оценить, насколько тяжело вывезти то, на что подписываешься.

Интеллект и профессионализм
Когда работаешь в своей узкой сфере, глаз замыливается и все реже оцениваешь людей с точки зрения «как он хорош и сколько всего знает и может». Например, у меня есть склонность обесценивать те знания, которыми обладаю даже я, а ценить только то, что для меня ново (и то только ограниченное время). Я в курсе, что это нездоровая история и потихоньку ее исправляю, но часто это происходит неосознанно. Когда вы становитесь руководителем, чем выше ваш уровень, тем больше в команде людей, чью работу вы не понимаете также хорошо, как понимали свою. И это возвращает слегка забытую радость общения с умными людьми. Их, конечно, не прибавилось и не убавилось, просто вам проще удивляться и радоваться там, где вы сами не эксперт. Дальше это развивается и в другую сторону: вы начинаете понимать, насколько молодцы ребята из вашей «родной» специальности. В итоге общее количество радости в жизни повышается :)

Поддержка команды
Однако самое главное, что на мой взгляд должен знать руководитель - что когда не полагаешься на команду, работа руководителя становится адом. Не сделаешь сам - не сделает никто, колоссальное давление на одного человека. А как только начинаешь работать с надежной командой, пользоваться ее поддержкой и не бояться делегировать какие-то важные вещи, выдыхаешь с облегчением от того, что возможно всё (в хорошем смысле :). Поэтому первый совет начинающему руководителю - собирайте команду, укрепляйте ее, берегите, цените, и опирайтесь на неё. Вы ничего не добьётесь в одиночку, но свернёте горы вместе.
В следующем посте мы поговорим о том, как от депрессивного нытья предыдущего поста переходить к более позитивному настрою этого: как для этого работать с собой и с командой.

Но это уже после 1 января, а сейчас всех с наступающим, хорошо вам отметить эти праздники и успехов в карьере и жизни в 2022 году :)
Немного отклонюсь от заявленного плана постов в канал. Хотя следующий пост уже три недели как почти готов, вот это «почти» всегда скрывает в себе очень много :) Год назад мы готовили к запуску летнюю школу по машинному обучению в МТС Тета, и я давал программному директору Теты Савве Демиденко интервью про себя, работу и образование. Сейчас на Хабре вышла расшифровка: https://habr.com/ru/company/ru_mts/blog/646753/

Чтобы сэкономить вам время на понимание читать/не читать, внутри:
-Немножко биографии и где работал
-Про учебу в МФТИ и немного про Школу анализа данных Яндекса, Академию Данных Mail.Ru и Вышку (если кратко - они крутые, Физтех тоже)
-Как начал преподавать и немного о DMIA
-Чем сейчас занимаюсь в МТС

Кому интересно - заходим, читаем, ставим плюсы, пишем желчные или позитивные комментарии :) Ссылка на видео тоже есть, в конце статьи
Топ банальных но эффективных советов по работе с командой

После прошлых постов у нас остался простой насущный вопрос: что делать, чтобы было больше позитивных моментов в работе с командой и в целом процесс был более продуктивным. Советов здесь можно надавать много, но вот мой топ (кстати, во многом совпавший с комментами к постам):

1. Общение
2. Поддержка
3. Целеполагание
4. Принятие ответственности
5. Делегирование ответственности
6. Надежность

Общение
Однажды, когда я только второй раз в жизни работал на руководящей позиции, я взял к себе довольно проблемного сотрудника, склонного хлопать дверьми на совещании и делать все всегда по-своему (в худшем смысле), причём все это было известно заранее. Когда ты только недавно руководитель, бывает история про «хочу себе этот управленческий вызов» вместо конструктивного найма. Все остальные тимлиды отказались брать его, а я, конечно, верил в себя. Больше я такими глупостями не занимался, т.к. съел говна на годы вперёд. Справедливости ради, глупым этого человека не назовёшь, и карьера у него очень хорошо сложилась дальше, так что он все равно молодец.

Так вот мой собственный руководитель как-то указал мне, что мой подчиненный приходит к нему жаловаться на жизнь и на меня, а ему это нафиг не сдалось, своих дел хватает. Я попросил у руководителя совета, и ответ меня поразил своей простотой. Руководитель спросил меня, а что я делаю, когда есть непонятки с каким-то человеком. Я ответил: «ну, разговариваю с ним, конечно». «Вот именно, больше общайтесь» - получил в ответ я. Гораздо проще додумать неадеквата или “врага” в том, с кем ты мало контактируешь. Когда все можно обсудить - уже сложнее себя накручивать :)

Тот же подход помогал и моему руководителю удерживать меня. Когда я чуть было не ушёл из команды, меня обезоружил его вопрос: «а чего ты сам хочешь?». Далеко не все уходящие люди задают себе этот вопрос и отвечают на него не для галочки. Но если у вас нет с человеком диалога, то вы ему и не вбросите ни этот вопрос, ни другие важные в моменте. Как вариант - будете получать нелогичные ответы, которые на самом деле просто отмазка, чтобы отстали (вспоминаем позапрошлый пост).

И ровно нехватка общения и подводила моего руководителя в работе со мной: стоило ему пропасть достаточно надолго, я уже не понимал - меня планируют уволить или повысить, и работать становилось довольно нервно и непродуктивно. Словом, общайтесь с прямыми подчиненными регулярно, а они пусть не сочкуют и общаются со своими. Иногда полезно общение через один левел вниз, но это нужно делать аккуратно, чтобы не дать людям повод для подковерных игр против своих руководителей.

Также обязательно нужно позаботиться о регулярных мероприятиях и рассылках, доносящих информацию от руководства до сотрудников. Информационный вакуум заполняется только слухами и домыслами, и какие бы ни были новости, домыслы всегда будут еще хуже, так что делитесь информацией с людьми.

Поддержка
Так мы плавно переходим к самой мотивирующей вещи на свете - конструктивной похвале от руководства (не путать с рандомной, она только демотивирует тем, что руководитель не понимает, чем вы занимаетесь). Какими бы самостоятельными и независимыми мы ни пытались быть, но после 11 лет школы и 5-6 лет универа, большинство из нас любит хотя бы иногда получать отличные оценки :) А у некоторых и вовсе от этого зависимость. Понятное дело, что для кого-то «отлично» - это зарплата выше рынка, для кого-то - тот факт, что тебя принимают в очень крутой команде, для кого-то еще что-то. Но чаще всего позитивный фидбек от руководства не делает хуже, а наоборот очень вдохновляет.

Здесь есть ряд тонкостей с тем, у кого из сотрудников вы обладаете авторитетом, а у кого нет. «Да кто он такой чтобы оценивать мою работу» - может подумать человек, даже после похвалы. Но всё же до определенной степени взрослые люди рассуждают не в терминах авторитета, а в терминах взаимной выгоды. Руководитель, который хвалит, звучит как потенциально выгодная история, лучше с ним кооперироваться, чем быть в контрах, особенно когда понятно, за что именно вас ждёт одобрение.👇
Со временем взаимовыгодное сотрудничество может дополняться уважением и нотками доверия, ведь людям гораздо проще находить хорошее в тех, кто им полезен.

Поддержка выражается не только в том, чтобы говорить сотруднику, что он молодец, но и в том, чтобы интересоваться, а чем он живет, к чему стремится, с достижением каких целей работа в вашей команде может ему помочь. Это часто win-win. Когда вам жестко не хватает ответственных руководителей, находится тот, кто мечтает им стать и готов слушать, что для этого делать и как развиваться. А когда вам нужна команда на open source проекты, у вас очень кстати могут обнаружиться разрабы, жаждущие славы за пределами компании. Поддержка это еще и про то, чтобы уважать цели и интересы своих сотрудников и помогать их достигать в процессе работы.

Целеполагание
Тут все просто. Если вы говорите, куда ваша команда идёт, какие у вас долгосрочные цели, а какие уже на этот год, то команде живётся комфортнее. Да, не всем цели понравятся. Да, будут альтернативные идеи. Некоторые идеи будут, кстати, толковые и полезные для корректировки курса, некоторые же откровенно идиотские и продуманные на уровне «мне так кажется, нет, рынок не оценивал и не буду, мне тема нравится, она перспективная». Не так важно, насколько ваш курс правильный сейчас, важнее, что он есть. Отсутствие целей вызывает сильно больший дискомфорт, чем неидеальная цель. К тому же никто в современном мире не составляет план на 5 лет вперёд, чтобы один раз его зафиксировать и больше не обновлять с учетом новостей рынка и технологий, так что цели в любом случае всегда подлежат итеративному уточнению.

Понятное целеполагание создаёт команде возможности планировать работу, карьеру и жизнь, а потому является базовым условием для комфортной созидательной деятельности.

Принятие ответственности
Пару постов назад я неплохо так растекался мыслью «вот стараешься для них, а они тебе спасибо не скажут». Я хорошо запомнил эти ощущения с момента, когда они возникли первый раз, иногда ловлю их проблески и сейчас, но к текущему моменту очень дотошно препарировал и изучил их. И вот что скажу о них: это понятная человеческая реакция, особенно в начале работы руководителем, но это детский сад и ваши личные проблемы. Нет ничего зазорного в том, чтобы это испытывать: эмоции не обязаны быть конструктивными и преисполненными мудрости и душевного равновесия, эмоции вообще разные и это нормально. Но нужно понимать, что идти на поводу у этого настроя - полный булшит. Если вы стали руководителем, то теперь это ваша ответственность и ваш выбор, как выстраивать отношения с командой. Если вы кому-то без его просьбы сделали одолжение в надежде на благодарность - вы не управляете командой, а заигрываете с ней. Ничего не ждите взамен, будьте искренни и тверды в своих решениях (не в смысле отсутствия рефлексии и анализа, а в смысле доведения начатого до конца), и выполняйте свою главную задачу - руководите командой и достигайте с ней нужных результатов. Вы не воспитатель в детском саду, не заботливая мамка и не «батя», который решит все вопросы. Хотите чем-то помочь сотруднику - поговорите с ним нормально, убедитесь, что он сам в этом заинтересован, и это будет нормальное партнерство двух взрослых людей, а не игры в дочки-матери или навязанные одолжения.

Делегирование ответственности
Однажды мой бывший подчиненный сказал мне следующее: «Когда руководителем был ты, ты совсем не так четко все контролировал, как пришедший на смену тебе человек. У нас не было такого количества ритуалов и не было ощущения, что тебя ведут «за ручку» к результату по конкретным этапам, четко выдавая фидбек на каждом шаге и чекая прогресс». Я уже было расстроился, что облажался, но тут он продолжил: «И с тобой было классно: я ощущал, что если ты мне что-то доверил, то я за это отвечаю сам». Короче я был раздолбаем, но интуитивно брал к себе людей, которые хотят больше независимости, и им нравилось, что я не лезу больше, чем нужно.

Это не единственная история.👇
Когда я вел в МФТИ на кафедре Яндекса курс Text Mining, практиковал такой формат семинаров: студенты получают текстом задание, которое нужно реализовать с чистого листа, причём не в форме лабораторной, а в формате «кластеризуйте по темам письма из вот этого датасета» или «выделите из корпуса текстов устойчивые словосочетания», а дальше до конца пары должны показать мне результат, рассказать как доформализовали задачу, как оценивали качество, и почему вообще думают, что их поделка удалась. Конечно, можно было присылать доработки и после пары (в качестве домашнего задания). От меня на тот момент требовался минимум подготовки - грамотно ставить задачи (при релевантном опыте это не проблема). И, конечно, готовность смотреть и обсуждать со студентами их решения. А вот студентам формат нравился намного больше, чем “заполните пропуски кода в почти готовом решении”, который был распространён в тот момент на курсах по анализу данных. Многим способным ребятам нравился простор для творчества в этом формате и возможность подумать и поговорить с преподом не про то, как именно ты написал код, а про то, что вообще делаешь, как оцениваешь результат и какой путь решения задачи выбрал. Это было таким мини-исследованием в масштабах недели.

Вывод: раздолбай, который не зажал людей в тиски микроконтроля иногда мотивирует лучше, чем организованный человек, расписавший все по шагам, не оставив исполнителю простора для творчества. Есть, конечно, вопросы, в которых полезно тщательно готовиться: когда подводишь итоги испытательного срока, когда проводишь 1х1 с сотрудником, когда выдаёшь фидбек по итогам ревью. Но есть вещи, в которых важнее не продумать все, а дать ответственность и поле для деятельности, где человек сможет проявить себя. А вот зажать человека в жесткий план, а потом жаловаться на безынициативность и быстрое выгорание от “галерного” труда много ума не надо.

Надежность
Надежность это в первую очередь не врать людям и не кидать их. Обещал поднять зарплату - поднимай, если вы друг-друга неверно поняли - проясняй и больше не допускай такой ситуации. Обещал награду (премия, повышение, рост зарплаты) за определенную работу - не надо докидывать еще задач следом.

Вы можете сказать, что у руководителя высокий уровень неопределенности, не всегда планы команды получается реализовать, и без вины конкретного сотрудника можно не иметь возможности дать ему обещанное. Более того, некоторые изменения ситуации спускаются руководителю сверху, и их приходится принять как факт. Это все так, и тут возвращаемся к самому первому совету: больше общайтесь с сотрудниками, чтобы какие-то повороты не были для них неожиданностью. Например, если накрывается чье-то повышение, даже если сотрудником все будет сделано отлично, обсудите с человеком ситуацию, придумайте другой способ мотивировать или смиритесь с тем, что сотрудник от вас уйдет. В любом случае у вас будет больше времени обсудить проблему и найти вместе решение, а вот если вы просто скажете «обстоятельства изменились» и не дадите обещанное - сразу потеряете человека. Особенно страшно будет, если человек не уволится, а займет позицию «вы не сможете мне так мало платить, как мало я теперь буду работать». Словом, надежность это как про выполнение обязательств, так и про предсказуемость и понятность происходящего.

Заключение
Ваша команда - это отражение вас как руководителя. Даже если вы пришли в эту команду, а не собрали ее целиком с нуля, и что-то вам в ней не нравится, и вы бы сделали все иначе, через полгода-год это уже на 100% ваша команда. Так что не жалуемся, чаще общаемся с сотрудниками и работаем над собой. Такой вот совет.
Все слышали про правило 80/20, что 20% усилий приносят 80% результата. Иногда правда так, но есть несколько «но».

1) Давайте не будем забывать про метафоричность этого правила - это не результат исследований, не какой-то обоснованный закон, а просто выражение субъективных ощущений, никто никакие проценты с аптекарской точностью не мерил. Помните школьные задачки «бригада за 2 часа копает траншею 5 метров, сколько метров выкопает за 3 часа»? Вот там ни о каких 80/20 речи не идет, не занимайтесь самообманом. И такие пласты работы есть везде.

2) Вера в то, что можно сделать те самые важные 20% и забить на остальную работу нанесла человечеству не меньше вреда, чем пользы. Именно в ней ответственность за сырые и недоделанные решения, недопиленные продукты, недоведенные до ума проекты. Именно она даёт менеджменту решимость сокращать сроки и ресурсы сколько угодно.

Не в каждую менеджерскую мантру стоит верить, сколько бы раз заклинание ни повторялось людьми вокруг. Зачем я это написал и при чем тут анализ данных, AI и все такое? А тут все просто, на свете хватает людей, которые верят, что 80/20 это распределение Парето и какой-то основанный на матстате и теорвере научный факт. У меня для вас плохие новости: 80/20 это напасть похуже бизнес-молодости, а распределение Парето выглядит так:
Попалась на глаза старая статья на zeh.media из разряда "гид по Data Science для начинающих", увидел эту картинку и завис с вопросом "какой такой ML по мнению автора относится к AI, но не относится к DS". Ссылка на статью в комментах, там же предлагаю обсудить, что бы могла значить эта диаграмма
Шесть способов построить модель на объединенных данных, не раскрывая сами данные

Многие компании сталкиваются с тем, что могут анализировать только данные из своих сервисов. Это ограничивает по трем причинам. Во-первых, сервисы одной компании редко когда покрывают все сферы жизни человека, так что картинка всегда получается неполной. Во-вторых клиентская база любой компании, даже если мы говорим про лидирующие экосистемы, это лишь какая-то доля рынка, а не вся страна или все страны присутствия, поэтому что-то прогнозировать для тех, кто еще не стал клиентом компании, довольно сложно. В-третьих, использование некоторых данных довольно жестко регулируется законодательно: есть законы о банковской тайне, о медицинской, о тайне связи, идут обсуждения про закон об экосистемной тайне.

Чтобы меньше страдать от этих ограничений, помимо развития бизнеса компании в новые сферы и наращивания доли рынка, можно пополнять свои данные открытыми или покупать данные у других компаний. Но вот слова "покупать данные" звучат очень неприглядно. С одной стороны: а кто же продаст свое конкурентное преимущество, коим является знание своего клиента? С другой стороны, в лоб торговать данными это просто не этично с точки зрения заботы о своем клиенте. Есть несколько способов, которые до определенной степени позволяют построить прогнозные модели на объединенных данных, "не сдавая своих", и уважая законодательство.

1. Анонимизированные данные

Если по каждому примеру из отгружаемых данных будет невозможно понять, к кому конкретно они относятся, то вы, вроде бы, никого и не выдаете. Казалось бы, достаточно использовать какой-то свой, не имеющий особого смысла, идентификатор пользователя - можно просто номер пользователя в вашей выборке, можно что-то более хитрое, главное, чтобы ваш идентификатор нельзя было сопоставить с ID пользователя в той компании, которая "покупает" данные. Увы, на деле все не так просто. Во-первых, если нельзя сматчить айдишники, нельзя дополнить данные по пользователям. Значит максимум, что вся эта затея даст, это дополнение обучающей выборки для алгоритмов примерами за пределами клиентской базы. Другая важная проблема - это то, что часто пользователя можно деанонимизировать, даже не имея его ID. Например, если в датасете присутствуют данные о гео-локации, то набор точек и моментов времени, в которые пользователь находился в них, уже сам по себе хороший ID. Все это приводит к тому, что передача третьей стороне "анонимизированных данных" не слишком популярная концепция - больше рисков и проблем, чем выгоды.

Продолжение - в среду
Внезапно мне прислали скрин, где под последним моим постом в канале показывает какую-то дикую рекламу из разряда «мы научим вас шортить». Оказалось, это та самая монетизация tg рекламой, добавленная в телеграм недавно, и которую пока никак нельзя отключить в своём канале.

Будьте бдительны - если под новым постом в моем канале нет кнопки с комментариями, это не пост, а реклама, к которой я не имею никакого отношения. Ну и если пост уложился в 10-20 слов в один абзац - это тоже точно не я)
2. Синтетические данные

Подход с анонимизацией можно развить: давайте на имеющихся у нас данных научим какую-то модель машинного обучения (например, нейросетку) генерировать новые данные, похожие на настоящие. Верхнеуровнево это работает так: каждый пример из реальных данных рассматривается как набор чисел из некоторого распределения, на известных данных вы восстанавливаете распределение, а потом из него же генерируете новые примеры. Не во всех подходах вы восстанавливаете распределение в явном виде, но главное, что вы можете генерировать синтетические примеры. Если реальных людей, к которым относятся эти данные, просто не существует, то невозможно и выдать чьи-то секреты. Но, к сожалению, есть в машинном обучении явление переобучения. Если ваша модель оверфитнется на данные, то в синтетических примерах могут появляться в точности примеры из исходной выборки. Неприятный риск, неправда ли? Впрочем, это относительно контролируемый риск, т.к. всегда можно проверить, возникла такая проблема или нет, да и несложно явно вычистить какие-то примеры из данных, слишком уж близкие к настоящим. Но остается та же проблема, что и в прошлом подходе - такие данные полезны только для пополнения обучающей выборки. Распространена практика выкладывать синтетические данные в качестве обучающей и тестовой выборки, когда вы устраиваете публичное соревнование по машинному обучению - тогда точно никто не деанонимизирует данные (а подобных скандалов на реальных данных из соревнований было достаточно много).

3. Скоры вместо данных

Элегантный способ решения проблемы - не отдавать данные. Например, вместо данных можно использовать прогнозы каких-то ML моделек. Есть у вас модельки для кредитного скоринга и рекламных интересов? Чем их прогнозы не подойдут в качестве признаков клиента. Они тоже его как-то описывают и на них тоже можно обучаться. Да даже если вы как-то прогнозируете возраст по поведению человека в сервисе - это уже не достоверно известный возраст, а модельный. Отгружая прогнозы по клиентам вы не выдаете никакой доподлинно известной информации. Главное, опять же, контролировать переобучение.

Завершающий пост - в эту пятницу
4. Эмбеддинги

Эмбеддинг - это представление примера из выборки в качестве неинтерпретируемого человеком вектора чисел, при этом понятного для методов машинного обучения. При построении эмбеддингов традиционно требования неинтерпретируемости не было - была только задача описать данные максимально компактно и при этом полезно для алгоритмов. Неинтерпретируемость досталась нам "бесплатно": оказалось, что машинному обучению нужно не то же самое, что человеку, нет необходимости притягивать данные к какому-то жизненному опыту и понимать, что "вот это число это возраст, а здесь у нас записан пол, а здесь финансовое положение". На основе эмбеддинга часто можно восстановить исходные данные, но с погрешностью. Эта неточность, однако, не портит или не сильно портит жизнь прогнозным моделям. Говоря о том, насколько опасно обмениваться эмбеддингами, можно заметить, что эмбеддинг из 100 чисел это, считай, те же 100 скоров. Так что подход похож на предыдущий, только теряется интерпретируемость, но может возрастать полезность данных, если эмбеддинги строятся специально под какие-то задачи.

5. Конфиденциальные вычисления

При наличии надежной третьей стороны, возможен следующий подход: третья сторона создает решение, позволяющее записать ваши данные и данные компании-партнера в некоторой защищенной области. При этом доступ к этой области обеспечивается так, что вы не можете посмотреть на сами данные, но сможете обучить на них свои модели. Примером конкретного такого решения может служить Intel SGX, позволяющий "создавать области в виртуальном адресном пространстве, защищённые от чтения и записи извне этой области другими процессами", как емко сообщает нам статья на вики.

6. Федеративное обучение

Но, в конце-концов, зачем вам передавать сами данные, чтобы построить модель? Передавайте модель (параметры модели, настраиваемые при обучении). Обучив модель на своих данных, вы можете свободно передавать владельцам других данных параметры самой модели, а они могут передавать параметры модели, обученной на их данных, вам. Простейшая такая схема - обучить модель у себя, передать модель партнерам и забрать уже доученную на их данных. Но в целом подход более общий, а детали реализации могут немного отличаться. Например, вы можете делать обучение модели в некоторой общей песочнице, которая умеет обращаться к данным нескольких сторон, получая значения текущих ошибок моделей, но не получая сами данные. Общая концепция федеративного обучения в том, что фактического обмена данными не происходит, но модель при обучении использует данные всех участвующих сторон.

Если как-то сравнивать все эти подходы, то наиболее жизнеспособные и перспективные, на мой взгляд, последние четыре. Они приведены исходя из моей субъективной оценки "возрастания секьюрности". Но всегда нужно помнить, что как бы секьюрно вы ни обменивались данными с компанией-партнером, какие-то данные нельзя передавать даже в преобразованном и как угодно зашифрованном виде. Например, в телекоме закон о тайне связи категорически запрещает любые манипуляции с содержанием звонков или сообщений между клиентами, и основывать на этом работу моделей недопустимо не только с моральной точки зрения, но и с точки зрения российского законодательства (а за соблюдением следят соответствующие органы). Деятельность банков и медучреждений в вопросах данных тоже регулируется. Свободней всего себя чувствуют интернет-компании: пока что любые их действия с данными ограничиваются только законом о персональных данных, здравым смыслом и заботой о своей репутации. Но посмотрим, как ситуация изменится через 10-15 лет.
Что не так с попыткой заработать денег с помощью рекомендательной системы

Допустим, у вас есть интернет-магазин, и на странице товара вы показываете несколько похожих или сопутствующих товаров. Например, можете показывать другие товары из той же категории или популярные. И тут вам приходит в голову персонализировать эти предложения.

Внедрив персональные рекомендации с помощью ML, вы смотрите статистику по кликам и покупкам и замечаете, что через клик на рекомендательный блок товары начали покупать вдвое чаще. Ура, вы поднимаете конверсию в покупку вдвое, теперь заработаете вдвое больше денег. Или нет? Вот, увы, нет.

Во-первых, конверсия с блока рекомендаций и конверсия с захода на сайт в покупку - не одно и то же. Например, если 80% трафика у вас идёт через каталог и игнорирует рекомендации, а 20% пользуется рекомендациями, то увеличение конверсии блока может быть связано, например, с тем, что вы обслуживаете им все те же 20% клиентов, просто более результативно. На практике конечно чем лучше рекомендации, тем больше клиентов вовлекаются в их использование в принципе, но это приводит нас к следующему тезису.

Вторая проблема - тот факт, что люди покупают товар с помощью рекомендаций, ещё не значит, что не купили бы без них. Возможно, они итак бы нашли товар через поиск и навигацию по каталогу, но рекомендации каннибализировали трафик с других элементов интерфейса, т.к. пользователю стало просто удобнее кликать по ним. В чем боль? В том, что рекомендации вроде бы и полезны, но не обязательно создают дополнительные продажи.

Как же тогда понять пользу от рекомендаций? Сделайте А/В тест, в одной группе показывайте новые рекомендации, в другой группе старые неперсонализированные, оцените статзначимость различий в выручке с пользователя или конверсиях с захода на сайт в покупку.

Скорее всего, вас ждёт два грустных открытия:
1) чтобы данных за несколько недель хватало для статзначимости, ваш магазин должен быть Озоном, Яндекс.Маркетом или Wildberries, а гонять тесты дольше при каждой доработке рекомендаций - не рабочая история,
2) конверсию в покупку вы в лучшем случае увеличиваете на несколько процентов, а деньги вовсе не значимы (точнее, не статзначимы).

Итог: миллионные и миллиардные эффекты от рекомендательных систем можно насчитать только в формате «на сколько напродавали с использованием рекомендаций», но не в формате «сколько заработанных денег мы бы недополучили без рекомендаций».

В следующих частях - что люди придумывали, чтобы заставить рекомендательные системы приносить деньги, и что делать, чтобы правда заработать на рекомендациях
Сегодня Курсера объявила об отказе от контента русских преподавателей. К сожалению, наша с коллегами специализация «Машинное обучение и анализ данных», через которую с 2016 года прошло более 150 тысяч человек, через 90 дней станет недоступна даже для тех, кто ее уже проходит. Сейчас думаем, что с этим делать.