С эффективностью нужно обращаться аккуратно :)

Пару месяцев назад меня попросили написать статью на habr про долгосрочные/краткосрочные рекомендации.
Вот она https://habr.com/ru/post/562102/

Удар по открытому доступу к информации в Netflix. Я их перехвалил в книге :)

В 2016– 2017 годах программист Сун Мо Цзюнь и еще несколько его коллег передавали конфиденциальную информацию о подписчиках Netflix брату Суна. Тот смотрел, как пользователи подписываются на Netflix, и начинал скупать или продавать акции компании. Все это он делал перед публикацией отчетности, чтобы быть первым среди владельцев акций.
После того как разработчик Сун Мо Цзюнь уволился из Netflix в 2017-м, он попросил своих бывших коллег воровать эту информацию и передавать ему. Эта схема работала больше трех лет. Их не могли отследить из-за того, что они общались в мессенджере со сквозным шифрованием. «Акционерам» так удалось заработать $3,1 млн.

Они торговали информацией, которая добывалась самым примитивным SQL запросом.

https://www.sec.gov/news/press-release/2021-158

Про откровенное вранье на собеседованиях

В последнее время я сталкиваюсь с тем, что люди откровенно врут на собеседованиях или публично, и не бояться разоблачения.

Написать пост побудило меня несколько последних случаев.

1. Я недавно на линкедин получил нотификацию, что можно поздравить бывшего моего коллегу (совсем не аналитика). И решил посмотреть как у него дела. И очень удивился, что он приписал себе все то, что я и мой коллега делали на том месте работы. Теоретически у меня есть возможность обрушить его карьеру, но я пока этого делать не буду.

2. Я нанимал человека для ремонта квартиры, у которого есть youtube канал с кучей подписчиков. Знаете, что было дальше? Он ушел в запой вместе с группой товарищей прямо на объекте, объяснив это тем, что он собрал группу для консультаций по ремонту :).

3. Один человек хвастался в соц сетях своим достижением-статусом (в области анализа данных) в одной из международных организаций. Для меня оно звучало как Герой России. Я такой получить не смог - это очень много времени и работы. Так вот выяснилось, что он получил его за то, что "подносил снаряды", а не за то, что он сделал серьезную работу.

4. Я собеседовал разработчика OLAP кубов, он утверждал, что все ок, он знает и умеет. Изначально я верил человеку, уже согласился его взять. А потом меня дернуло предложить - давай соберем куб вместе. Открыл комп, дизайн студию. Он завис и даже делать ничего не стал.

Плиз, старайтесь так не делать. И не все золото, что блестит...

Как ни странно хорошая статья на Секрете Фирмы. Сам про звезд я скажу следующее:

1) их никогда не удержать, если им скучно на текущей работе, деньги держат не более года

2) звезды часто начинают «звездить» - вести себя заносчиво. Это нужно пресекать, ничего хорошего это не принесет. Это распугает остальных хороших сотрудников. «Чтобы узнать кем является человек на самом деле - дайте ему власть»

3) звезды часто не могут договорится между собой. На этот недостаток указал мне разработчик Netflix, с которым я общался.

4) стараться не иметь незаменимых, это очень опасно для бизнеса

https://secretmag.ru/practice/poleznye-i-opasnye-nuzhny-li-biznesu-sotrudniki-zvyozdy-i-kak-ne-popast-v-ikh-plen.htm

Прилетел интересный отзыв на книгу через litres

“Супер. Книга хороша для своей области, но и область она заняла довольно необычную. Скорей всего она там одна.

Почитал я тут отзывы…
"Только вот про DS останется брошюрка страниц на десять, не больше"
Это вообще не о технических моментах DS книга. Она скорее для управленцев, наверно. Ну или для сеньеров, которые техмоменты и так все знают, а вот организационные и концептуально-организационные моменты, которые нигде в-общем-то не найдешь, эта кника предлагает.

Вообще книга для адекватного восприятия требует некоторой взрослости, чтоли, жизненного опыта, промышленного опыта и/или опыта в бизнесе. Тогда некоторые вещи, который пропустит и даже не заметит чисто технарь и узкий специалист, или молодой студент – для человека с набитыми шишками будет ценными и нетривиальными мыслями, ну или гипотезами на проверку.
Например:

"Мне этот опыт много дал – прежде всего я помогал компаниям, не отвлекаясь на корпоративные детали и бюрократию, как было бы, работай я в штате."

Здесь скрыто сразу несколько утверждений и зацепок для идей, но увидеть их может только человек с опытом. Причем утверждений довольно, ну, не то что «необычных», а «не попсовых», скажем так. Т.е. про них не скажешь что это вода, очевидные вещи, и «все так говорят» и вообще «капитан очевидность» – скорее наоборот: некоторые утверждения вызывают реакцию «да ладно! надо проверить! неужели это так?! а ведь и правда, что-то в этом есть!»

Это принципиально иной подход.”

https://www.litres.ru/roman-zykov/roman-s-data-science-kak-monetizirovat-bolshie-dannye/#recenses

Про бедность

В интервью для Тинькофф Банка Сергей Гуриев указал на главный фактор отличия бедных и богатых стран. В богатых странах все делается на века, в бедных на «год» все временное. Все из-за чувства нестабильности, отсутствия уважения к собственности, акционерам и предпринимателям. Про это я также читал в его книге «Мифы экономики». Ссылки будут в комментарии ниже.

У меня есть пара своих мыслей про это. Год назад я приобрел каяк (байдарку) в Декатлоне. Решение о приобретении было принято, когда мы ехали на дачу к родителям в Тверь. Все началось с разговора с женой в машине, что неплохо было бы приобрести надувную лодку, исполнить детскую мечту. И прямо во время поездки мы гуглили и нашли, что в декатлоне это продается. Окей, весь вечер я читал форумы западные и зарубежные, какой каяк лучше купить. И обнаружил довольно серьезное отличие двух аудиторий - в России все пытались найти максимально качественно подешевле (что в жизни редко бывает), на западе (британцы) с этим не парились, просто радовались эмоциям от лодки. Конечно декатлоновскую лодку у нас на форумах гнобили, на западных хвалили. Я думаю, что это все от бедности - англичанину можно просто выложить деньги, и он понимает, что за эту сумму он получает «конкретное» качество и понимает, что лучшее стоит дороже. Я поступил как британец - на следующее утро поехал в декатлон - купил комплект с веслами, и уже через 2 часа плавал на озере. В России, к сожалению, так получается у меньшинства.

Такую же модель поведения я увидел в бизнесе в России.

Так вот я сравнивал клиентов Ритейл Рокет в России и на Западе. Я не могу сказать, что я делал это объективно, скорее видел это со стороны. Главное отличие для меня - западные клиенты заключают договор, платят и получают услугу. В России распространена другая модель - перед заключением договора или после проводится огромная куча АБ тестов, в которых они сами часто ничего не понимают. Эти АБ тесты для компании оказывающей услугу стоят очень дорого - они требуют персонала, много мороки с договоренностями. Далее после получения результатов постоянно выкручивают руки, чтобы снизить стоимость услуги. Постоянно будут напоминать, что заходят конкуренты, предлагают существенно дешевле. При этом у клиента нет понимания, что за качество нужно платить. Это в точности совпадает с ситуацией с лодками! На Западе вас никто не будет мучить таким количествам АБ тестов, как в России! Там вам доверяют после подписания договора, доверяют качеству вашего товара и понимают, что если хочешь качественнее, то платить нужно больше.

Именно поэтому я свой новый проект, который я разрабатываю, ориентирую сразу на Запад.

Привет! Сегодня в 20:00 проведу вебинар для проекта DataLearn «Как изучать машинное обучение, чтобы это стало работой, а не хобби».

Youtube ссылка ниже. Zoom ссылку опубликую непосредственно перед вебинаром в комментарии к этому сообщению

https://youtu.be/DmqGfdQWP94

Друзья, я выпустил книгу на Амазон. И сейчас придумал алгоритм ее продвижения. Он немного бесчеловечный и добавляет изюминку риска :)
Если есть немного времени и желания, то прошу заполнить анкету для участия в эксперименте.
https://forms.gle/bj1MS9fjW6jsJAWk7

Получил приглашение на семинар. Про внедрение apache superset в сети магазинов Вкусвилл. У меня скорее негативный опыт работы с этой системой. Я писал об этом в книге в главе про отчетные системы

https://osp.ru/osplus/techaudit

Прочитал на форбс интересную статью про развитие компании Databricks, которая изобрела технологию Spark. В свое время Spark позволил мне масштабировать вычисления и сделать их дешевыми. Несколько страниц книги были посвящены именно ей.
Интересен отрывок из статьи, как Databricks смогла монетизировать свою технологию.
"Вступив в должность в январе 2016 года, Годси первым делом принял три решения. Первое — набрать в отдел продаж людей, которые умели вести переговоры с IТ-директорами корпораций. Второе — пригласить на руководящие позиции «людей, которые таким уже занимались». Третье — создать оригинальные куски программы, чтобы умелым продажникам было что продавать. На тот момент технология Databricks была слишком публичной. «У нас не было ничего особенного, потому что [другие компании] пользовались всем Apache Spark бесплатно», — говорит Годси.
Спустя год управленческая команда Databricks полностью обновилась, и в ней появились ветераны IТ-отрасли, которые помогали успешно выходить на клиентов вроде компаний AppDynamics и Alteryx. Годси предложил прежним топ-менеджерам возможность остаться при условии, что они будут в подчинении у новых сотрудников. «Если людям хватало ума, они сдерживали свое самолюбие», — говорит он. Только двое из семи руководителей уволились."

Отзыв написал самый крутой директор по онлайн маркетингу

Давно не писал про интересные книги, не было времени что-то читать, но сегодня хотел бы поделиться с вами тем, что читаю прямо сейчас и уже в начале понимаю, что это может быть интересно больше части подписчиков много канала.

С 2006 по 2010 я работал в OZON и отвечал за развитие бизнеса и запуск новых категорий, в то самое время я познакомился и подружился с Ромой Зыковым, который руководил отделом аналитики.
Именно Рома познакомил меня с OLAP кубами, привил желание самому разбираться в данных и прибегать к помощи аналитиков только когда нужен более системный, централизованный подход, про это кстати есть в книге.
Позже, мне повезло поработать с Ромой в Wikimart.

Начиная с того времени я укоренился в мысли что маркетолог должен быть аналитиком и хорошо разбираться в данных, это одна из ключевых идей в моем подходе к формированию команды маркетинга.

Рома недавно написал книгу про анализ данных, «Роман с data science. Как монетизировать большие данные». Книга, на мой взгляд будет полезна не только аналитикам, а всех кто ищет системный подход в маркетинге, электронной коммерции и стремится расширить свой кругозор.
Книга написана как инструкция и читать её можно не по порядку.

P.S.
Книга, кстати, была переведена на английский, знаю что меня читают и те кому англоязычный вариант будет удобнее.
#books #data #analytics

Часть 1 про стартапы (в трех постах)

Я решил поделиться советами, которые мне лично пригодились бы, когда я только начинал создавать стартап. Этот пост дополняет 12 главу (Задачи и стартапы) моей книги.
…

Еще в начале своей карьеры, работая аналитиком данных, я, как и многие, мечтал сделать что-то большое и действительно полезное для людей. Мне хотелось творчества, хотелось не просто исследовать данные, а пощупать результаты своего труда. Я работал в течение 10 лет в нескольких компаниях-стартапах, прежде чем в 2012-м году стать сооснователем компании, которая предоставляла рекомендательный сервис для e-commerce. В 2020-м во время пандемии COVID я на год ушел в творческий отпуск - написал книгу, выпустил ее на Amazon, а летом 2021 года полностью вышел из успешной компании (cash positive, 150+ сотрудников в России, Европе и Южной Америке). Сейчас я разрабатываю с нуля свой следующий проект.

Плюсы создания собственного стартапа

Уверенность в том, что действительно делаешь что-то полезное. С моей точки зрения, это самое важное. Именно эта уверенность будет вам помогать продолжать свой путь после многочисленных неудач (а кто сказал, что их не будет?).

Рост навыков по экспоненте - ограничений нет. Я считаю это вторым по важности фактором. Вам придется очень быстро осваивать навыки, которые нужны в вашей работе. У вас сразу будет возможность их применить. Если в курсах и книгах приходится иметь дело с искусственными примерами, то здесь вы будете решать реальные задачи. Плюс у вас будут серьезные вычислительные ограничения, от этого игра становится интересней.

Полная ответственность за результат. И она действительно полная. Здесь уже нельзя перенести вину за неудачи на ваших менеджеров и коллег. Но с другой стороны, в случае успеха - этот успех будет принадлежать вам и команде, которую вы наняли.

В случае успеха больший доход. Успех - это когда вы оказались в нужном месте в нужное время и воспользовались ситуацией. Но это не отменяет того, что придется много работать. Зато если ваш стартап выстрелит, вы получите больше денег, чем если бы остались на обычной работе.

Часть 2 про стартапы (в трех постах)

МИНУСЫ

Свободного времени будет меньше. В тот момент, когда я начал делать стартап, я вышел на новую работу, и у меня родилась дочь - приходилось все это совмещать. Умственная работа отличается от физической тем, что после рабочего дня голова продолжает работать и решать нерешенные задачи. Поэтому в чистый Worklife баланс я не верю.

Вероятность выстрела стартапа не такая большая. Да, это риск. Но с моей точки зрения разумный риск оправдан. Даже если у вас не получится, ваши взгляды на жизнь и работу изменятся. Вы станете более независимы в суждениях и будете меньше следовать мейнстриму. Ну и как минимум попробуете сложное дело, на которое мало кто решается. Даже если вы вернетесь на обычную работу, то будете видеть картину гораздо шире, чем раньше.

Меньше творчества, больше бизнеса. В стартапе действовать нужно очень быстро и при этом получать гарантированный результат. Если у меня есть выбор между двумя ML алгоритмами - первый сложный в разработке и теоретически дает лучше результат, а второй легкий, но и метрики у него средние - я всегда выберу тот, что легче, как шаг номер один. Да, первый алгоритм можно поместить в backlog гипотез, но скорее всего, уже через несколько месяцев вы измените и его.

Часть 2 про стартапы (в трех постах)

МИНУСЫ - продолжение

Теория не всегда совпадает с практикой. Последние 10 лет я разрабатывал рекомендательные алгоритмы для e-commerce. В научных статьях по этой теме используются стандартные метрики (Precision, Recall, Novelty, Diversity - поставить ссылку). Кажется, бери научную статью и делай. Этот подход хорошо работает, например, в компьютерном зрении, но не в моей области. Покупка - это отложенное событие. Покупатель может ее совершить через несколько часов и даже дней. Поэтому нет прямой связи между научными метриками и конверсией посетителя в заказ. (поставить ссылку)

Нельзя просто взять и уйти. Если с обычной работы можно просто уволиться, то стартап - это игра вдолгую. Вы связаны отношениями с партнерами, с командой, которую вы наняли, с клиентами. Часть 2

Именно поэтому покупатели стартапа выплачивают стоимость долей фаундерам не сразу, а частями. Если фаундер уйдет, бизнес может развалиться. У меня выход из компании занял год - я написал книгу, убедился, что все без меня работает. Я вышел, продав свою долю дешевле, чем мог бы, выиграв ценное свободное время.

Конфликты всегда будут. Я имею в виду отношения между основателями. Вначале вы работаете плечом к плечу, не думая ни о чем. И если получается то, что уже можно поделить - возникают конфликты. Кто-то больше делает, у кого-то меняется вектор развития, кто-то выгорел. Конфликты случаются в большинстве стартапов.

“Начальник” у вас будет жестче, чем у вас были в найме. Если вы думаете, что уйдете из найма и будете работать только на себя, то это не так. Как минимум, у вас будут клиенты, которые вам платят и требуют свое. Если у вас уже есть инвесторы, то и они. Все они - ваши новые “начальники”.

10 СОВЕТОВ для идущих из аналитики данных в основателей

Идея продукта для одного клиента. Вначале была идея, потом продукт. Если у вас есть идея, самый лучший способ ее проверить - реализовать ее на своей текущей работе с пользой для компании. Например, мой проект родился за много лет до того, как мы с партнерами создали компанию - рекомендательные системы я развивал как side project, еще работая по найму. Поэтому я сразу понимал, что и как делать, особенно на начальном этапе. MVP (Minimum Viable Product) тогда я смог собрать с закрытыми глазами.

Понимание инженерии - как дешево масштабировать продукт на тысячи клиентов. Очень важно уметь минимальными усилиями масштабировать продукт. Для этого нужно изучить практики внедрения моделей в production. Кроме Питона и SQL неплохо владеть каким-нибудь компилируемым языком программирования (Java, Scala, С#, C++). Полезно понимать, как использовать базы данных разного типа и Hadoop. Мне лично очень помогло посещение офиса Netflix, где я получил пару советов относительно ПО с открытым кодом и Hadoop. Изучение и внедрение Hadoop у меня заняло около полугода. Также я услышал про Spark на видео конференции O’Reilly STRATA. В своем стартапе мы были одними из первых, кто внедрял Spark в production.

Правильная метрика - залог успеха. Казалось бы, выбери общепринятую метрику для вашей ML модели - и все получится. К сожалению, это не так. Вы слышали проблемы метрик классификации для здравоохранения? Например, у вас есть два разных ПЦР теста COVID: тест A выдает больше ложноположительных результатов, тест B - ложноотрицательных. Тест A отправит больше здоровых людей на карантин, что будет вредно с экономической точки зрения. Тест B пропустит больше больных, и они будут распространять болезнь. Выбор теста очень непростой, он будет зависеть от обстоятельств. Перед таким же выбором вы будете стоять после A/B тестов двух разных алгоритмов. Например, в рекомендательных системах я сталкивался с ситуациями, когда алгоритм улучшал интересующую меня метрику, но сами рекомендации визуально выглядели хуже. Это “улучшение” очень сложно продать клиентам, даже несмотря на улучшение коммерческих метрик (конверсия посетителя в покупателя или средний чек).

Часть 3 про стартапы (в трех постах)

10 СОВЕТОВ - продолжение

Фулл тайм лучше, чем делать стартап по вечерам. Я сам программировал по вечерам и выходным. Даже завел себе второй ноутбук, который носил на текущую работу, чтобы иногда программировать и там. Вечером после трудового дня я уставал, поэтому код, который я писал, содержал очень много багов. Их приходилось исправлять весь следующий день. Скажу больше - некоторые из них были исправлены только через несколько лет. Поэтому постарайтесь найти возможность полностью посвятить себя своему проекту, это сэкономит вам много сил и времени в будущем.

Важность профессионального опыта. C ним легче достичь успеха, не привлекая большие инвестиции. А вот отсутствие опыта придется заливать деньгами. Поэтому неплохо было бы перед стартапом хорошо поработать в активных развивающихся компаниях, где можно многому научиться. Когда-то такой совет мне дал мой бывший босс. А если вы еще и поработали на стороне своего потенциального клиента, вам будет намного легче понимать его интересы. Известно, что во время продуктового интервью клиент вам все не скажет. Многие проблемы сложно осознать и озвучить. Мне очень помог опыт работы аналитиком в e-commerce. Первый стартап я сделал на основе полученных там знаний.

B2B стартап с большей вероятностью выстрелит, чем B2C. B2B потребует меньше инвестиций, меньше сотрудников, и средний чек транзакции там намного выше. Для самоокупаемости в B2B вам нужно привлечь намного меньше клиентов, чем если бы вы это делали в B2C.

Нет карго-культу. Легче всего копировать, что делают другие, особенно компании FAANG. Ваша компания и внутренняя культура уникальны, и просто натянуть шаблоны каких-либо стандартов, например, разработки, развертывания ML моделей или продукта не получится. Подвергайте сомнению любые стандарты, скорее всего вы создадите свои собственные, основанные на принципах здравого смысла, которые подходят именно вам.

Облака на старте лучше. Сейчас облака как конструктор Лего - не нужно думать о железных и софтовых проблемах, и масштабироваться относительно легко. Первый проект я делал на арендованном железе. Я развернул там Hadoop и настроил все вычисления алгоритмов. Второй свой проект я сразу начал создавать в облаке, где трачу на это намного меньше времени.

Клиенты хотят увеличение собственных продаж, а не просто аналитику их данных. Аналитический продукт намного тяжелее продавать, чем систему, которая просто повышает продажи клиенту. А если этот эффект еще и легко проверить, например, в том же Google Analytics, то ваш продукт будет раскупаться как горячие пирожки. Собственно, поэтому я не стал создавать проект по аналитике, а сразу пошел туда, где данные повышают продажи напрямую - например, в рекомендательных сервисах.

Self-service analytics. Старайтесь привить культуру аналитики самообслуживания в своей компании. Никто не любит, когда к нему приходит поток задач, которые можно сделать на “калькуляторе”. Я называю это monkey tasks - очень простые задачи, которые можно сделать самостоятельно двумя-тремя кликами мыши. Чтобы ими не заниматься, а делать более важные продуктовые задачи, нужно три условия:
1) Удобная интерактивная аналитическая система (OLAP, Tableau, Metabase, )
2) Качественные данные
3) Обученные пользователи
Если вложить усилия в эти три направления, то это хорошо окупится даже в условиях стартапа, где развитие происходит очень быстро.

Если кто-то интересуется рекомендательными системами, то я нашел очень хороший пост про последнюю конференцию по рекомендательным системам RecSys 2021. Автор поста занимается сейчас разработкой алгоримов на базе Deep Learning.
https://www.yusp.com/blog-posts/recsys-2021-impressions-summary/

Запостил книгу на Product Hunt, буду благодарен, если проголосуете https://www.producthunt.com/posts/roman-s-data-science-book

Друзья, я работаю над своим новым проектом в области маркетинга баз данных, повышающим маржинальность бизнеса (271 страница книги)!

Мне нужны собеседники - владельцы бизнесов, директора по маркетингу, маркетологи небольших компаний.
Важные критерии:
1. Ваша база клиентов не меньше нескольких сотен
2. Хотя бы некоторые клиенты делают повторные действия (покупки, подписки)
3. У вас есть возможность прямого контакта с ними через любые каналы (email, телефон, мессенджеры)

Если интересно, то связаться со мной можно в личке или по email rzykov@topdatalab.com

PS: Like, share, repost приветствуются!