Отзыв на книгу из Токио https://www.linkedin.com/feed/update/activity:6813674890869121024
topdatalab
Если вы уже читали книгу, то обратили внимание на подзаголовок «Конфликт исследователя и бизнеса». Завтра 17 июня в 19:00 я буду обсуждать эту тему на вебинаре в рамках фестиваля Data Fest 2021. Ссылка на регистрацию тут: https://topdatalab.ru/taplink
Видео выложено тут: https://youtu.be/Rn-eWG5t-is
YouTube
Конфликт исследователя и бизнеса, Роман Зыков
Конфликт исследователя и бизнеса, Роман Зыков, Автор книги “Роман с Data Science”, сооснователь Retail Rocket
Исследователи хотят развиваться и делать крутые вещи (самореализация по пирамиде Маслоу). Бизнес хочет зарабатывать деньги - это написано в уставе…
Исследователи хотят развиваться и делать крутые вещи (самореализация по пирамиде Маслоу). Бизнес хочет зарабатывать деньги - это написано в уставе…
Если я сделаю виртуальный семинар с разбором ваших кейсов по аналитике, придете?
Anonymous Poll
100%
Да
0%
Нет
Все мы люди! Поэтому относится к конфиденциальной информации следует строже. Я уже писал про Love intelligence в 11 главе про этику данных. Продолжение пришло из Facebook: https://vc.ru/social/269862-dostup-k-dannym-polzovateley-facebook-byl-u-16-tysyach-sotrudnikov-nekotorye-ispolzovali-ih-dlya-slezhki-istochniki
vc.ru
Доступ к данным пользователей Facebook был у 16 тысяч сотрудников, некоторые использовали их для слежки — источники — Соцсети на…
Например, один хотел узнать, куда пошла его девушка после ссоры, другой — следил за новой знакомой, которая перестала выходить на связь.
Andrew Ng, которого я многократно упоминал в книге, написал статью для Harvard Business Review.
В ней он подчеркивает важность правильных данных, а не моделей, которые на этих данных строятся. https://hbr.org/2021/07/ai-doesnt-have-to-be-too-complicated-or-expensive-for-your-business
Дело в том, что обычно инженеры и исследователи в области ML пытаются на одних и тех же данных строить множество моделей, но гораздо важнее собрать чуть более подходящие данные (улучшить их качество), чтобы получить решение на более простых алгоритмах. Что удешевит всю конструкцию особенно, когда вы не являетесь крупной технологической компанией.
В ней он подчеркивает важность правильных данных, а не моделей, которые на этих данных строятся. https://hbr.org/2021/07/ai-doesnt-have-to-be-too-complicated-or-expensive-for-your-business
Дело в том, что обычно инженеры и исследователи в области ML пытаются на одних и тех же данных строить множество моделей, но гораздо важнее собрать чуть более подходящие данные (улучшить их качество), чтобы получить решение на более простых алгоритмах. Что удешевит всю конструкцию особенно, когда вы не являетесь крупной технологической компанией.
Harvard Business Review
AI Doesn’t Have to Be Too Complicated or Expensive for Your Business
For most companies that are interested in using AI, there isn’t a clear model to follow. The approach to building AI used by massive internet companies like Amazon and Google just doesn’t translate — most companies don’t have overflowing troves of data they…
topdatalab
Если я сделаю виртуальный семинар с разбором ваших кейсов по аналитике, придете?
Напишите ваши вопросы для семинара мне на email - rzykov@topdatalab.ru
Тогда я смогу сделать несколько семинаров разбитых по темам.
Тогда я смогу сделать несколько семинаров разбитых по темам.
Пару месяцев назад меня попросили написать статью на habr про долгосрочные/краткосрочные рекомендации.
Вот она https://habr.com/ru/post/562102/
Вот она https://habr.com/ru/post/562102/
Хабр
Краткосрочные и долгосрочные персональные рекомендации
Автор: Роман Зыков, эксперт в области баз данных, независимый AI-консультант LENNUF.ru Когда мы говорим про персональные рекомендации, мы часто забываем, что...
Удар по открытому доступу к информации в Netflix. Я их перехвалил в книге :)
В 2016– 2017 годах программист Сун Мо Цзюнь и еще несколько его коллег передавали конфиденциальную информацию о подписчиках Netflix брату Суна. Тот смотрел, как пользователи подписываются на Netflix, и начинал скупать или продавать акции компании. Все это он делал перед публикацией отчетности, чтобы быть первым среди владельцев акций.
После того как разработчик Сун Мо Цзюнь уволился из Netflix в 2017-м, он попросил своих бывших коллег воровать эту информацию и передавать ему. Эта схема работала больше трех лет. Их не могли отследить из-за того, что они общались в мессенджере со сквозным шифрованием. «Акционерам» так удалось заработать $3,1 млн.
Они торговали информацией, которая добывалась самым примитивным SQL запросом.
https://www.sec.gov/news/press-release/2021-158
В 2016– 2017 годах программист Сун Мо Цзюнь и еще несколько его коллег передавали конфиденциальную информацию о подписчиках Netflix брату Суна. Тот смотрел, как пользователи подписываются на Netflix, и начинал скупать или продавать акции компании. Все это он делал перед публикацией отчетности, чтобы быть первым среди владельцев акций.
После того как разработчик Сун Мо Цзюнь уволился из Netflix в 2017-м, он попросил своих бывших коллег воровать эту информацию и передавать ему. Эта схема работала больше трех лет. Их не могли отследить из-за того, что они общались в мессенджере со сквозным шифрованием. «Акционерам» так удалось заработать $3,1 млн.
Они торговали информацией, которая добывалась самым примитивным SQL запросом.
https://www.sec.gov/news/press-release/2021-158
Про откровенное вранье на собеседованиях
В последнее время я сталкиваюсь с тем, что люди откровенно врут на собеседованиях или публично, и не бояться разоблачения.
Написать пост побудило меня несколько последних случаев.
1. Я недавно на линкедин получил нотификацию, что можно поздравить бывшего моего коллегу (совсем не аналитика). И решил посмотреть как у него дела. И очень удивился, что он приписал себе все то, что я и мой коллега делали на том месте работы. Теоретически у меня есть возможность обрушить его карьеру, но я пока этого делать не буду.
2. Я нанимал человека для ремонта квартиры, у которого есть youtube канал с кучей подписчиков. Знаете, что было дальше? Он ушел в запой вместе с группой товарищей прямо на объекте, объяснив это тем, что он собрал группу для консультаций по ремонту :).
3. Один человек хвастался в соц сетях своим достижением-статусом (в области анализа данных) в одной из международных организаций. Для меня оно звучало как Герой России. Я такой получить не смог - это очень много времени и работы. Так вот выяснилось, что он получил его за то, что "подносил снаряды", а не за то, что он сделал серьезную работу.
4. Я собеседовал разработчика OLAP кубов, он утверждал, что все ок, он знает и умеет. Изначально я верил человеку, уже согласился его взять. А потом меня дернуло предложить - давай соберем куб вместе. Открыл комп, дизайн студию. Он завис и даже делать ничего не стал.
Плиз, старайтесь так не делать. И не все золото, что блестит...
В последнее время я сталкиваюсь с тем, что люди откровенно врут на собеседованиях или публично, и не бояться разоблачения.
Написать пост побудило меня несколько последних случаев.
1. Я недавно на линкедин получил нотификацию, что можно поздравить бывшего моего коллегу (совсем не аналитика). И решил посмотреть как у него дела. И очень удивился, что он приписал себе все то, что я и мой коллега делали на том месте работы. Теоретически у меня есть возможность обрушить его карьеру, но я пока этого делать не буду.
2. Я нанимал человека для ремонта квартиры, у которого есть youtube канал с кучей подписчиков. Знаете, что было дальше? Он ушел в запой вместе с группой товарищей прямо на объекте, объяснив это тем, что он собрал группу для консультаций по ремонту :).
3. Один человек хвастался в соц сетях своим достижением-статусом (в области анализа данных) в одной из международных организаций. Для меня оно звучало как Герой России. Я такой получить не смог - это очень много времени и работы. Так вот выяснилось, что он получил его за то, что "подносил снаряды", а не за то, что он сделал серьезную работу.
4. Я собеседовал разработчика OLAP кубов, он утверждал, что все ок, он знает и умеет. Изначально я верил человеку, уже согласился его взять. А потом меня дернуло предложить - давай соберем куб вместе. Открыл комп, дизайн студию. Он завис и даже делать ничего не стал.
Плиз, старайтесь так не делать. И не все золото, что блестит...
Как ни странно хорошая статья на Секрете Фирмы. Сам про звезд я скажу следующее:
1) их никогда не удержать, если им скучно на текущей работе, деньги держат не более года
2) звезды часто начинают «звездить» - вести себя заносчиво. Это нужно пресекать, ничего хорошего это не принесет. Это распугает остальных хороших сотрудников. «Чтобы узнать кем является человек на самом деле - дайте ему власть»
3) звезды часто не могут договорится между собой. На этот недостаток указал мне разработчик Netflix, с которым я общался.
4) стараться не иметь незаменимых, это очень опасно для бизнеса
https://secretmag.ru/practice/poleznye-i-opasnye-nuzhny-li-biznesu-sotrudniki-zvyozdy-i-kak-ne-popast-v-ikh-plen.htm
1) их никогда не удержать, если им скучно на текущей работе, деньги держат не более года
2) звезды часто начинают «звездить» - вести себя заносчиво. Это нужно пресекать, ничего хорошего это не принесет. Это распугает остальных хороших сотрудников. «Чтобы узнать кем является человек на самом деле - дайте ему власть»
3) звезды часто не могут договорится между собой. На этот недостаток указал мне разработчик Netflix, с которым я общался.
4) стараться не иметь незаменимых, это очень опасно для бизнеса
https://secretmag.ru/practice/poleznye-i-opasnye-nuzhny-li-biznesu-sotrudniki-zvyozdy-i-kak-ne-popast-v-ikh-plen.htm
secretmag.ru
Полезные и опасные. Нужны ли бизнесу сотрудники-звёзды и как не попасть в их плен
Netflix практически со дня своего основания старается нанимать только сотрудников-звёзд. Соучредитель компании, Рид Хастингс, уверен, что лучшие технические таланты способны быстро привести бизнес к успеху. И лучше заплатить одному выдающемуся программисту…
👍1
Прилетел интересный отзыв на книгу через litres
“Супер. Книга хороша для своей области, но и область она заняла довольно необычную. Скорей всего она там одна.
Почитал я тут отзывы…
"Только вот про DS останется брошюрка страниц на десять, не больше"
Это вообще не о технических моментах DS книга. Она скорее для управленцев, наверно. Ну или для сеньеров, которые техмоменты и так все знают, а вот организационные и концептуально-организационные моменты, которые нигде в-общем-то не найдешь, эта кника предлагает.
Вообще книга для адекватного восприятия требует некоторой взрослости, чтоли, жизненного опыта, промышленного опыта и/или опыта в бизнесе. Тогда некоторые вещи, который пропустит и даже не заметит чисто технарь и узкий специалист, или молодой студент – для человека с набитыми шишками будет ценными и нетривиальными мыслями, ну или гипотезами на проверку.
Например:
"Мне этот опыт много дал – прежде всего я помогал компаниям, не отвлекаясь на корпоративные детали и бюрократию, как было бы, работай я в штате."
Здесь скрыто сразу несколько утверждений и зацепок для идей, но увидеть их может только человек с опытом. Причем утверждений довольно, ну, не то что «необычных», а «не попсовых», скажем так. Т.е. про них не скажешь что это вода, очевидные вещи, и «все так говорят» и вообще «капитан очевидность» – скорее наоборот: некоторые утверждения вызывают реакцию «да ладно! надо проверить! неужели это так?! а ведь и правда, что-то в этом есть!»
Это принципиально иной подход.”
https://www.litres.ru/roman-zykov/roman-s-data-science-kak-monetizirovat-bolshie-dannye/#recenses
“Супер. Книга хороша для своей области, но и область она заняла довольно необычную. Скорей всего она там одна.
Почитал я тут отзывы…
"Только вот про DS останется брошюрка страниц на десять, не больше"
Это вообще не о технических моментах DS книга. Она скорее для управленцев, наверно. Ну или для сеньеров, которые техмоменты и так все знают, а вот организационные и концептуально-организационные моменты, которые нигде в-общем-то не найдешь, эта кника предлагает.
Вообще книга для адекватного восприятия требует некоторой взрослости, чтоли, жизненного опыта, промышленного опыта и/или опыта в бизнесе. Тогда некоторые вещи, который пропустит и даже не заметит чисто технарь и узкий специалист, или молодой студент – для человека с набитыми шишками будет ценными и нетривиальными мыслями, ну или гипотезами на проверку.
Например:
"Мне этот опыт много дал – прежде всего я помогал компаниям, не отвлекаясь на корпоративные детали и бюрократию, как было бы, работай я в штате."
Здесь скрыто сразу несколько утверждений и зацепок для идей, но увидеть их может только человек с опытом. Причем утверждений довольно, ну, не то что «необычных», а «не попсовых», скажем так. Т.е. про них не скажешь что это вода, очевидные вещи, и «все так говорят» и вообще «капитан очевидность» – скорее наоборот: некоторые утверждения вызывают реакцию «да ладно! надо проверить! неужели это так?! а ведь и правда, что-то в этом есть!»
Это принципиально иной подход.”
https://www.litres.ru/roman-zykov/roman-s-data-science-kak-monetizirovat-bolshie-dannye/#recenses
Литрес
Роман с Data Science. Как монетизировать большие данные — Роман Зыков | Литрес
Как выжать все из своих данных? Как принимать решения на основе данных? Как организовать анализ данных (data science) внутри компании? Кого нанять аналитиком? Как довести проекты машинного обучения (…
Про бедность
В интервью для Тинькофф Банка Сергей Гуриев указал на главный фактор отличия бедных и богатых стран. В богатых странах все делается на века, в бедных на «год» все временное. Все из-за чувства нестабильности, отсутствия уважения к собственности, акционерам и предпринимателям. Про это я также читал в его книге «Мифы экономики». Ссылки будут в комментарии ниже.
У меня есть пара своих мыслей про это. Год назад я приобрел каяк (байдарку) в Декатлоне. Решение о приобретении было принято, когда мы ехали на дачу к родителям в Тверь. Все началось с разговора с женой в машине, что неплохо было бы приобрести надувную лодку, исполнить детскую мечту. И прямо во время поездки мы гуглили и нашли, что в декатлоне это продается. Окей, весь вечер я читал форумы западные и зарубежные, какой каяк лучше купить. И обнаружил довольно серьезное отличие двух аудиторий - в России все пытались найти максимально качественно подешевле (что в жизни редко бывает), на западе (британцы) с этим не парились, просто радовались эмоциям от лодки. Конечно декатлоновскую лодку у нас на форумах гнобили, на западных хвалили. Я думаю, что это все от бедности - англичанину можно просто выложить деньги, и он понимает, что за эту сумму он получает «конкретное» качество и понимает, что лучшее стоит дороже. Я поступил как британец - на следующее утро поехал в декатлон - купил комплект с веслами, и уже через 2 часа плавал на озере. В России, к сожалению, так получается у меньшинства.
Такую же модель поведения я увидел в бизнесе в России.
Так вот я сравнивал клиентов Ритейл Рокет в России и на Западе. Я не могу сказать, что я делал это объективно, скорее видел это со стороны. Главное отличие для меня - западные клиенты заключают договор, платят и получают услугу. В России распространена другая модель - перед заключением договора или после проводится огромная куча АБ тестов, в которых они сами часто ничего не понимают. Эти АБ тесты для компании оказывающей услугу стоят очень дорого - они требуют персонала, много мороки с договоренностями. Далее после получения результатов постоянно выкручивают руки, чтобы снизить стоимость услуги. Постоянно будут напоминать, что заходят конкуренты, предлагают существенно дешевле. При этом у клиента нет понимания, что за качество нужно платить. Это в точности совпадает с ситуацией с лодками! На Западе вас никто не будет мучить таким количествам АБ тестов, как в России! Там вам доверяют после подписания договора, доверяют качеству вашего товара и понимают, что если хочешь качественнее, то платить нужно больше.
Именно поэтому я свой новый проект, который я разрабатываю, ориентирую сразу на Запад.
В интервью для Тинькофф Банка Сергей Гуриев указал на главный фактор отличия бедных и богатых стран. В богатых странах все делается на века, в бедных на «год» все временное. Все из-за чувства нестабильности, отсутствия уважения к собственности, акционерам и предпринимателям. Про это я также читал в его книге «Мифы экономики». Ссылки будут в комментарии ниже.
У меня есть пара своих мыслей про это. Год назад я приобрел каяк (байдарку) в Декатлоне. Решение о приобретении было принято, когда мы ехали на дачу к родителям в Тверь. Все началось с разговора с женой в машине, что неплохо было бы приобрести надувную лодку, исполнить детскую мечту. И прямо во время поездки мы гуглили и нашли, что в декатлоне это продается. Окей, весь вечер я читал форумы западные и зарубежные, какой каяк лучше купить. И обнаружил довольно серьезное отличие двух аудиторий - в России все пытались найти максимально качественно подешевле (что в жизни редко бывает), на западе (британцы) с этим не парились, просто радовались эмоциям от лодки. Конечно декатлоновскую лодку у нас на форумах гнобили, на западных хвалили. Я думаю, что это все от бедности - англичанину можно просто выложить деньги, и он понимает, что за эту сумму он получает «конкретное» качество и понимает, что лучшее стоит дороже. Я поступил как британец - на следующее утро поехал в декатлон - купил комплект с веслами, и уже через 2 часа плавал на озере. В России, к сожалению, так получается у меньшинства.
Такую же модель поведения я увидел в бизнесе в России.
Так вот я сравнивал клиентов Ритейл Рокет в России и на Западе. Я не могу сказать, что я делал это объективно, скорее видел это со стороны. Главное отличие для меня - западные клиенты заключают договор, платят и получают услугу. В России распространена другая модель - перед заключением договора или после проводится огромная куча АБ тестов, в которых они сами часто ничего не понимают. Эти АБ тесты для компании оказывающей услугу стоят очень дорого - они требуют персонала, много мороки с договоренностями. Далее после получения результатов постоянно выкручивают руки, чтобы снизить стоимость услуги. Постоянно будут напоминать, что заходят конкуренты, предлагают существенно дешевле. При этом у клиента нет понимания, что за качество нужно платить. Это в точности совпадает с ситуацией с лодками! На Западе вас никто не будет мучить таким количествам АБ тестов, как в России! Там вам доверяют после подписания договора, доверяют качеству вашего товара и понимают, что если хочешь качественнее, то платить нужно больше.
Именно поэтому я свой новый проект, который я разрабатываю, ориентирую сразу на Запад.
topdatalab pinned «Про бедность В интервью для Тинькофф Банка Сергей Гуриев указал на главный фактор отличия бедных и богатых стран. В богатых странах все делается на века, в бедных на «год» все временное. Все из-за чувства нестабильности, отсутствия уважения к собственности…»
Привет! Сегодня в 20:00 проведу вебинар для проекта DataLearn «Как изучать машинное обучение, чтобы это стало работой, а не хобби».
Youtube ссылка ниже. Zoom ссылку опубликую непосредственно перед вебинаром в комментарии к этому сообщению
https://youtu.be/DmqGfdQWP94
Youtube ссылка ниже. Zoom ссылку опубликую непосредственно перед вебинаром в комментарии к этому сообщению
https://youtu.be/DmqGfdQWP94
YouTube
Angry Data Scientist - изучаем машинное обучение / Роман Зыков
Достала реклама курсов, обещающих светлое будущее и полный кошелек. Давайте поговорим серьезно о изучении машинного обучения, чтобы выйти из хобби в реальную работу, которое приносит настоящую пользу.
Друзья, я выпустил книгу на Амазон. И сейчас придумал алгоритм ее продвижения. Он немного бесчеловечный и добавляет изюминку риска :)
Если есть немного времени и желания, то прошу заполнить анкету для участия в эксперименте.
https://forms.gle/bj1MS9fjW6jsJAWk7
Если есть немного времени и желания, то прошу заполнить анкету для участия в эксперименте.
https://forms.gle/bj1MS9fjW6jsJAWk7
Google Docs
Продвижение на амазоне
Анкета желающих помочь продвижению книги "Роман с Data Science" на Amazon.com. После анкеты я (Роман Зыков) свяжусь с вами лично.
Получил приглашение на семинар. Про внедрение apache superset в сети магазинов Вкусвилл. У меня скорее негативный опыт работы с этой системой. Я писал об этом в книге в главе про отчетные системы
https://osp.ru/osplus/techaudit
https://osp.ru/osplus/techaudit
www.osp.ru
techaudit
«Корпоративная бизнес-аналитика на открытом коде - это реально! Опыт ВкусВилл»
Прочитал на форбс интересную статью про развитие компании Databricks, которая изобрела технологию Spark. В свое время Spark позволил мне масштабировать вычисления и сделать их дешевыми. Несколько страниц книги были посвящены именно ей.
Интересен отрывок из статьи, как Databricks смогла монетизировать свою технологию.
"Вступив в должность в январе 2016 года, Годси первым делом принял три решения. Первое — набрать в отдел продаж людей, которые умели вести переговоры с IТ-директорами корпораций. Второе — пригласить на руководящие позиции «людей, которые таким уже занимались». Третье — создать оригинальные куски программы, чтобы умелым продажникам было что продавать. На тот момент технология Databricks была слишком публичной. «У нас не было ничего особенного, потому что [другие компании] пользовались всем Apache Spark бесплатно», — говорит Годси.
Спустя год управленческая команда Databricks полностью обновилась, и в ней появились ветераны IТ-отрасли, которые помогали успешно выходить на клиентов вроде компаний AppDynamics и Alteryx. Годси предложил прежним топ-менеджерам возможность остаться при условии, что они будут в подчинении у новых сотрудников. «Если людям хватало ума, они сдерживали свое самолюбие», — говорит он. Только двое из семи руководителей уволились."
Интересен отрывок из статьи, как Databricks смогла монетизировать свою технологию.
"Вступив в должность в январе 2016 года, Годси первым делом принял три решения. Первое — набрать в отдел продаж людей, которые умели вести переговоры с IТ-директорами корпораций. Второе — пригласить на руководящие позиции «людей, которые таким уже занимались». Третье — создать оригинальные куски программы, чтобы умелым продажникам было что продавать. На тот момент технология Databricks была слишком публичной. «У нас не было ничего особенного, потому что [другие компании] пользовались всем Apache Spark бесплатно», — говорит Годси.
Спустя год управленческая команда Databricks полностью обновилась, и в ней появились ветераны IТ-отрасли, которые помогали успешно выходить на клиентов вроде компаний AppDynamics и Alteryx. Годси предложил прежним топ-менеджерам возможность остаться при условии, что они будут в подчинении у новых сотрудников. «Если людям хватало ума, они сдерживали свое самолюбие», — говорит он. Только двое из семи руководителей уволились."