Видео с вебинара тут: https://www.youtube.com/watch?v=Nr_gALgG_Pk

Три фазы эволюции аналитики данных (BI) в компании
1. Рассылка отчетов по запросу пользователей. Пользователи пишут запрос на данные, аналитики считают и присылают Excel файл с данными (выгрузка)
2. В ответ на запрос пользователя создаются «жесткие» отчеты, которые доступны из веба
3. Создать систему, где пользователи сами могут найти ответ на свой вопрос без использования SQL

Недостатки первой системы очевидны. Аналитики делают как им удобно ставя компанию в зависимость от свой персоны, при этом постоянно ссылаясь на собственную занятость. Пользователям плохо - каждый раз, когда нужно получить обновленные данные прошлого отчета, они пишут аналитикам и ждут.

Вторая система уже лучше. По крайней мере вам не нужно уже делать повторяющиеся действия. Но все равно будут приходить новые запросы на изготовление нового отчета.

Третья система самая лучшая в случае, если она удобна для пользователей, и они получили соответствующее обучение. Тогда 80% вопросов будут решаться самими пользователями без обращения к аналитикам.

Спросите себя, какая у вас система в компании?

виза гастарбайтера таланта готова. если нужно, то у меня есть контакт хорошей девушки-британки, которая помогла причесать мне все документы. она уже помогла получить одобрение визы одному моему товарищу. сейчас еще помогает одному знакомому

Раньше:
Я фанател от новых технологий. Даже не думал о действительной нужности технологии для конкретной задачи.
Так я освоил кубы, Hadoop. Но потом мне все это пригодилось, пригождается и сейчас.

Сейчас:
Мне интересны задачи, которые могут сильно увеличить эффективность бизнеса, например, как больше продавать. И еще меня стало драйвить доведение задач до логического конца, даже в те моменты, когда интерес к самой задаче уже прошел.

А как у вас с этим?

Offtopic. Мой алгоритм перевозки меня и кота в Лондон.
1. Получите ветеринарный паспорт для вашего кота в России: Это бумага с прививками, которая нужна для начала процесса.
2. Получите ветеринарное свидетельство формы 1: Вы должны идти в государственную ветеринарную аптеку и получить это свидетельство для вывоза животного. Они также сделают глистогонку.
3. Обменяйте ветеринарное свидетельство на евросертификат в Россельхознадзоре: Этот сертификат необходим для вывоза животного из России. Вы можете сделать это в офисе Россельхознадзора в вашем городе или в аэропорту.
4. Перелет в Амстердам: Ваш кот может путешествовать с вами на основании евросертификата от Россельхознадзора.
5. Доехать до Hook van Holland: Используйте Uber для поездки от аэропорта до Hook van Holland, это около 40 километров.
6. Паром до Великобритании: Паромная компания называется Stena Line. Вы можете выбрать, будет ли ваш кот путешествовать с вами в каюте или в клетке. В последнем случае, вы сможете следить за своим питомцем через камеру. Проверка документов производится до отплытия парома.
7. Прибытие в Великобританию: Паром прибывает в порт Harwich International. Контроль животных уже не производится, так как это происходит до отплытия парома.
8 Добраться до Лондона: Купите билеты на поезд Greater Anglia от Harwich International до London Liverpool Street. Скорее всего, вам придется пересаживаться на станции Manningtree.

PS: В Англию запрещено ввозить животное в салоне самолета 🙁

А есть ли у меня в группе люди, которые делали красивые дашбоарды в Metabase? Хотел бы проконсультироваться.
Руки чешутся избавится от Tableau

Ищу двух BI аналитиков к себе в команду. Одна позиция полностью удаленная, другая предпочтительно Кишинев
Must have: хорошо разбираться в Tableau или Metabase.
Ссылка: https://apply.workable.com/silverbird/j/EE893382D1/

Продолжение про Metabase
Скоро выйдет новая версия 4.7. Теперь в ней есть табы и режим просмотра в полном экране. Pdf экспорт добавили, но он пока экспортирует только одну вкладку, а не весь отчет. Записал видео!

Теперь можно на больших корпоративных встречах пролистывать вкладки как слайды. Пора полностью уходить с Tableau

Прочитал довольно интересное интервью Беклемишева - профессора Физтеха, автора курса и учебника по линейной алгебре, мастера спорта по боксу. Этот предмет очень хорошо используется в машинном обучении (векторизованные вычисления) и нейронных сетях (тензоры)

Сам Беклемишев был очень «опасен» на экзаменах, если плавал в предмете - лучше к нему не попадать.

https://miptstream.ru/2018/05/13/dmitriy-beklemishev-inerview/

Оно больше не про науку, а про жизнь.
«На защиту диплома пришел декан Биофака И.И. Презент, бывший правой рукой Т.Д. Лысенко. Он выступил и сказал, что в этой работе произведена подмена живых биологических закономерностей абстрактными математическими формулами, что это граничит с идеализмом и попахивает вейсманизмом — морганизмом. Обвинения были тяжелыми: взрослый человек после такой речи мог бы лишиться работы»

Как собеседовать BI аналитиков?
Сейчас как раз готовлюсь к собеседованиям. И вспомнил, как меня готовил к собеседованию фейсбук. Они прислали мне подробную инструкцию как подготовится. И я сейчас подумал, почему бы и нет?

Составил следующее письмо. Оно будет высылаться кандидатам, которые будут проходить техническое интервью:

The interview will be a structured session, designed to provide us with a deeper understanding of your skills, experiences, and potential fit with our organization.

The interview will be divided into three parts:

1. Work Experience (10 minutes): During this segment, we would like you to share with us your professional journey. We are particularly interested in your personal achievements, and how you have managed stress situations at your workplace. This will allow us to understand more about your problem-solving skills and how you approach challenges.

2. SQL Evaluation (20 minutes): We have prepared a data set that we would like you to analyze using SQL. The data set can be found at the following link: [Data Set](https://docs.google.com/spreadsheets/d/1ccRhB0omGgUJGmE7y4rJ4YFqauJ4v4FmEZ2b4bM-pCc/edit#gid=0). It contains two tables: clients and orders. We would like to see your proficiency in the following areas:
- SELECT with GROUP BY and WHERE
- Simple math aggregate functions (SUM, AVG, MIN, MAX, etc)
- SELECT with CTE (WITH) for solving TOP 1 tasks
- JOINs: INNER, OUTER

3. Data Visualization (20 minutes): In this section, we will ask you to create charts and dashboards based on the results of your SQL analysis. You may use any data tool that you prefer for this task. Excel or Google Sheets would be sufficient.

We recommend you prepare ahead of time for this structured interview, especially the SQL and data visualization segments.


Во-первых, я хочу узнать, как человек работает в стрессе. Понятно, что всей правды не скажет, но поковырять его в этом направлении следует. Бывают люди, которые любят строгие корпоративные правила, бывают, которые их не любят.
Во-вторых, как человек справляется с SQL
В-третьих, как он создает графики и дашбоарды. Я понял, что мне не важен инструмент, главное принципы!

Как вам?

PS: И да, я разрешаю гуглить в процессе собеседования!

Отсобеседовал по этой методике, одному хочу сделать оффер, другому 100% отказ

По первому человеку:
Хорошо подготовился, даже загрузил данные в БД на своем компьютере. Очень бегло писал SQL, код был сразу рабочий, все уточнения вносил быстро. На втором этапе он очень быстро крутил данные в Tableau, плюс в целом у него есть вкус к правильным графикам!

Второй человек: сразу попросил ЗП в полтора раза больше, говорит очень хорошо.
Данные тоже загрузил в БД, и даже написал какие-то запросы и сделал визуализацию до собеседования.
Я даже смотреть не стал, так как все нужно проверять вживую. В общем на простых SQL запросах завалился.

Вывод: инструкцию для подготовки к собеседованию стоит посылать. Если человек не разбирается в вопросе - она ему не поможет.

Еще заметил, что первый руководитель - это одна из самых важных вещей в карьере! Это как первый учитель в школе. Неважно какая школа, неважно какая компания, главное это то, чему вы можете научиться у него, увидеть ролевой пример.

Очень много ребят вижу, которые не имея опыта создают аналитические системы с нуля, сильно завышают свою самооценку, но при этом делают дерьмо. В которое кто-то потом вляпается. 🙁 Иногда вздыхаешь и думаешь, лучше бы ничего не делал, ну или хотя бы мою книгу прочитал 🙂

Ищите классного руководителя, а не компанию. Очень быстрый профессиональный трек гарантирован!

По первому - оффер принят. 26 июля первый рабочий день в офисе в Кишиневе. Я думаю будет правильно, если новичок будет ходить в офис почти каждый день на испытательном сроке 😈.

Сегодня было еще одно собеседование по моей методике. Кандидат провалил SQL 😢 Хотя было около 4 дней на подготовку

PS: у меня в последнее время не очень хорошее отношение к удаленке. Серьезно думаю, а не нанять ли второго аналитика тоже в Кишиневе. Сам я планирую работать в офисе почти каждый день

Meta выпустила большую нейросеть в конкуренцию с GPT!
Цитирую Яна Лекуна, AI директора Меты:
Llama-v2 имеет открытый исходный код и лицензию, разрешающую коммерческое использование!

Это изменит ландшафт рынка LLM.
Llama-v2 доступна на Microsoft Azure и будет доступна на AWS, Hugging Face и других провайдерах.

Доступны предварительно обученные и тонко настроенные модели с параметрами 7B, 13B и 70B.

Сайт Llama-2: https://ai.meta.com/llama/
Документ Llama-2: https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/

Вебинар №3: “Возврат клиентов, как он работает?”
Пятница (завтра) 21 июля в 11 по Москве.

Попробуем разобраться, как работает алгоритм сегментации спящих клиентов. И как можно его улучшить. Программа вебинара:
 1 Кратко пробежимся по прошлым вебинарам: 80-90% от клиентской базы уже ничего не купят, сегментация для возврата клиентов. Как тестировать возврат, чтобы он был прибыльным
 2 Строим график времени возвращения клиентов
 3 Учимся вычислять оптимальное время отправки клиентам
 4 Recency - давность последней покупки
 5 Бинарная сегментация для больших баз клиентов

Добавить напоминание в календарь: https://calendar.google.com/calendar/event?action=TEMPLATE&tmeid=MXQzY2E5cGlqc2JtajQ2Z2ljaHBnMjRxZnMgNDE3Zjg4MzRjZTg3ZGUyMWE0MjdmZDk3YmM0Yjc1NDk0YzQ0YmM0YTVmNTMxM2Q4MmZlNDVkOTZiYWUzN2JjY0Bn&tmsrc=417f8834ce87de21a427fd97bc4b75494c44bc4a5f5313d82fe45d96bae37bcc%40group.calendar.google.com

Трансляция Zoom: https://us06web.zoom.us/j/84377992402?pwd=dEdGRWd5aTliaHd1SFVLYnpHM2c4QT09
Meeting ID: 843 7799 2402
Passcode: 267119
Трансляция Youtube: https://youtube.com/live/C_yVXhIGf_Y?feature=share


Для подготовки я рекомендую прочитать главу про эксперименты моей книги “Роман с Data Science”, сильно поможет.  Рекомендую также посмотреть прошлые вебинары (https://www.youtube.com/playlist?list=PL6JZjfDHrgquOSkqBiEenEe23eiIoUI-0) и пощелкать калькулятор сегментации https://retenly.com/calc/

Запись вебинара https://www.youtube.com/watch?v=Sx4My5af3sQ

PS: я обработал звук нейросетью, иногда странные артефакты по звуку

Вы пришли в казино, и знаете, что если вы поставите на черные, шанс выиграть 60%. На красные - 40 %.

На что вы поставите? Или будете ждать вариант выиграть в вероятностью 90-95%?

Скорее всего нет, вы поставите на черные. Также относитесь к А/Б тестам! Бизнес похож на казино, а не науку

Всем привет! Я уже две недели как в Лондоне. Кота довез (два перелета, ночной корабль через Ла-Манш, такси), теперь могу консультировать по этому вопросу :).
Живу в 25 минутах ходьбы от Canary Wharf, где сейчас работаю на Silverbird. Будние дни работаю в офисе, удаленка надоела. Квартиру - часть дома сняли заранее, чтобы не мотаться по гостиницам, а дело это тут очень дорогое :(. Если нужен контакт такого риелтора - пишите.

Пока своим проектом мало занимаюсь, устраиваю дела, да и сейчас все рабочее время - это VP of Data в Silverbird.

Будете на Canary Wharf - обязательно пишите!

Продолжение истории про поставщиков данных!
Я выпустил систему в продакшн и параллельно стал проверять, как много мы платим за каждый запрос. В итоге получилось довольно дорого! 😰 Я написал письмо в компании, предложил три шага по улушению. В ответ был послан **** следующей фразой:
“But I am sorry to say we cannot change minimum numbers, we simply do not find it profitable”

Что делать? искать альтернативы, но как?
1. Пойти в similarweb.com, найти конкурентов сервиса, начать общаться с их продажниками. Пообщался - все очень дорого. Особенно у американских компаний, где цена доходила до 1$ за 10 строк данных.
2. Взять пару сотен компаний, которые точно что-то возили и пропарсить выдачу гугла. Нашел сервис под это (очень рекомендую) https://serper.dev/. Спарсил выдачу и посмотрел, какие сервисы засветились. Выбросил все, с которыми уже провел переговоры. Нашел одну с хорошим покрытием по моим данным. Конечно, она находится в Индии. После общения с их продажами стало понятно, что будет дешевле раза в три.

Найти сервис это одно, но как его проверить? Если поставщик данных занимается поисковой оптимизацией, то у него должен быть хороший sitemap.xml, где находятся все урлы, которые поисковый робот может проиндексировать. Итак, идем сайт по адресу сайт/robots.txt, ищем ссылки на sitemap, скачиваем и понимаем, какой на самом деле объем данных может предоставить поставщик!

Сделайте это упражнение для сайта dnb.com, вы удивитесь, как много можно увидеть в обычных sitemap.xml!

О чем написать дальше? Ставьте
🔥- про обогащение данных
❤️- про найм. я продолжаю нанимать, есть пара кейсов

Что выделяет лучшего кандидата от хороших?
Вопросы, которые они задают на интервью! Почти все успешные кандидаты задавали отличные вопросы. Сразу видно, насколько серьезный опыт у человека, и насколько детально он разбирается в работе .

Один пример. Я искал фрилансера на Upwork, который напишет мне три рекомендательных письма для визы талантов. Мне написали цену несколько человек. Но одна девушка указала на один момент и задала правильный вопрос. На тот момент у нее почти не было отзывов. Ее сообщение зацепило меня, и я решил довериться интуиции, а не числу отзывов. И не прогадал. Опыт работы с ней был чудесным, все получилось.