Аналитика данных / Data Study
9.5K subscribers
577 photos
54 videos
25 files
437 links
Помогаю аналитикам расти в профессии и доходе

Курс по продвинутому SQL и автоматизации потоков данных https://datastudy.ru/

По всем вопросам: @daniildzheparov

Моя жизнь, опыт, аналитика и инженерия данных

max-8fjb
Download Telegram
Мой заряд кофеина

До прошлого года пил только растворимый кофе и было норм. Никогда не считал себя ценителем, до появления турки 😁

Это какой-то новый уровень вкуса, аромата. А вот над покупкой кофемашины долго думал и сейчас как-будто в ней и необходимость отпала, ничего обслуживать и чистить не надо.

Чай кстати раньше пил только черный в пакетиках, а сейчас зеленый листовой с заваркой в чайнике. Сказали бы мне раньше что так будет, не поверил бы что так вкусы поменяются 😂

Интересно что вы больше любите
👍 - за кофе
🔥 - за чай
♥️ - и то и другое как я
👍3331🔥12😁1
Работать в корпорации VS в маленькой компании (часть 2)

В первом посте рассказал про плюсы работы в корпорации и среднем-малом бизнесе. Сейчас поговорим о минусах

📍Минусы корпорации
- бюрократия. долгие процессы согласований доступов, больших ресурсов, длинные цепочки коммуникаций. крупный аппарат становится менее гибким и неповоротливым в любом случае. опять же от компании к компании уровень вот этой "вязкости" может сильно отличаться, но к сожалению не всегда это можно распознать на этапе оффера.

- высокие требования для кандидатов на старте. если мы говорим про IT-зрелую корпорацию, то как правило все простые задачи уже были решены и компания ищет "острые умы" для комплексных задач. там и объемы данных громадные, технологический стек соответствующий, поэтому компании ваши знания только экселя и базового sql не подойдут.

- система оценки компетенций и пересмотра ЗП. здесь скорее всего будет процесс оценки сотрудников по их результативности, сравнения ЗП по сравнению с рыночными вилками и вас будут сравнивать со средними показателями в грейде по компании/рынку. если ты скромный или недооцениваешь свои силы - это может сыграть в плюс, чтобы тебе платили по рынку в среднем. а если ты по грейду мидл, а работаешь как синьор и круче большинства, то тебе будет сложней доказывать армии HR и руководителям выше почему тебе должны платить выше. другими словами, когда ты уже пришел в корпорацию и просто хочешь хорошего повышения, ты должен выпрыгнуть из штанов чтобы доказать это. почему? да потому что в принятии решения о пересмотре будут принимать участие не только твой руководитель, а еще множество людей, которые ответственны за этот отдельный бизнес-процесс.

- много "так исторически сложилось". системы в компании работают уже скорее всего множества лет, куча разных спецов вносили свой вклад в это. и из-за этого особенно в аналитике выходит много особенностей, которые стоит учитывать. сначала считалось так, потом по-другому, а в ретро-данных надо учесть по третьему. а где-то был баг, который углядели через полгода и для его обхода налепили костылей. и вот таких моментов как правило очень много. если хотите работать с чистого листа, быть первопроходцем, то вам такая история не подойдет

📍Минусы маленьких компаний
- ты один на проекте. как правило сотрудников мало, и ситуация когда ты окажешься одним аналитиком на всю компанию или большой проект - норма. если ты опытный - проблем возникнуть не должно. но если не уверен в своей профессиональной зрелости, то будешь скорее всего изобретать велосипеды, т.к. посоветоваться не с кем, а личного опыта может быть недостаточно.

- bus-фактор. или сильная зависимость от сотрудника. если столкнуться с тем, что предыдущий сотрудник уволился или просто кто-то из нужных коллег ушел в отпуск, то скорее всего ты не найдешь никакой документации или заметок. все знания могут уйти вместе с человеком. поэтому пиши документацию всегда!

- техническая незрелость. нужно быть готовым, что часть процессов в компании работают на ручном приводе, или неоптимально. либо просто нет привычных подходов, о которых мы слышим например в построении отчетов (ETL, BI, DWH) просто потому-что в моменте они являются избыточными для бизнеса - нет больших объемов данных, нужных компетенций, ресурсов, чтобы делать сразу "как надо". но прикол в том, что если компания хорошая и растет, то она к этому рано или поздно все равно скорее всего придет и ты можешь стать тем человеком, кто будет лидировать это развитие, если проявишься.

по ЗП вопрос никуда выносить не стал как плюс или минус, т.к. нет явного деления что корпорации платят больше или наоборот, особенно если учитывать все уровни специалистов. поэтому этот вопрос останется за рамками сравнения и будет зависеть от конкретных вакансий

ставьте реакции, если мысли полезны


Кто я | Навигация | Обучение
👍27🔥65
This media is not supported in your browser
VIEW IN TELEGRAM
Это ты, когда получишь повышение после моего курса или менторства 😁😎
😁8🔥2
Почему на собеседованиях проводят live-coding по SQL/Python

Невозможно полноценно только по теоретическим вопросам оценить кандидата как он владеет навыком написания SQL-запросов или Python-кода, если хотя бы в ограниченном формате не посмотреть как он пишет код и размышляет в процессе решения задачи.

Это как электрика спрашивать про закон Ома или законы Кирхгофа, но при этом вообще не знать его прикладных компетенций как он может проводку проложить, розетку починить или что-то подобное сделать своими руками чем он будет на самом деле заниматься на работе, а не на теоретические вопросы отвечать.


По опыту применения SQL одну и ту же задачу можно решить десятком разных способов, чтобы получить одинаковый результат. Но только одни решения вам базу положат сразу и зависнут с блокировками, а другие отработают за доли секунд.

Особенно нет смысла спрашивать «на какой уровень оцениваешь себя в SQL?» в рамках личного общения без какой-либо конкретики. Человек может вообще неправильно оценивать свой уровень, просто потому что он умеет работать то как он привык и научился, а как сделать по другому и лучше он может даже не догадываться.


Я спрашиваю «какие задачи ты делаешь с помощью SQL. Или для каких целей ты используешь SQL, что конкретно и для чего в нем применяешь». Эти вопросы хотя бы копают саму суть что аналитик делает с помощью инструмента, а вот как он это делает нужно смотреть на live-coding.

Поэтому на обучении у меня ты не просто учишься как писать комплексные запросы эффективно, а получаешь индивидуальное техническое ревью каждой реализованной практики. Это валидирование и развитие твоего навыка со стороны более опытного специалиста целых 1.5 месяца!

Группа начинает обучение 13 апреля, присоединяйся https://datastudy.ru
👍72
Записал 3-минутное видео про процесс обучения построению и автоматизации витрин данных

Смотрим здесь

Для тебя, если хочешь:
📍самостоятельно реализовывать аналитические задачи и отчетность "под ключ"
📍научиться писать и оптимизировать комплексные SQL запросы
📍использовать Python для автоматизации широкого спектра задач
📍систематизировать знания в работе с DWH и ETL
📍расти профессионально и финансово

Осталось 4 места, запись в группу 13 апреля на сайте https://datastudy.ru
🔥6👍3
Я уже вам писал про Data Fusion, крупнейшую экспертную конференцию по работе с данными и ИИ-технологиями

Вчера посетил множество интересных докладов и дискуссий, успел пообщаться со знакомыми и подписчиками (было приятно 😉) и даже встретил своего научного руководителя с магистратуры.

На площадке была атмосфера, где представители науки, технологий, бизнеса и государства встретились обсудить вопросы эффективной работы с данными через применение ИИ и языковых моделей для разных целей: от цифровых помощников для директоров по составлению и оптимизации графика сотрудников в крупных торговых сетках, до кластеризации и обработки сотен тысяч обращений людей в Правительство с назначением ответственных по ним в правильном гос. органе.

После конференции пришел домой и увидел запись планерной дискуссии про переход в «Бигданность» и как это влияет на нас с вами. Посмотреть можно здесь https://vkvideo.ru/video-214144682_456239274
4🔥4
Работа индексов в базах данных, как результат ускорение запросов данных в 3 раза 🏎

Кто я | Навигация | Обучение
🔥5👍3
Сегодня последний день когда можно записаться в группу и пройти обучение на курсе «Продвинутый SQL и автоматизация витрин данных»

Это «удочка», чтобы наловить много «золотых рыб». Без метафор это твердый инструментарий, чтобы делать более сложную работу с данными качественно и получать больше 💰


Запись на сайте https://datastudy.ru/
👍53🔥2
И грустно и смешно)

Почему-то некоторые люди с такой уверенностью идут в «аналитики данных» первым делом изучая Excel.
Это разный масштаб работы с данными.

Excel - выгрузку небольшую сделать, чтобы поделиться с коллегами. Сводную построить, прикинуть какой-нибудь план, накидать формул и посмотреть что по цифрам получается.

Это удобный калькулятор в табличном виде.

Но он загибается уже от объема ~1 Гб данных и просто не может работать нормально. Поэтому ни о какой нормальной системе аналитики, операционной отчетности, управления и менеджмента данных, data-driven подхода на Excel речи быть не может.

Посмотрите на вакансии нормальных компаний и увидите что как правило там даже упоминания об Excel нет на должности аналитиков данных, аналитиков-инженеров.

Если работа в Excel это ваша основная обязанность как аналитика данных в компании - бегите оттуда, никакого роста там не получите и просто утоните в болоте скучных задач. Сейчас так много бесплатных open source инструментов, что отговорка компании «у нас нет денег на нормальный BI, поэтому у нас отчетность в Excel» звучит максимально бредово. Скорее нет компетенций и нет денег на нормального аналитика, который может реализовать такие решения
20👍7🔥2
Тем кто в поиске работы

Увидел в рилсе свежий сервис huntee.ru

Посмотрел их Roadmap развития, ребята предлагают сервис с автоматизацией поиска релевантных вакансий с помощь AI. Дальше завезут приложение, генерацию сопроводительных писем.

В общем уже пришли к тому что поиском работы и наймом с обеих сторон занимаются ИИ-помощники (составляют резюме, откликаются, отбирают кандидатов, проводят скрининги).

Следующий шаг это когда тебя без твоего же участия устроят на работу, а ты только потом на этапе выполнения задач подключаешься. А еще лучше на этапе траты зарплаты 😂

Можете посмотреть сервис, попробовать, может вакансий есть больше чем на других площадках или какие-то фишки новые есть.

Ну вот цифра 653 источника вакансий кажется завышенной, если только они каждого рекрутера как отдельный источник не считают, кто вакансии может публиковать 😁
👍135😎2🔥1
Такая маленькая деталь, но такая важная 🧐

Пояснения кто не знаком с SQL
В SQL запросы отделяются через точку с запятой «;»

И если посмотреть на запрос выше, то после первой строки запроса поставили лишнюю точку с запятой, что отделило условие удаления строки по конкретному client_id и запрос запустился как просто удаление всех данных из таблицы client_data
👍24🤓12🥰6👨‍💻2
У меня для вас отличные новости - коллаб года!

С моей женой)))

Полина активно набирает ортодонтических пациентов - проводит лечение на брекетах и элайнерах. Сейчас есть уникальная возможность пройти лечение по себестоимости (это в 2-3 раза ниже рынка на минуточку). В лечении используются только топовые американские системы Damon и H4 и самые современные протоколы лечения.

Консультация бесплатная, на ней проведут полноценную диагностику по прикусу и по общему состоянию зубов.

Прием проходит в клинике по адресу:
📍 Москва, Варшавское шоссе 72.2.

💝 Приятный бонус к вашему лечению - индивидуальная консультация со мной по теме аналитики данных и карьере 😉


Для записи пишите мне лично @daniildzheparov (дальше контакт передам Полине)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥157🤓2
В прошлом году в апреле ездили в Грузию и я тогда в рамках нового увлечения снимал наши дни в формате влога

- ходили на индивидуальную экскурсию с гидом по Тбилиси
- ездили на винодельни Кахетии
- много гуляли, изучали колориты страны и местной кухни 🌟🥟🌚

Мне кажется я здесь еще писал историю как мы пропустили свой обратный самолет ✈️ и узнали об этом, поедая вкусное мороженое в парке 😂 Нам перенесли рейс на несколько часов раньше, а мы этого не заметили, в итоге подарили себе еще сутки в Грузии

Руки дошли собрать наш трип в видео, которое можно посмотреть по ссылке ниже)

💙 Влог из Грузии
🔴 Влог из Грузии
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥142
Почему важно учитывать Timezone в SQL запросах

Покажу на наглядном и реальном примере. У нас есть дата и время в UNIX-формате, которое выглядит изначально как целое число: 1776373200

А теперь представляем, я подготовил данные для дашборда, написал SQL-запрос и пошел создавать отчет.

Запрос один и тот же, но стоит его запустить в разных местах и можно получить разные даты.
Мой запрос

SELECT
to_timestamp(1776373200) AS dt,
(to_timestamp(1776373200) AT TIME ZONE 'UTC') AS dt_utc,
(to_timestamp(1776373200) AT TIME ZONE 'Europe/Moscow') AS dt_msk

1-й скрин показывает результат когда пишу запрос в DBeaver. 2-й скрин когда тот же самый запрос запускаю в Datalens под созданием датасета.

В поле dt разные даты!

Почему так получается?
Это не ошибка, а разница часовых поясов, который в случае запуска в DBeaver учитывает мой текущий часовой пояс, а в случае запуска в Datalens дата и время отображаются в UTC. Если оставить запрос как есть в поле dt мы получим расхождение и неправильные метрики в отчете и в базе данных просто потому, что будем как-будто работать в разных часовых поясах. Поэтому важно приводить все временные поля к одному единому часовому поясу, а в запросах лучше указывать его в явном виде, чтобы он не зависел от системных настроек сервера. Ну и не забываем что поля с датами могут сравниваться между собой и также важно чтобы сравниваемые даты были в одном часовом поясе

Ставьте реакции, если теперь будете думать про таймзоны 😉

Кто я | Навигация | Обучение
👍13🔥116
Часто спрашиваете когда будет следующий набор в группу курса «Продвинутый SQL и автоматизация витрин данных»

Следующая группа стартует обучение 8 июня!

Записываться нужно уже сейчас, потом будет поздно. Для этого делаем 3 простых шага

1️⃣ Посмотреть это видео
2️⃣ Изучить сайт с программой, форматом и тарифами
3️⃣ Оставить заявку на обучение в группе

После этого я свяжусь с тобой лично, чтобы спросить про опыт и цель обучения. Если курс подходит чтобы достичь твоих целей, оплачиваешь и попадаешь в группу, чтобы 1.5 месяца активно работать и впитывать материалы как губка

P.S. если кто-то хочет оплатить от компании, закладывайте на согласование лучше 2-3 недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21