Аналитика данных / Data Study
9.48K subscribers
564 photos
53 videos
25 files
431 links
Помогаю аналитикам расти в профессии и доходе

Курс по продвинутому SQL и автоматизации потоков данных https://datastudy.ru/

По всем вопросам: @daniildzheparov

Моя жизнь, опыт, аналитика и инженерия данных
Download Telegram
Давайте договоримся, что вы накидываете реакции, если посты интересны и полезны, ну или вызывают какую-то эмоцию положительную. А то сохраненки вижу, а по реакциям чет скупо очень. Или все в MAX уже ушли?

Это же для меня показатель что полезное писать, желание чем-то делиться, создавать, рассказывать, расписывать в посты)

А то сидим с Маркизой наблюдаем и не понимаем заходит вам контент или вы вообще не с нами
👍6625👨‍💻12🥰2
Другое дело! обожаю вас ♥️♥️♥️
18👍6
Работать в корпорации VS в маленькой компании

Давайте раскидаю на плюсы и минусы работу в гигантских компаниях с большими отделами, БигТехе, больших интеграторах и среднем либо малом бизнесе

📍Плюсы корпорации
- сформированная аналитическая культура. Есть общие подходы и best practise, по которым принято работать
- стек технологий широкий, распространенный, большая часть мелочей автоматизирована
- творческое рабочее пространство и гибкие рамки. Это относится как в формату удаленки/гибриду, началу рабочего дня. А если даже есть требование ходить в офис, то офисы в корпорациях как правило крутые: удобные коворкинги, релакс-зоны, спортзалы, сауны, куча еды.

У меня друг сейчас работает в Яндексе, перешел туда после около-государственных компаний. В этот раз обсуждали как его впечатлили орешки в офисе в неограниченном количестве 😁.

- большой коллектив, наличие старших аналитиков, лида. Это очень важно когда ты находишься на уровне junior/middle, чтобы кто-то более опытный был с тобой в команде и мог либо подсказать либо просто дать описанную сразу задачу. Тогда не придется изобретать самому велосипед и сидеть гадать правильно ли сделал или нет.

📍Плюсы маленькой компании
Можешь удивиться, но они есть)
- минимум бюрократии и бизнес-процессов. Как следствие многие задачи могут быть выполнены сильно проще и быстрей.
- повезло, если компания не выживает, а находится в бурной стадии роста. Это супер время вырасти по должности и ЗП, при этом затрачивая столько же усилий сколько в корпорации, но получая по итогу «молодец» за твое старание.
- задачи могут быть проще, просто потому что опять же есть сильно меньше бизнес-процессов, людей, клиентов, corner-кейсов и самих данных по объему, чтобы строить аналитику

На консультациях часто обсуждаем вопрос где лучше работать, где комфортней, какие плюсы и минусы есть.
Давайте наберем 50 🔥 и в следующих постах пройдусь наоборот по минусам корпораций и малых компаний, там ситуация даже поинтереснее чтобы понять где лучше работать

Кто я | Навигация | Обучение
🔥637👍5
Приходите на неформальную офлайн-встречу с командой R&D

Технологии, нетворкинг и «внутрянка» проектов — всё это ждёт вас на Welcome Time*, который пройдёт 11 апреля в штаб-квартире Яндекса в Москве.

💠 Приглашаем датасаентистов, дата-аналитиков и продуктовых аналитиков с опытом работы на Python** от трёх лет и опытом с LLM/VLM***

В этот раз встречать вас будет команда R&D. Спикеры расскажут, зачем генеративным моделям нужны аналитики, как работают голосовые технологии Алисы и как её делают человечнее.

После докладов для желающих проведём диагностику навыков. Интервьюер подсветит ваши сильные стороны и покажет зоны роста. А хорошие результаты засчитаем как одну техническую секцию при прохождении собеседования в Яндекс.

🔗Подробная программа и регистрация — на сайте: https://yandex.ru/project/events/welcometimes-all
Please open Telegram to view this post
VIEW IN TELEGRAM
👍62🔥1
Рост моей ЗП год к году

В общем захотел на своем примере показать вам наглядно когда и как растет ЗП, и самое главное какие факторы влияют на это, погнали!

📍2019 год - стажировка, начало карьеры. считаем это как точка отсчета для следующих показателей.
📍2020 год - успешно перешел в штат = пересмотр ЗП. Спустя полгода усердной работы я изучил с нуля SQL, Python, Tableau, взял новые задачи и успешно справился с ними. В общем на этом этапе впитывал в себя все как губка, поэтому получил пересмотр ЗП на уровень middle системного аналитика. К концу 2021 это дало X5 к ЗП, что сначала получал на стажировке.
Да, 2020 год при этом был максимально насыщенный, работал по 10 часов, учился на 4-м курсе бакалавриата, писал научные работы и диплом, проходил практические курсы. Но и результат получился отличным.

📍2021 год - перехожу в EPAM Systems на должность Ведущего BI аналитика. Я успешно прошел собесы в сам EPAM и на международный проект Nike, куда брали далеко не всех. И там началось просто лютое обучение новому стеку технологий, внутренние тренинги и повышения квалификаций, участие в отборе и найме аналитиков на другие проекты. При этом я поступил в магистратуру на английском языке на вечернее обучение в НИУ ВШЭ.
Как выглядел мой график: работа с 9:00 до 18:00, едешь на пары с 18:00 до 21:00, возвращаешься работать и делать практику/учебу и все что связано с обучением до 1:00 часа ночи или позже. При этом я учился и работал на английском языке! Это само по себе уже дает мозгу больше нагрузки.

Привет всем кто жалуется, что не может найти время на свою учебу и развитие! Я прошел стресс-тест одновременной учебы в топовом ВУЗе страны на английском, работы в международном консалтинге, выстраивании семейного быта в Москве одновременно


📍2022 год - сами знаете что было. хаос, непонимание, релокация, закрытие проектов, выход компании из страны. я отказался от релокации за счет EPAM, остался в сформированной компании в РФ. новый проект, поиск новых смыслов, внутренних сил в новой реальности. Как вспомню так вздрогну что мы с вами пережили. Как итог был пересмотр на 14% по году, но с учетом уже высокой базы ЗП в абсолюте получается очень неплохая сумма + премии (они здесь не учтены).
В этом же году начинаю вести свои соц. сети, а потом и обучать людей аналитике по их личным запросам. Вот тут и закрутились сначала личные обучения, потом групповые.

📍2023 год - переход в Сравни. наглядный пример, когда при смене компании рост может быть сильней, чем пересмотры внутри одной компании. именно с этим и связаны +33% год к году

📍2024 год - работаю на senior позиции, решаю супер-интересные задачи как аналитик-инженер, проводим стажировку для аналитиков и расширяем тем самым свою команду. в процентах прирост 11% к самой ЗП, без учета премий

📍2025 год - переход на уровень лида. есть команда. а значит ее нужно технически лидировать. это другой уровень задач, ответственности, где ты становишься "играющим тренером". Сам выполняешь свои задачи и несешь ответственность за задачи своей команды, а значит должен быт в курсе всего. Но пересмотры грейдов дают свои плоды, итог +27%

Тезисы:
- чтобы был результат, нужно херачить днями и ночами, а не жалеть себя и не ныть что нет времени. у нас у всех 24 часа в сутках, только у кого-то они проходят гораздо эффективней
- без обучения, насмотренности и твоего любопытства не будет никакого роста. нужно просто брать и делать
- главные твои большие прыжки в ЗП скорее всего будут в начале карьеры при переходах от junior до middle+/senior позиции
- дальше в процентах тебе будет казаться, что ты слабо растешь, но здесь играет эффект высокой базы, когда в абсолюте может быть хороший пересмотр, но относительно процентов он будет скромный
- на рост в доходе сильней влияет смена компании, либо пересмотры грейда. если сидеть и ждать простой индексации, такого роста не будет.

У тебя все получится, главное действуй эффективно! 🔥 или 👍 за пост

Кто хочет перенять мой опыт, у вас есть прекрасная возможность это сделать с 13 апреля на практическом обучении https://datastudy.ru/

Форма регистрации
🔥358👍3😁2
Вопрос возник, когда обсуждали типовую ошибку "фиктивного инкремента" или поздней фильтрации данных, когда работаем на большом объеме данных и только в конце применяем фильтрацию, хотя ее можно применить в начале скрипта.

База данных будет строить оптимально возможный план запроса из того, что ей доступно в моменте, например на сколько актуальная статистика используемых таблиц и есть ли доступные индексы.
Но движок базы также как и мы может ошибаться и запускать запрос с неоптимальным планом. и стоит вам поменять немного свой запрос самим на более оптимальное написание, движок будет предлагать более быстрый план запроса.

Также стоит понимать, что задача может решаться не в рамках одного длинного запроса, а с помощью
- временных таблиц
- промежуточных таблиц
В таком случае планировщик вам мало чем поможет и задача оптимизации будет на вас.

И тогда вопрос сохранения в эти таблицы лишних и ненужных данных встает уже сильно острее, если они на следующем шаге будут все равно отфильтрованы.

Фильтруй сначала - потом преобразовывай.

Кто пропустил, я написал целую статью по оптимизации аналитических SQL запросов - читайте здесь

Кто я | Навигация | Обучение

#вопрос_от_ученика
👍7🔥43
This media is not supported in your browser
VIEW IN TELEGRAM
Мы настолько привыкли к новым технологиям, что даже не задумываемся «а как это все работает?»

Рекомендации попадают в точку, сервисы предугадывают действия, навигаторы ведут быстрее, чем мы думаем. Кажется, это просто данность. Но за ней стоит биг дата и люди, которые умеют с ней работать: аналитики, инженеры, исследователи и руководители.

Конференция Data Fusion 2026 как раз о том, как данные меняют продукты и нашу повседневную жизнь. Программа масштабная: более 70 сессий на темы ИИ-агенты, RL, CV, NLP, робототехника, рекомендательные системы, AI в кибербезопасности и науке.

🗓 8 и 9 апреля на одной площадке встречаются ML-лиды, DS-специалисты, инженеры, исследователи и бизнес. В сессиях участвуют спикеры из ВТБ, AIRI, МФТИ, Сколтеха, Яндекса, X5, Ростелекома, а также других компаний и научных лабораторий

Событие объединяет людей, которые работают с данными и двигают технологии вперед. Это твой шанс расширить свой кругозор, познакомиться с новыми людьми из своей сферы и узнать лучшие практики рынка 👨‍💻

Я там тоже буду, приходите пообщаться!

Прокачай свою насмотренность и нетворкинг на одном из главных событий года в сфере больших данных и ИИ!
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍3🔥2
Мой заряд кофеина

До прошлого года пил только растворимый кофе и было норм. Никогда не считал себя ценителем, до появления турки 😁

Это какой-то новый уровень вкуса, аромата. А вот над покупкой кофемашины долго думал и сейчас как-будто в ней и необходимость отпала, ничего обслуживать и чистить не надо.

Чай кстати раньше пил только черный в пакетиках, а сейчас зеленый листовой с заваркой в чайнике. Сказали бы мне раньше что так будет, не поверил бы что так вкусы поменяются 😂

Интересно что вы больше любите
👍 - за кофе
🔥 - за чай
♥️ - и то и другое как я
👍3328🔥12😁1
Работать в корпорации VS в маленькой компании (часть 2)

В первом посте рассказал про плюсы работы в корпорации и среднем-малом бизнесе. Сейчас поговорим о минусах

📍Минусы корпорации
- бюрократия. долгие процессы согласований доступов, больших ресурсов, длинные цепочки коммуникаций. крупный аппарат становится менее гибким и неповоротливым в любом случае. опять же от компании к компании уровень вот этой "вязкости" может сильно отличаться, но к сожалению не всегда это можно распознать на этапе оффера.

- высокие требования для кандидатов на старте. если мы говорим про IT-зрелую корпорацию, то как правило все простые задачи уже были решены и компания ищет "острые умы" для комплексных задач. там и объемы данных громадные, технологический стек соответствующий, поэтому компании ваши знания только экселя и базового sql не подойдут.

- система оценки компетенций и пересмотра ЗП. здесь скорее всего будет процесс оценки сотрудников по их результативности, сравнения ЗП по сравнению с рыночными вилками и вас будут сравнивать со средними показателями в грейде по компании/рынку. если ты скромный или недооцениваешь свои силы - это может сыграть в плюс, чтобы тебе платили по рынку в среднем. а если ты по грейду мидл, а работаешь как синьор и круче большинства, то тебе будет сложней доказывать армии HR и руководителям выше почему тебе должны платить выше. другими словами, когда ты уже пришел в корпорацию и просто хочешь хорошего повышения, ты должен выпрыгнуть из штанов чтобы доказать это. почему? да потому что в принятии решения о пересмотре будут принимать участие не только твой руководитель, а еще множество людей, которые ответственны за этот отдельный бизнес-процесс.

- много "так исторически сложилось". системы в компании работают уже скорее всего множества лет, куча разных спецов вносили свой вклад в это. и из-за этого особенно в аналитике выходит много особенностей, которые стоит учитывать. сначала считалось так, потом по-другому, а в ретро-данных надо учесть по третьему. а где-то был баг, который углядели через полгода и для его обхода налепили костылей. и вот таких моментов как правило очень много. если хотите работать с чистого листа, быть первопроходцем, то вам такая история не подойдет

📍Минусы маленьких компаний
- ты один на проекте. как правило сотрудников мало, и ситуация когда ты окажешься одним аналитиком на всю компанию или большой проект - норма. если ты опытный - проблем возникнуть не должно. но если не уверен в своей профессиональной зрелости, то будешь скорее всего изобретать велосипеды, т.к. посоветоваться не с кем, а личного опыта может быть недостаточно.

- bus-фактор. или сильная зависимость от сотрудника. если столкнуться с тем, что предыдущий сотрудник уволился или просто кто-то из нужных коллег ушел в отпуск, то скорее всего ты не найдешь никакой документации или заметок. все знания могут уйти вместе с человеком. поэтому пиши документацию всегда!

- техническая незрелость. нужно быть готовым, что часть процессов в компании работают на ручном приводе, или неоптимально. либо просто нет привычных подходов, о которых мы слышим например в построении отчетов (ETL, BI, DWH) просто потому-что в моменте они являются избыточными для бизнеса - нет больших объемов данных, нужных компетенций, ресурсов, чтобы делать сразу "как надо". но прикол в том, что если компания хорошая и растет, то она к этому рано или поздно все равно скорее всего придет и ты можешь стать тем человеком, кто будет лидировать это развитие, если проявишься.

по ЗП вопрос никуда выносить не стал как плюс или минус, т.к. нет явного деления что корпорации платят больше или наоборот, особенно если учитывать все уровни специалистов. поэтому этот вопрос останется за рамками сравнения и будет зависеть от конкретных вакансий

ставьте реакции, если мысли полезны


Кто я | Навигация | Обучение
👍27🔥64
This media is not supported in your browser
VIEW IN TELEGRAM
Это ты, когда получишь повышение после моего курса или менторства 😁😎
😁7🔥1
Чем занимаются аналитики в Яндексе? Узнай в Школе аналитиков-разработчиков!

Недавние выпускники и студенты старших курсов смогут научиться свободно работать с данными и принимать на их основе обоснованные решения.

В программе:
→ лекции от экспертов и аналитиков Яндекса
→ домашки, чтобы закрепить материал и попробовать инструменты
→ работа в кросс-функциональной команде

Участникам Школы нужно знать основы программирования на Python, уметь обрабатывать списочные данные и словари и иметь опыт решения прикладных задач с использованием любого диалекта SQL или Pandas.

Не упускай возможность поработать над реальными бизнес-задачами и попасть в штат Яндекса — оставляй заявку.
👍51
Почему на собеседованиях проводят live-coding по SQL/Python

Невозможно полноценно только по теоретическим вопросам оценить кандидата как он владеет навыком написания SQL-запросов или Python-кода, если хотя бы в ограниченном формате не посмотреть как он пишет код и размышляет в процессе решения задачи.

Это как электрика спрашивать про закон Ома или законы Кирхгофа, но при этом вообще не знать его прикладных компетенций как он может проводку проложить, розетку починить или что-то подобное сделать своими руками чем он будет на самом деле заниматься на работе, а не на теоретические вопросы отвечать.


По опыту применения SQL одну и ту же задачу можно решить десятком разных способов, чтобы получить одинаковый результат. Но только одни решения вам базу положат сразу и зависнут с блокировками, а другие отработают за доли секунд.

Особенно нет смысла спрашивать «на какой уровень оцениваешь себя в SQL?» в рамках личного общения без какой-либо конкретики. Человек может вообще неправильно оценивать свой уровень, просто потому что он умеет работать то как он привык и научился, а как сделать по другому и лучше он может даже не догадываться.


Я спрашиваю «какие задачи ты делаешь с помощью SQL. Или для каких целей ты используешь SQL, что конкретно и для чего в нем применяешь». Эти вопросы хотя бы копают саму суть что аналитик делает с помощью инструмента, а вот как он это делает нужно смотреть на live-coding.

Поэтому на обучении у меня ты не просто учишься как писать комплексные запросы эффективно, а получаешь индивидуальное техническое ревью каждой реализованной практики. Это валидирование и развитие твоего навыка со стороны более опытного специалиста целых 1.5 месяца!

Группа начинает обучение 13 апреля, присоединяйся https://datastudy.ru
👍62
Записал 3-минутное видео про процесс обучения построению и автоматизации витрин данных

Смотрим здесь

Для тебя, если хочешь:
📍самостоятельно реализовывать аналитические задачи и отчетность "под ключ"
📍научиться писать и оптимизировать комплексные SQL запросы
📍использовать Python для автоматизации широкого спектра задач
📍систематизировать знания в работе с DWH и ETL
📍расти профессионально и финансово

Осталось 4 места, запись в группу 13 апреля на сайте https://datastudy.ru
🔥5👍3
Я уже вам писал про Data Fusion, крупнейшую экспертную конференцию по работе с данными и ИИ-технологиями

Вчера посетил множество интересных докладов и дискуссий, успел пообщаться со знакомыми и подписчиками (было приятно 😉) и даже встретил своего научного руководителя с магистратуры.

На площадке была атмосфера, где представители науки, технологий, бизнеса и государства встретились обсудить вопросы эффективной работы с данными через применение ИИ и языковых моделей для разных целей: от цифровых помощников для директоров по составлению и оптимизации графика сотрудников в крупных торговых сетках, до кластеризации и обработки сотен тысяч обращений людей в Правительство с назначением ответственных по ним в правильном гос. органе.

После конференции пришел домой и увидел запись планерной дискуссии про переход в «Бигданность» и как это влияет на нас с вами. Посмотреть можно здесь https://vkvideo.ru/video-214144682_456239274
4🔥4
Работа индексов в базах данных, как результат ускорение запросов данных в 3 раза 🏎

Кто я | Навигация | Обучение
🔥5👍3
Сегодня последний день когда можно записаться в группу и пройти обучение на курсе «Продвинутый SQL и автоматизация витрин данных»

Это «удочка», чтобы наловить много «золотых рыб». Без метафор это твердый инструментарий, чтобы делать более сложную работу с данными качественно и получать больше 💰


Запись на сайте https://datastudy.ru/
👍53🔥2
И грустно и смешно)

Почему-то некоторые люди с такой уверенностью идут в «аналитики данных» первым делом изучая Excel.
Это разный масштаб работы с данными.

Excel - выгрузку небольшую сделать, чтобы поделиться с коллегами. Сводную построить, прикинуть какой-нибудь план, накидать формул и посмотреть что по цифрам получается.

Это удобный калькулятор в табличном виде.

Но он загибается уже от объема ~1 Гб данных и просто не может работать нормально. Поэтому ни о какой нормальной системе аналитики, операционной отчетности, управления и менеджмента данных, data-driven подхода на Excel речи быть не может.

Посмотрите на вакансии нормальных компаний и увидите что как правило там даже упоминания об Excel нет на должности аналитиков данных, аналитиков-инженеров.

Если работа в Excel это ваша основная обязанность как аналитика данных в компании - бегите оттуда, никакого роста там не получите и просто утоните в болоте скучных задач. Сейчас так много бесплатных open source инструментов, что отговорка компании «у нас нет денег на нормальный BI, поэтому у нас отчетность в Excel» звучит максимально бредово. Скорее нет компетенций и нет денег на нормального аналитика, который может реализовать такие решения
18👍6🔥2
Тем кто в поиске работы

Увидел в рилсе свежий сервис huntee.ru

Посмотрел их Roadmap развития, ребята предлагают сервис с автоматизацией поиска релевантных вакансий с помощь AI. Дальше завезут приложение, генерацию сопроводительных писем.

В общем уже пришли к тому что поиском работы и наймом с обеих сторон занимаются ИИ-помощники (составляют резюме, откликаются, отбирают кандидатов, проводят скрининги).

Следующий шаг это когда тебя без твоего же участия устроят на работу, а ты только потом на этапе выполнения задач подключаешься. А еще лучше на этапе траты зарплаты 😂

Можете посмотреть сервис, попробовать, может вакансий есть больше чем на других площадках или какие-то фишки новые есть.

Ну вот цифра 653 источника вакансий кажется завышенной, если только они каждого рекрутера как отдельный источник не считают, кто вакансии может публиковать 😁
👍112😎2🔥1
23 апреля в Санкт-Петербурге пройдет вечерний митап для аналитиков — Analytics Party.

Присоединяйтесь, чтобы вместе с экспертами поговорить о решениях сложных продуктовых и исследовательских задач — от оценки безопасности автопилота до экспериментов без A/B-тестов.

В программе докладов:
«Сакральные тайны сбора датасетов для симуляции автономного транспорта». Елмурат Темиргалиев (команда автономного транспорта, Яндекс) расскажет, как они объединяют реальные и синтетические данные, чтобы получать доверительные выводы о безопасности.
«На что способны ИИ-агенты в аналитике». Иван Меренков (Data AI Lab, Яндекс) покажет, как собрать систему из ИИ-агентов под свои задачи.
«Propensity score matching: как строить аналоги A/B-тестов, когда эксперименты невозможны». Николай Олигеров (Яндекс Путешествия) разберет статистический метод Propensity Score Matching.

Зарегистрироваться и посмотреть полную программу выступлений можно на сайте.
🔥5👍32