Бегущий по лезвию данных
858 subscribers
182 photos
25 videos
46 links
Канал о том, как я попал в IT после 30 без профильного образования и что я тут делаю.

DA & BI
По вопросам @wdrwj
Download Telegram
Небольшая хитрость в DataLens

Бывает, что в чарте необходимо отобразить показатель только на определенном временном отрезке — например, дать прогноз на основе текущего факта.

Допустим, у нас датасет с данными по дням, менять который нам некогда. Прогноз высчитывается уже в DataLens по формуле и хранится в показателе forecast. Если просто забросить показатель на ось Y, то мы получим лишний столбец в прошедших месяцах, а он нам не нужен. Благо, есть вычисляемые поля.

if(month(max([date])) = month(today()), [forecast], null)


Создаем новое поле, в котором возвращаем null, если месяц уже прошел и forecast, если это текущий месяц. Поскольку в чарте мы группируем данные по месяцам, то в формуле агрегируем date, чтобы не получить ошибку.

Готово, теперь прогноз отображается только для текущего месяца. На чарте мы видим, что расстояние между месяцами стало больше из-за столбца, который не прорисовывается, но приходится чем-то жертвовать.

В целом, такой подход можно использовать с разными условиями и не только под прогноз. Например, можно показывать рост/падение (YoY, MoM) только для завершённых периодов или выделять текущий месяц/квартал в отчете.

#datalens
🔥87👍4
SQL-песочницы

Раньше я уже делился одной из песочниц, довольно простой в использовании, но не идеальной. Во-первых, в ней на выбор всего три СУБД — MySQL, PostgreSQL и SQLite. Довольно скромный набор. Также приходится разделять по разным окнам запросы на создание таблиц и на выборку данных. Ну и вывод результата не очень компактный, как по мне, особенно при нескольких селектах. Поэтому расскажу про аналоги, которыми пользовался:

SQLize Online — удобная песочница с большим выбором СУБД, приятной темной темой, возможностью пошерить код, выбрать размер кегля, загрузить скрипт из файла. В целом, все по делу и удобно.

db<>fiddle — этой песочницей я пользуюсь чаще всего, тут многое меня радует.
🔹 можно разделить код на ячейки, при этом если вы скопировали большой кусок, то просто вставляете его в ячейку и сплитуете по кнопке в меню
🔹компактный и удобный вывод
🔹чтобы поделиться кодом просто копируем ссылку
🔹можно подсветить нужную ячейку

Не хватает только времени выполнения, как в db-fiddle.com, но это можно посмотреть в плане запроса.

Если пользуетесь удобными SQL-песочницами, делитесь ссылками в комментариях ⬇️

#sql
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥133👏2
При трудоустройстве предоставляют фирменную кепку и трубку. После прохождения испытательного срока – в напарники выдают Ватсона.
😁22🤣6👍1🤝1
В продолжение темы SQL-песочниц.

Если вам хочется попробовать синтаксис ClickHouse 😆, но поднимать, разворачивать и заполнять тестовыми данными вы ничего не хотите, то существует песочница для ClickHouse. Выполнять в ней можно только SELECT-запросы, но чтобы опробовать некоторые функции ClickHouse, коих там тьма тьмущая, этого уже будет достаточно. А потренироваться есть с чем, поскольку тут множество таблиц разного размера c миллиардами строк.

Кстати, ранее я оставлял список бесплатных курсов, среди которых есть несколько по 😆
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥136👾41
Забежал в филиал Сбера обновить паспортные данные. Сначала хотел привязать ГУ, но выяснил у оператора, что это не гарантирует обновление данных о месте регистрации, поэтому привязывать не стал. Девушка с планшетом быстро внесла все необходимые изменения, а потом активно мне рассказывала, что вот можно вписаться в какой-то их пенсионный проект (мне всего 32 😎) и показывала условия в планшете.

Смотрю на я экран планшета и вижу, что как только она начинает говорить – всплывает небольшой попап с надписью «Copilot слушает».

Ну речевая аналитика не новинка, в телефониях это давно уже используется, но при живом обслуживании клиентов вижу такое впервые. Как скоро его добавят на командные синки для анализа эффективности работы команд и оценки софт-скиллов сотрудников? Вопрос времени.

Но есть ещё один момент. Почему Copilot слушает, а не GigaChat?

P.S. Вроде бы команда AI ассистента оператора контактного центра называется CoPilot, но это не точно
Please open Telegram to view this post
VIEW IN TELEGRAM
👾1053
Норм или стрём?

Хочу кое-что понять про рынок труда. Представьте, вы проживаете в Санкт-Петербурге и только что получили высшее образование в профильной или смежной к аналитике данных области. Вы заходите на hh и видите эту вакансию. Стали бы вы откликаться на неё?

Что послужило причиной почти 900 откликов? Удаленка? ДМС? Массажное кресло и душ?

Буст вакансии?

Или тот факт, что не требуется опыт?

Или среди выпускников такая высокая конкуренция?

Или мы в Москве в конец о***ли?

Что происходит?
5🤯11😁6😱54🤬21
Вчера был мой последний рабочий день в Почта Банк 😡
Передал все свои скрипты и дашборды, закрыл последнюю таску, поели торт, поиграли в Каркассон, попрощались ☔️
Это была вторая работа с того момента, как я вкатился. Отмечу основные моменты, как это было.

Как искал и устраивался

Я проходил собесы в августе и сентябре 2024 года. О том, как это было, можно почитать в этом посте. К слову, сам канал был создан в день технического собеса в Почта Банк, вот такое совпадение 🎹

Что тогда помогло мне успешно пройти собес?

🔹Нормальный SQL
Не могу сказать, что он был крепким на то время (может и был, я человек самокритичный 🤓), но я регулярно использовал его на первой работе, а в свободное время решал задачки на разных сайтах и обучал коллегу тому, что знал сам ☺️
До собеса я также прочел справочник по разным диалектам, в канале оставлял на него обзор. Сделал это потому, что в вакансии был указан SQL Server и Oracle, а у меня был опыт только с MySQL и PostgreSQL. Это мне очень помогло не растеряться на задании по SQL.
Там была портянка на 200 строк на основе реального скрипта из легаси. Нужно было объяснить его бизнесовую суть, найти ошибки и исправить все, что в нем было не так. Я очень волновался, но в итоге справился. Именно знание SQL зарешало, это потом мне подтвердил и тимлид 🖐

🔹Опыт создания дашбордов
На тот момент я был знаком с Looker, Tableau, DataLens и совсем шапочно Superset. Это помогло пройти второе задание с разбором дашборда и вопросами по BI. Первая работа у меня была просто конвейером дашбордов с заказчиком-перфекционистом 😰, так что я озвучил все, к чему можно было приклепаться и что можно было исправить. Параллельно это помогло поговорить о костылях, что нередко преподносит ваш опыт с тем или иным инструментом более убедительно, чем рассказ про конвенциональные решения ⌨️

🔹Софты
Хорошо рассказал про свой опыт, задал правильные вопросы по стеку, обсудили импортозамещение так, как будто это уже была часть рабочего созвона 🚬, небольшой смол толк про хобби и тд. Разговаривать с людьми можно и на собесах, главное не переборщить)

Что мне дала эта работа?

🔸Получил опыт с MS SQL и ClickHouse
🔸Написал множество скриптов на Python
🔸Оценил удобство VS Code и почти не использую Jupyter
🔸Меня больше не пугает CLI
🔸Познакомился с SQL Alchemy и библиотеками для работы с почтой
🔸Стал нормально писать логи
🔸Скрипты на тысячи строк вполне читаемы
🔸Немного поработал с matomo, dagster, git и s3
🔸Глубже узнал возможности DataLens
🔸Научился гадать по отсутствию документации
🔸Научился отказывать и растягивать сроки на корпоративном
🔸Научился обходить "гору" 🦆

Что в итоге?

🔹Грейд
Я устроился на мидла, но внутренне воспринимал себя как джуна+. При этом у нас был джун+ в команде и его зарплата была ощутимо ниже моей. Это еще при том, что я сильно занизил себе зарплату своим же запросом. Мне предложили больше моего запроса, но меньше, чем могло быть у мидла в этой команде, как я узнал позже 😧
Вот так неуверенность стоила мне денег💵 При этом я ничего не крутил, но все равно было трудно поверить, что теперь ты мидл, ведь на первом месте отработал всего полгода. Со временем я увидел, что и коллеги мидлы чего-то не знают, что знаю я 🤣 — и наоборот 😭, поэтому пришел к тому, что вопрос грейдов очень относителен. А вот вопрос заработной платы — более объективен (но не всегда).

🔹Направление
Я пришел на позицию аналитика данных, но по факту больше занимался ETL, созданием витрин и дашбордов. Так что тут есть большой крен в сторону BI-аналитика. Собственно, и сейчас на hh у меня висит два резюме с разными названиями. При этом есть вещи и в DA и в BI, с которыми мне не доводилось работать🥰, так что видимо я реально где-то посередине, если вообще заниматься этим разделением 🚘

Вот такой итог по второму месту работы. В следующем посте я расскажу, почему я начал искать новое место, почему ушел и как проходил этот поиск.
Please open Telegram to view this post
VIEW IN TELEGRAM
15🔥28138🫡2👍1🥰1
Друзья, нас уже 5️⃣0️⃣0️⃣ 😚

Ещё немного и нас станет больше, чем граждан Ватикана! Здорово, что каждый из вас нашел здесь что-то своё 😎

Но самое интересное ждёт впереди. Есть много идей для развития канала, и я надеюсь, что успею реализовать лучшие в этом году 😡

А пока давайте узнаем, кого среди подписчиков больше?
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉13🔥9🥰311