Бегущий по лезвию данных
859 subscribers
182 photos
25 videos
46 links
Канал о том, как я попал в IT после 30 без профильного образования и что я тут делаю.

DA & BI
По вопросам @wdrwj
Download Telegram
Jupyter в смартфоне?

Если вам вдруг захочется покрутить юпитер-тетрадки в смартфоне — при этом не в гугл колабе или каком-нибудь онлайн юпитере, а локально, то это можно довольно просто сделать.

1. Заходим в Google Play и скачиваем IDE Pydroid 3
2. Выбираем pip, устанавливаем jupyter, pandas и все необходимое
3. Открываем терминал, запускаем jupyter notebook
4. Готово, теперь у вас нет оправдания, что вы не у компа

Думаю, на планшете с клавиатурой в нем даже можно поработать в крайнем случае, а вот на телефоне разве что набросать пример из книги или поковырять задачу, пока валяешься на пляже)
🔥114👍3👨‍💻1
This media is not supported in your browser
VIEW IN TELEGRAM
Прадедушка Excel — первый табличный редактор VisiCalc

Придумал его программист Даниэль Бриклин, который закончил MIT, посмотрел на окружавший его мир и понял, что программисты скоро станут не нужны (как в воду глядел). Осенью 1977 года он поступил в Гарвардскую школу бизнеса, где ему и пришла идея создать электронную таблицу.

У меня был калькулятор, по вечерам я занимался дома вычислениями и когда я делал ошибки, то мечтал о создании "текстового процессора" для чисел, с тем, чтобы их можно было пересчитывать с новым допущением, скажем 12 процентов вместо 10.


В общем, задумал, взял себе в партнеры Боба Фрэнкстона и уже в 1979 году первая версия программы увидела свет.

Чем вообще интересен VisiCalc?

🔸 Первый "Killer App"
Люди массово покупали дорогой Apple II ради VisiCalc – это был первый софт, ставший главной причиной покупки персонального компьютера.

🔸Спаситель Apple
Продажи Apple II взлетели именно благодаря VisiCalc, превратив компьютер из устройства для ученых в бизнес-инструмент.

🔸Патентные войны
Создатели VisiCalc позже судились с Lotus 1-2-3, обвиняя их в копировании идей – эти затяжные суды в итоге погубили обе компании.

🔸Польза для бизнеса
Мгновенный пересчет формул перевернул финансы и планирование. Софт экономил столько времени, что $2000 (для того времени большие деньги) за Apple II оправдывали себя.

🔸Быстрый закат
Несмотря на ~700 тыс. продаж, Lotus 1-2-3, а затем и Excel быстро смели VisiCalc с пьедестала.

Пощупать версию VisiCalc от 1981 года можно здесь.

Это новая рубрика #история_данных, время от времени буду заниматься цифровой археологией и делиться с вами тем, что мне самому интересно. Например, первые табличные редакторы, к которым мы еще вернемся 🔜
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16👍621
Небольшая хитрость в DataLens

Бывает, что в чарте необходимо отобразить показатель только на определенном временном отрезке — например, дать прогноз на основе текущего факта.

Допустим, у нас датасет с данными по дням, менять который нам некогда. Прогноз высчитывается уже в DataLens по формуле и хранится в показателе forecast. Если просто забросить показатель на ось Y, то мы получим лишний столбец в прошедших месяцах, а он нам не нужен. Благо, есть вычисляемые поля.

if(month(max([date])) = month(today()), [forecast], null)


Создаем новое поле, в котором возвращаем null, если месяц уже прошел и forecast, если это текущий месяц. Поскольку в чарте мы группируем данные по месяцам, то в формуле агрегируем date, чтобы не получить ошибку.

Готово, теперь прогноз отображается только для текущего месяца. На чарте мы видим, что расстояние между месяцами стало больше из-за столбца, который не прорисовывается, но приходится чем-то жертвовать.

В целом, такой подход можно использовать с разными условиями и не только под прогноз. Например, можно показывать рост/падение (YoY, MoM) только для завершённых периодов или выделять текущий месяц/квартал в отчете.

#datalens
🔥87👍4
SQL-песочницы

Раньше я уже делился одной из песочниц, довольно простой в использовании, но не идеальной. Во-первых, в ней на выбор всего три СУБД — MySQL, PostgreSQL и SQLite. Довольно скромный набор. Также приходится разделять по разным окнам запросы на создание таблиц и на выборку данных. Ну и вывод результата не очень компактный, как по мне, особенно при нескольких селектах. Поэтому расскажу про аналоги, которыми пользовался:

SQLize Online — удобная песочница с большим выбором СУБД, приятной темной темой, возможностью пошерить код, выбрать размер кегля, загрузить скрипт из файла. В целом, все по делу и удобно.

db<>fiddle — этой песочницей я пользуюсь чаще всего, тут многое меня радует.
🔹 можно разделить код на ячейки, при этом если вы скопировали большой кусок, то просто вставляете его в ячейку и сплитуете по кнопке в меню
🔹компактный и удобный вывод
🔹чтобы поделиться кодом просто копируем ссылку
🔹можно подсветить нужную ячейку

Не хватает только времени выполнения, как в db-fiddle.com, но это можно посмотреть в плане запроса.

Если пользуетесь удобными SQL-песочницами, делитесь ссылками в комментариях ⬇️

#sql
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥133👏2
При трудоустройстве предоставляют фирменную кепку и трубку. После прохождения испытательного срока – в напарники выдают Ватсона.
😁22🤣6👍1🤝1
В продолжение темы SQL-песочниц.

Если вам хочется попробовать синтаксис ClickHouse 😆, но поднимать, разворачивать и заполнять тестовыми данными вы ничего не хотите, то существует песочница для ClickHouse. Выполнять в ней можно только SELECT-запросы, но чтобы опробовать некоторые функции ClickHouse, коих там тьма тьмущая, этого уже будет достаточно. А потренироваться есть с чем, поскольку тут множество таблиц разного размера c миллиардами строк.

Кстати, ранее я оставлял список бесплатных курсов, среди которых есть несколько по 😆
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥136👾41
Забежал в филиал Сбера обновить паспортные данные. Сначала хотел привязать ГУ, но выяснил у оператора, что это не гарантирует обновление данных о месте регистрации, поэтому привязывать не стал. Девушка с планшетом быстро внесла все необходимые изменения, а потом активно мне рассказывала, что вот можно вписаться в какой-то их пенсионный проект (мне всего 32 😎) и показывала условия в планшете.

Смотрю на я экран планшета и вижу, что как только она начинает говорить – всплывает небольшой попап с надписью «Copilot слушает».

Ну речевая аналитика не новинка, в телефониях это давно уже используется, но при живом обслуживании клиентов вижу такое впервые. Как скоро его добавят на командные синки для анализа эффективности работы команд и оценки софт-скиллов сотрудников? Вопрос времени.

Но есть ещё один момент. Почему Copilot слушает, а не GigaChat?

P.S. Вроде бы команда AI ассистента оператора контактного центра называется CoPilot, но это не точно
Please open Telegram to view this post
VIEW IN TELEGRAM
👾1053
Норм или стрём?

Хочу кое-что понять про рынок труда. Представьте, вы проживаете в Санкт-Петербурге и только что получили высшее образование в профильной или смежной к аналитике данных области. Вы заходите на hh и видите эту вакансию. Стали бы вы откликаться на неё?

Что послужило причиной почти 900 откликов? Удаленка? ДМС? Массажное кресло и душ?

Буст вакансии?

Или тот факт, что не требуется опыт?

Или среди выпускников такая высокая конкуренция?

Или мы в Москве в конец о***ли?

Что происходит?
5🤯11😁6😱54🤬21
Вчера был мой последний рабочий день в Почта Банк 😡
Передал все свои скрипты и дашборды, закрыл последнюю таску, поели торт, поиграли в Каркассон, попрощались ☔️
Это была вторая работа с того момента, как я вкатился. Отмечу основные моменты, как это было.

Как искал и устраивался

Я проходил собесы в августе и сентябре 2024 года. О том, как это было, можно почитать в этом посте. К слову, сам канал был создан в день технического собеса в Почта Банк, вот такое совпадение 🎹

Что тогда помогло мне успешно пройти собес?

🔹Нормальный SQL
Не могу сказать, что он был крепким на то время (может и был, я человек самокритичный 🤓), но я регулярно использовал его на первой работе, а в свободное время решал задачки на разных сайтах и обучал коллегу тому, что знал сам ☺️
До собеса я также прочел справочник по разным диалектам, в канале оставлял на него обзор. Сделал это потому, что в вакансии был указан SQL Server и Oracle, а у меня был опыт только с MySQL и PostgreSQL. Это мне очень помогло не растеряться на задании по SQL.
Там была портянка на 200 строк на основе реального скрипта из легаси. Нужно было объяснить его бизнесовую суть, найти ошибки и исправить все, что в нем было не так. Я очень волновался, но в итоге справился. Именно знание SQL зарешало, это потом мне подтвердил и тимлид 🖐

🔹Опыт создания дашбордов
На тот момент я был знаком с Looker, Tableau, DataLens и совсем шапочно Superset. Это помогло пройти второе задание с разбором дашборда и вопросами по BI. Первая работа у меня была просто конвейером дашбордов с заказчиком-перфекционистом 😰, так что я озвучил все, к чему можно было приклепаться и что можно было исправить. Параллельно это помогло поговорить о костылях, что нередко преподносит ваш опыт с тем или иным инструментом более убедительно, чем рассказ про конвенциональные решения ⌨️

🔹Софты
Хорошо рассказал про свой опыт, задал правильные вопросы по стеку, обсудили импортозамещение так, как будто это уже была часть рабочего созвона 🚬, небольшой смол толк про хобби и тд. Разговаривать с людьми можно и на собесах, главное не переборщить)

Что мне дала эта работа?

🔸Получил опыт с MS SQL и ClickHouse
🔸Написал множество скриптов на Python
🔸Оценил удобство VS Code и почти не использую Jupyter
🔸Меня больше не пугает CLI
🔸Познакомился с SQL Alchemy и библиотеками для работы с почтой
🔸Стал нормально писать логи
🔸Скрипты на тысячи строк вполне читаемы
🔸Немного поработал с matomo, dagster, git и s3
🔸Глубже узнал возможности DataLens
🔸Научился гадать по отсутствию документации
🔸Научился отказывать и растягивать сроки на корпоративном
🔸Научился обходить "гору" 🦆

Что в итоге?

🔹Грейд
Я устроился на мидла, но внутренне воспринимал себя как джуна+. При этом у нас был джун+ в команде и его зарплата была ощутимо ниже моей. Это еще при том, что я сильно занизил себе зарплату своим же запросом. Мне предложили больше моего запроса, но меньше, чем могло быть у мидла в этой команде, как я узнал позже 😧
Вот так неуверенность стоила мне денег💵 При этом я ничего не крутил, но все равно было трудно поверить, что теперь ты мидл, ведь на первом месте отработал всего полгода. Со временем я увидел, что и коллеги мидлы чего-то не знают, что знаю я 🤣 — и наоборот 😭, поэтому пришел к тому, что вопрос грейдов очень относителен. А вот вопрос заработной платы — более объективен (но не всегда).

🔹Направление
Я пришел на позицию аналитика данных, но по факту больше занимался ETL, созданием витрин и дашбордов. Так что тут есть большой крен в сторону BI-аналитика. Собственно, и сейчас на hh у меня висит два резюме с разными названиями. При этом есть вещи и в DA и в BI, с которыми мне не доводилось работать🥰, так что видимо я реально где-то посередине, если вообще заниматься этим разделением 🚘

Вот такой итог по второму месту работы. В следующем посте я расскажу, почему я начал искать новое место, почему ушел и как проходил этот поиск.
Please open Telegram to view this post
VIEW IN TELEGRAM
15🔥28138🫡2👍1🥰1