Новый выпуск подкаста!

На этот раз пообщались с Никитой, автором канала Из юриста в аналитики 👾. Если еще не успели познакомиться с этим каналом, то рекомендую к чтению. А вот, что мы успели обсудить с Никитой:

⏺ Курсы это скам?
⏺ Первый опыт работы аналитиком и токсичное начальство
⏺ Работа в Альфа-банке и уход с испытательного в Газпромбанк
⏺ Крутить или не крутить?
⏺ Синдром самозванца, литкод и топ факапов
⏺ Почему в СПб такие странные вакансии аналитиков?
⏺ Будни автора телеграм-канала и work-life blend

Слушаем подкаст и не забываем про комментарии. Возможно, там вы встретите нашего следующего гостя 🤔

Double Kill! 😡
Закрыл испытательный в 📱 и обучение на 📱 Практикум — в один день.

Прошлая рабочая неделя выдалась для меня особенно трудной. Помимо 6 рабочих дней, в которые нужно было допилить дашборд в рамках ключевой на испытательный срок задачи, по вечерам я был вынужден сжигать остатки глаз на финальном проекте курса DA+ в Яндекс Практикум 🫥

Эти события наложились друг на друга благодаря моему крутому навыку планирования и тайм-менеджменту 🤬
Было больно, но теперь я даже доволен, что письма об успешном завершении курса и испытательного срока пришли мне в один день.

Если бы границы ключ был переломлен пополам и все шло по плану, то я должен был закончить ЯП в январе. Вот тут я беру свой первый переход в другую когорту, еще не догадываясь, к чему это приведет. Потом я взял еще один, а потом еще один — и, ой, они закончились 😦

В итоге пришлось принять неизбежное и сделать оставшиеся 4 проекта за полтора месяца. Великая сила дедлайнов. Когда-нибудь я научусь все делать по расписанию и куплю наушники, как у Патрика Бэйтмана, чтобы эпично приходить в офис, но это не точно 😎

А вообще получилось здорово и нелинейно. За время обучения на курсе я успел поработать аналитиком в трех компаниях, быстро дорасти до мидла, хорошо апнуть свой доход, создать этот канал и познакомиться с огромным количеством людей, которые вдохновляют своим примером 🤩

Может быть, я и сам стал для кого-то ориентиром. Как минимум, теперь мой путь попробует повторить супруга. Да, она решилась на обучение в декрете. Это уже какой-то хард-хард левел, но я знаю, что у нее все получится. Главное поверить, что все возможно 🥰

Не жалейте лукасов к посту. Если он соберет хотя бы 50 реакций, то сделаю отдельный пост про испытательный срок в 📱, а если перевалим за 100, то ждите целую серию постов про плюсы и особенно минусы — я распишу поминутно — обучения в Практикуме 🤓

Добавляем в резюме Apache Superset 📊

В этой памятке я собрал материалы, которые помогут вам быстро разобраться в Apache Superset и усилить свое резюме еще одним инструментом.

Если помните этот опрос по BI-системам, то Superset занял почетное 3 место. Многие компании в России после 2022 года также сделали выбор в пользу него, некоторые сильно допилили функционал под себя. Перечень компаний можно найти здесь (это отличный сайт), а почитать подробнее, что вообще такое этот ваш Superset и почему он популярен — вот в этой статье. Там же вы найдете ссылки на статьи от представителей разных компаний про их опыт миграции отчетности в Superset. Особенно рекомендую статью от МТС. Если вы предпочитаете по старинке и кроме документации вам ничего не надо, то вот документация. У Сбера, сделавшего на основе SS свою SDP BI, есть перевод этой документации на русский. Если нужно, в комментариях прикреплю еще один мануал в пдфке.

✅Познакомились, что дальше? Надо бы все это дело пощупать.
Тут есть несколько вариантов:

🔴Развернуть самому локально или на дешевом VPS. Помогут эти гайды — первый, второй, третий. Возможно придется поковыряться несколько часов, но это того стоит. Если у вас винда, то берите первый гайд.

🔵Арендовать виртуальный сервер с развернутым Superset, Airflow и ClickHouse. Сделать это можно здесь, но это платно — 99 руб./сутки на минимальной конфигурации, поэтому отключайте сервер, если не пользуетесь.

🟡Воспользоваться облачной версией Superset на этом сайте. Регистрируетесь, подключаете БД или загружаете csv, тренируетесь в построении чартов. Для одного юзера достаточно бесплатной версии.

✅Окей, сам Superset есть, теперь надо сделать дашборд.
Что может пригодиться, помимо документации?

🔸Общий гайд и лайфхаки от Окко
🔸Как использовать шаблоны Jinja + отдельно раздел в документации
🔸Как связать 2 и более датасетов через общие поля
🔸Создание динамических таблиц в Superset
🔸Вычисляем Вес в приросте
🔸Кастомизация дашбордов с помощью CSS + еще материал
🔸Плейлист курса по Superset на ютубе
🔸Плейлист видео про Superset от Ростелеком

Не проходите мимо шаблонов Jinja, RLS и кастомизации с помощью CSS. Это может показаться трудно, но всегда есть возможность попросить помощи в чате комьюнити.
Если понравилась памятка — не жалейте гослингов, соберем 50 гослингов и сделаю такую же про DataLens 🫥

4 способа сделать вложенные структуры понятными

Знакомо, когда print() выдает стену текста из словарей, списков и сложных объектов? Особенно при работе с JSON из API и другими матрёшками🪆

Вот четыре способа, которые спасут ваше зрение и время:

1. 🐍 pprint — встроенный и универсальный

from pprint import pprint
pprint(data)

Плюсы: встроен в Python, работает с любыми объектами, настраиваемая глубина
Для чего: быстрая отладка, просмотр структур сложных объектов

2. 📥 json.dumps — для чистого JSON

import json
print(json.dumps(data, indent=2, ensure_ascii=False))

Плюсы: правильное JSON-форматирование, подсветка в IDE, ensure_ascii для кириллицы
Для чего: работа с API, конфиги в JSON, данные для внешних систем

3. 🔠 rich — для полной визуализации

from rich import print_json
print_json(data=data)

Плюсы: цвета, стили, синтаксическая подсветка
Для чего: продвинутая визуализация, логирование, инструменты для админов

4. 🐼 pandas — для табличного представления, классика

import pandas as pd
display(pd.json_normalize(data, 'users'))

Плюсы: табличное представление, удобно и встроено в pandas
Для чего: развертывание вложенных JSON в плоские таблицы

Выбирайте способ под задачу и берегите глаза! 👀

Как я проходил испытательный в 📱

Вероятность не пройти испытательный срок крайне мала, но никогда не равна нулю. Так, на прошлой работе в банке я пришел в команду одновременно с еще одним аналитиком, который по итогу испытательный срок не прошел. Пока этот случай держится в памяти, мне трудно сказать, настанет ли день, когда я вообще не буду париться из-за испытательного. Будем надеяться, что настанет 😎
А теперь пройдемся по очевидному и не очень:

⏺Доступы. Часть получил довольно быстро, часть — классически долго. Много времени отняли попытки вкурить, как вообще устроена эта инфра, что здесь можно, а что нет. В итоге получилось довольно интересная картина, когда у меня и у коллеги совершенно разные варианты доступа к одной и той же БД. При этом для него не доступен мой способ, а для меня — его. Видимо, так безопаснее 😦

⏺Онбординг. Быстро прошел вводные курсики на платформе, инициировал несколько встреч с бадди — какие данные, где и как лежат, как и откуда забираем, какие есть нюансы и тд. и тп., после чего получил первую крупную задачу на разработку дэша и сразу приступил. Но лучшим онбордингом был отпуск коллеги. Очень такое не люблю, однако все-таки эффективно и сразу демонстрирует критичные в работе области.

⏺Таски. В начале я получал только крупные задачи, но потом сам предложил дать мне больше ad-hoc, потому что все крупное было немного в стороне от магистральной линии работы команды, а мне хотелось быстрее погрузиться в штольни. Это было одним из лучших моих решений на испытательном, хотя раньше я не любил эдхоки и старался их избегать 🤓

⏺Зона роста. Много работаю с чужим кодом, отчего иногда чувствую себя Эдвардом Нортоном в Бойцовском клубе — мало сплю, стал пить крепкий кофе, постоянно мысленно общаюсь с тем, кто писал этот код и соблюдает первое правило клуба — никогда не говорить о доке.

⏺Самая большая боль. Чистота данных. Я работаю с данными, в которых много ручного ввода. Это и данные из CRM, и банально дошедшие до меня через десятки рук эксельки. Есть человеческий фактор, есть технические ошибки. Все это требует постоянной очистки и валидации данных, проверки на соответствие бизнес-логике. На второе место после чистоты данных я бы поставил процессы, а на третье то, о чем нельзя говорить согласно первому правилу клуба... ha-ha, classic 🚬

⏺Базовый минимум. В который раз убеждаюсь, насколько в первые месяцы работы важно встроиться в команду не только на уровне задач, но и на уровне банального общения. Рассказать что-то про себя или наоборот послушать, сходить вместе на обед или выпить кофе после встречи, обсудить хороший или плохой фильм, вовремя пошутить и разрядить обстановку. Это всегда трудно дается в начале, но чем раньше этап знакомства пройдет, тем комфортнее будет и для вас, и для коллег.

Это основные моменты, которые мне хотелось выделить. Вообще темп работы выше, чем в банке, но при этом сроки обычно более гибкие. Количество информации, которое на меня свалилось, тоже оказалось побольше. Очень жду новогодних праздников, чтобы перезагрузиться. А еще в конце года обычно проводят ревью, видимо там я услышу то, что не вошло в положительную обратную связь по испытательному, но это уже совсем другая история 🤣

Делитесь в комментариях, какой испытательный срок был для вас самым трудным и почему? ⬇️

Не скролльте! — как зарождалась реклама

Реклама повсюду. Каждый скролл ленты давно превратился в аукцион внимания🔴 Она стала настолько привычной, что кажется, существовала всегда. Спойлер: так и есть 😎

Все началось с выкриков на рынках — Древний Рим, Греция, рапаны, мидии, моооорские креветки...
Каждый продвигался, как мог. Чем громче кричали, тем быстрее покупатель узнавал о скидках на новый корабль или корабль с новыми рабами.
Именно латинское re-clamo («выкрикивать») и дало имя будущей индустрии💥

Но это все устная история, а вот одной из первых письменных реклам была надпись древнеегипетского жреца. Зацените этот рекламный пост, оставленный на камне 23 века назад 🗿

Я, Рино с острова Крит, по воле богов толкую сновидения.

Реклама в более привычном нам виде появилась после изобретения печатного станка. Уже в 1472 году англичанин Уильям Кэкстон создал первую печатную рекламу – объявление о продаже молитвенника с душевной просьбой:

Не срывайте! 🥺

Времена идут, но меняется не многое. Сейчас эта фраза мутировала в —

Эта рекламная интеграция продлится всего 69 секунд, пожалуйста, не перематывайте.

Но настоящий батя современной рекламы — француз Теофраст Ренодо, королевский медик (его уставшее лицо вы можете увидеть на картинке). Он буквально открыл в Париже XVII века рекламное агентство, по сути, первый классифайдер 😎
Туда слетались все коммерческие объявления. За небольшую плату любой человек мог разместить объявление о купле-продаже или найме на работу 💸 — к примеру, вакансия: 

Требуется слуга для джентльмена благородного происхождения. Необходимы навыки верховой езды, чтения и письма. Преференции тем, кто владеет основами фехтования для защиты господина. Обращаться в Адресное бюро.

Вскоре рекламных объявлений стало так много, что Ренодо начал выпускать газету и спец. приложение к ней – «Маленькие афиши».

Вот так родился медийный рекламный бизнес, а реклама плотно вошла в нашу жизнь. Поэтому если у вас есть машина времени и дробовик, то теперь вы знаете, куда можно отправиться и что нужно сделать ☺️

#история_данных

Сколько денег нужно, чтобы их было достаточно?

Кажется, не нужно бесконечно много, но всегда — немного больше, чем есть сейчас.

Что если работать с личными финансами, как с данными и
найти, где скрыты новые возможности, отыскать забытые платежи и траты, на которые предпочли закрыть глаза...

Для всех, у кого доход загружается стабильно,
а на выходе — таблица с нулевым балансом, нашёлся канал.

Работает как корректный ETL:
отфильтрует шум, агрегирует факты и выгрузит чистые инсайты по финансам:

🔵 Тратить меньше или зарабатывать больше?
🔵Одна работа — высокий финансовый риск
🔵20% категорий, которые формируют 80% трат
🔵Как скопить финансовую подушку

Ошибки 400 не замечены.

Прожарка 📱 Практикума 😡

Вчера мне пришел диплом от ЯП, а за несколько дней до этого - футболка выпускника. Фотки всего этого добра покажу вам вместе с постом про сильные стороны курса DA в ЯП (они есть). Но сегодня у нас другой контент. Сегодня мы будем прожаривать этот курс и ЯП в целом 🤬
Вас ждет не рекламная rare-прожарочка, а нормальный дымный well done.
Это будет серия постов, а мой любимый минус останется на финал - относительно него поддержка ЯП молчит уже две недели. Ну что же, перейдем к развивающей обратной связи.

В ближайших постах речь пойдет про старую программу курса DA, последние когорты по этой программе запустились в прошлом году, но многие проблемы остались. Пойдем по пунктам:

🟥 Приукрашенная бесплатная часть

Практически у всех курсов есть бесплатная часть - обычно там куча картинок, сильный сторителлинг, много интерактива. Доверять этой части нельзя. Остальные спринты не будут такими дружелюбными. Во всех остальных спринтах сторителлинг был слабее, визуала было меньше, из интерактива преобладают тесты. Так что не оценивайте курс по бесплатной части, она витринная.

🟥 Рулетка наставников

У каждой когорты есть наставник. Профессионал, который проводит вебинары по темам спринта. Увы, не всегда когорте может достаться крутой наставник, как, к примеру, Глеб Михайлов (больше там не работает). Моей первой когорте попался наставник, проводивший вебинары для галочки монотонным голосом ровно 60 минут. Их посещало все меньше студентов. Потом он что-то перепутал и провел вебинар вообще не по теме спринта. Наша когорта добивалась его смены, в итоге дали нового наставника, который был вовлечен и заинтересован. Однако если бы не бунт студентов, то ничего бы не изменилось. Когорты стоят на таком потоке, что мониторить всех у Практикума не хватает ресурсов.

🟥 Копипаст-тренажер

Это раздражало больше всего. Каждый спринт состоял из теории и проекта. Теория сопровождалась заданиями в тренажере примерно через каждую тему (из-за чего я не мог прочитать большой блок теории с телефона, так как решать тренажер с него было очень-очень неудобно). Чтобы решить эти задания нужно было скопипастить портянку кода из теории, изменить названия переменных - и готово. В начале я делал эти задания сам, но потом стало понятно, что они буквально созданы под копипаст. На сложных темах - статистика, A/B-тесты, расчет метрик, ML - копипаст подход проник и в проекты. Подозреваю, что это сделано для того, чтобы уменьшить поток вопросов от студентов к преподавателям, которые дежурят в чате, и соответственно порезать косты на сопровождение каждой из когорт. Думаю, никому не нужно объяснять, что от копипаста в голове ничего не остается. Пусть бы заданий было меньше, но они не решались копипастом, а требовали от студента включиться и подумать. Не в этот раз.

🟥 Мало SQL

Его было реально мало. Даже с учетом того, что я проходил расширенную программу с дополнительными модулями по SQL. На мне это не сильно сказалось, поскольку я с 5 месяца обучения юзал SQL ежедневно на работе и дополнительно решал задачки на разных сайтах, но многие студенты жаловались, что к концу программы они уже не помнят, как с ним обращаться. У программы реальный перекос в сторону Python. Проекты по SQL - просто набор задач в тренажере с автопроверкой. С Яндекс Облаком под рукой можно было бы придумать и что-то поинтереснее для расширенной программы.

На этом пока остановимся. Если вам зашел формат и ждете продолжения прожарки, накидайте гослингов 🫥
А если вам есть что добавить про свой опыт обучения в Практикуме - залейте в комментарии 😧

Прожарка 📱 Практикума. Часть 2 😈

Продолжаем прожарку курса DA в Яндекс Практикум. В первой части я коснулся проблем общего характера, в этом посте затронем конкретные траблы.

❌Мобильное приложение

Когда я начинал обучение, мобильное приложение Яндекс Практикума тупо не работало. По-другому это назвать нельзя, поскольку нужный урок не мог загрузиться и выдавал ошибку. Чтобы открыть его нужно было попытаться раз 10-15. Спустя несколько обновлений ситуация улучшилась и можно было открыть урок с 2-3 попытки. Только недавно выкатили обновление, которое сделало его работу стабильнее. Оно реально стало работать шустрее и даже оценки у приложения подросли. Однако и после этой обновы я пару раз поймал ту же ошибку. Не могу сказать, что приложение удобное для чего-либо еще, кроме чтения теории. Как-то так 😡

❌JupyterHub

В нем студенты выполняли большинство своих проектов. Проект тема болезненная, потому что пока ревьюер тебе не апрувнет проект, ты не можешь закрыть спринт. Проблем хватало - и речь не только про временную недоступность сервиса. У меня бывали случаи, когда я написал большой кусок кода, сохранил всю тетрадку, а после обновления страницы увидел, что хаб забил на мое сохранение. Пришлось переписывать. Был интересный кейс и во время сдачи финального проекта. Представьте, не сплю ночами, доделываю этот финальный проект, отправляю на проверку, проходит пару дней, проект приходит с проверки — и тут я вижу, что это не мой проект. Выяснилось, что это прикол хаба и уже не первый раз подобное происходит, а мне просто везло. При этом в юпитер хабе вместо моего проекта уже находится чужой, а свой я вернуть не могу. Я бы просто потерял его навсегда, если бы не сохранил локально перед отправкой, наученный прошлым опытом 😎

❌Платформа

Кривая навигация между уроками и задачами. При переходе к задачам экран разделяется на 4 части - теория, условия задачи, код, вывод. Ну ок. Однако если в уроке уже прикреплены задачи, то сразу включается это разделение экрана, хотя я еще не прочитал теорию и читать ее в окне не удобно. Да и вот это деление на 4 части мне не нравилось, писать в нем код неудобно. В приложении еще хуже. Есть тренажеры, где это сделано лучше, посмотрели бы там и переняли опыт, что-ли ☔️

❌Пачка

Для коммуникации используется Пачка. Там можно задавать вопросы преподавателям, там публикуют ссылки на вебинары, там кураторы и преподаватели оставляют кучу полезных ссылок на дополнительные материалы, статьи, видео и так далее. Когда курс заканчивается, все эти чаты переносятся в архив, а тебе провожают на мороз. И если ты хочешь потом найти какую-то ссылку из доп. материалов или свой чат с одногруппником, то сиди и переноси это все вручную в тг или еще куда-то, потому что после перенесения в архив ты даже посмотреть эти чаты не сможешь. Очень удобно, очень френдли 😂
Поэтому если в вашей когорте нет своего чата в тг - исправьте это немедленно и упростите себе жизнь в будущем

В следующий раз поговорим про актуальность старой и новой программ, а также о том, как ЯП забывает про свои обещания.

Еее! Новый гость! 🤩

Давненько у нас не было новых выпусков БПЛД-подкаста, пора это исправить.
А гостем в следующем выпуске будет Татьяна Шевченко, автор канала Tatiana идёт к 300к в наносек.

Сейчас Таня работает аналитиком в Райфе 💲, а до этого работала в 💲. Но вы только посмотрите, как начинался ее путь, а вот тут продолжение — в 34 и с грудным ребенком на руках, как вам такой вкат? 😱

Поговорим с Таней про трудности обучения, ее стальные нервы, интересные и не очень задачи, про работу в банках и, конечно, про карапузов, куда ж без них ☺️

Свои вопросы Тане оставляйте в комментариях, все что написано до среды 3 декабря может попасть в выпуск ⬇️

Прадедушка калькулятора

Говорят, зумеры не умеют определять время по механическим часам, а вот много ли миллениалов умеют пользоваться счетами?🧮

Представим, что нет ни экселя, ни калькулятора, ни даже бумаги, а считать большие денежки (например, налоги с целого города или прибыль от торгового каравана) приходится. Во времена гонок на колесницах и дешевой рабочей силы для этого использовали счетную доску – абак, то есть древние счеты.
Это, наверное, вообще одно из самых долговечных вычислительных устройств в истории 🧐 - по крайней мере, 5 тысяч лет назад самые простейшие счеты уже существовали.

❤️ Греки называли их abakion, а римляне – abacus. Произошло это слово скорее всего от семитского abq – пыль, потому что первые счеты были просто столами, покрытыми песком для рисования.

По сути, счетная доска – это стол с начерченными линиями. Посмотрите, как сгорбился за ним чувак на картинке, небось готовит отчетность для начальства. Каждая линия имела свой вес: единицы, десятки, сотни и т.д. Ну а для обозначения цифр использовались обычные камешки🗿 (по-латыни calculus, отсюда пошло слово калькулятор, но об этом как-нибудь потом).

Все просто: положил камешек на линию сотен – получил 100, пять камешков на линию десятков – 50 👍Для совершения математических операций необходимо передвигать камни согласно правилам. Почти эксель, раскладываешь данные по колонкам, а система сама вычисляет итог. Можно сказать, что абак был прототипом визуального программирования ⌨️

Римляне даже создали портативную версию – бронзовую табличку с бороздками, по которым передвигались шарики – первый карманный девайс для бухгалтерии 😎 А греки, например, до сих пор говорят о талантливом человеке:

Он знает абаку.

Как-то так.

А вы когда-нибудь пользовались счетами?

#история_данных