Понравился сервис Rowboat для обзора и предобработки данных. На видео я загружаю тестовый csv и через секунду получаю информацию по каждому столбцу. Пропуски, уникальные значения, визуализации, мин, макс, медиана, распределение и многое другое. Можно сплитовать и объединять столбцы, выбирать регистр, мерджить значения и фильтровать.

Круто, что основной функционал доступен бесплатно, хотя выгрузка обработанного датасета или визуализаций уже потребует подписки. Пока планирую использовать для быстрого осмотра данных перед работой с ними в юпитере и самопроверки.

В новом выпуске РБК новый график. И снова две линии из трёх практически не различимы по цвету. Хотя это не единственная визуализация, с остальными все лучше. Интересно, что в каждом выпуске есть материал с визуализацией данных. Думаю, скоро мы увидим на Яндекс Практикуме курс дата-журналиста))

Очень плохо. В Черном море меньше воды, чем здесь. Иногда казалось, что книга написана нейросетью. По этой теме и так не много систематизированного материала, а тут такая подстава. В общем, не рекомендую.

Теперь аналитик данных в Почта Банк.

Вторая неделя близится к концу. Пока состояние примерно такое, при этом уже есть задачи, которые просто некому сделать, кроме тебя. Как только немного выдохну, вернусь с постами. Если выдохну)

Этот мем стоит того, чтобы в нем разобраться)

Аналитика – лучший способ вкатиться?

На днях общался с тестировщиком, который свитчнулся несколько лет назад. Во время разговора подумал о следующем. Если когда-то считалось, что через QA проще и быстрее всего войти в IT (возможно, так оно и было какое-то время), то сейчас подобное скорее можно сказать про аналитику. С одной оговоркой – этот путь пока ещё не стал общим местом.

Почему я так думаю?

1. Аналитики нужны в разных сферах

Это не только банки и маркетплейсы. Аналитиков ищут госучреждения, заводы, медицинские клиники, онлайн-школы, застройщики, автодилеры, крупные компании, маленькие фирмы, ипшники, кто угодно. А это значит:
– вам будет проще найти первую работу в профессии, опираясь на предыдущий опыт
– возраст 30+ может быть преимуществом
– ваш переход в новую профессию выглядит как вариант развития текущей карьеры, а не как безумство
– можно начать свой путь даже без SQL и Python (есть и такие вакансии)

2. Возможность поменять направление

Учиться и делать свои проекты обычно интересно и увлекательно, мы получаем эндорфин и все такое. Но только после получения коммерческого опыта придет окончательное понимание того, хотите ли вы заниматься этим делом действительно серьезно. Если вдруг вы поняли, что хардовая сторона вам менее интересна, то можно уйти в бизнес-аналитики, проджекты или продакты, или даже в маркетологи. Навыки, которые вы уже получили, однозначно вам пригодятся. С другой же стороны, если харды вам интереснее, то здесь от DE до ML и дальше. Благо, вакансии DA это такая химера, внутри которой может быть уклон в любую из смежных сфер.

3. Аналитика не перегрета вниманием

Обычно работа аналитика представляется людям скучной и рутинной (но мы-то с вами понимаем, коллеги).
Поэтому все, кто обычно хочет вкатиться быстро и просто, выбирают другой путь. Благодаря этому в сфере аналитики все ещё работает рынок кандидата. Кто-то может не согласиться, но мне представляется, что ситуация у нас лучше, чем у начинающих разработчиков или тестировщиков, которые ищут работу по полгода.

В общем, если вы сомневаетесь, то набирайтесь решимости и переходите к реальным действиям, пока момент не упущен.

Небольшая, но ёмкая статья об отличиях колоночных и строковых СУБД. Прочитайте, если все ещё кратко не получается сформулировать эту разницу. В комментариях добавил гифки.

Пополняется библиотека понемногу, собираю животных на обложках как покемонов)

На прошлой работе таблица в несколько миллионов строк казалась мне большой. На практике обычно приходилось работать с десятками тысяч строк, иногда – сотнями. В такой ситуации не сильно думаешь о том, насколько оптимален написанный тобой SQL-запрос.
На текущем месте ситуация совершенно иная, поскольку я сходу перешёл к таблицам в несколько десятков миллионов строк. Однако результат моей работы на этой неделе побил все рекорды – 1 миллиард 250 миллионов строк. Теперь интересно, как скоро я увижу нечто бОльшее.

«IT осталось недолго»

Вчера на стриме у Евгения Виндюкова я немного поднял тему комментариев, краткий смысл которых можно свести к фразам «у тебя не получится», «после 30 поздно», «вы не найдете работу» и так далее. Мы можем услышать такие комментарии от знакомых или прочитать под видео о смене профессии. О том, почему люди их оставляют поговорим позже – это отдельная большая тема. Сейчас хочется посмотреть на сами тейки. Один из них – IT осталось недолго, скоро хайп закончится, раньше такое уже было с юристами и экономистами. Думаю, вы знаете эту точку зрения.

Я сам так считал в начале 2010-х. В итоге такая точка зрения обошлась мне довольно дорого. Ситуация с IT отличается от хайпа на юристов 20 лет назад, потому что здесь в основе лежат трансформации во всем мире, а не в отдельно взятой стране, резко вывернувшей в капитализм. IT будет меняться, но никуда не денется. Лучшей иллюстрацией к этой мысли будет диаграмма количества данных, ежегодно создаваемых в мире. Больше конкретики можно увидеть в этой статье, там есть ссылки на источники. В следующий раз напишу про ещё один миф из комментариев.

«AI вас всех заменит»

О, сколько копий сломано на этом тейке. Как пример, вы можете прочесть вот эту маленькую статью, а также пройтись по комментариям. Аргументов хватает у каждой из сторон, однако сторонники "замены" обычно не дают точных сроков ее, этой самой "замены", точного наступления. Вне зависимости от того, кто из них прав, я бы вообще не рекомендовал тревожиться об этом, если вы только начинаете свое обучение.
И вот почему:

* чтобы вкатиться вам нужен максимум год, за это время ситуация не изменится настолько, что вы не сможете найти работу из-за AI
* шум вокруг AI привлекает инвестиции, стоит помнить об этом, когда читаете новости
* механизм принятия решений AI не очень прозрачен, что создает дополнительные риски для компаний
* люди несут ответственность за свою работу, с них можно спросить
* любой модели потребуется оператор, который будет писать промты
* даже если настанет день, когда самые технические роли заменит AI — вы спокойно перейдете в системные аналитики, потому что ни одна модель не выдержит такое количество созвонов
* в промышленном масштабе использование AI — дорого и ресурсоемко
* для узконаправленного использования AI необходимо обучение модели, а для обучения — данные, а там где данные, там и вы)

А вообще сегодня я ковырял легаси SQL-скрипт, собирающий таблицу с агрегированными данными. Скрипт состоит из нескольких запросов, но занимает две с половиной тысячи строк. Хотелось бы посмотреть, как человек пытается составить промт, чтобы LLM выдал нужный ответ в виде такого скрипта.

Так что пока AI наш друг и товарищ, а до всего остального еще дожить нужно)

Второй месяц на новой работе ✅

✍ Дорогой дневник, синий банк выкупил банк, в котором я работаю...

🥲 То ли мы насилуем Кликхаус, то ли он нас... Ещё предстоит разобраться

😵‍💫 В Яндекс Практикуме пришлось взять переход в другую когорту, посмотрим, как это будет

👀 В рамках стороннего проекта снова поработал с pymorphy2

⚡️ Наконец-то закрыл одну из задач испытательного

🦫 Обзавелся кружкой DBeaver

👌 А ещё внедрил в команду аналитиков чат с мемами (да, они жили без него!)

Дропнул табличку, которая разрослась из-за неправильного джойна. То есть сам джойн-то был правильный, просто кто-то не посмотрел, есть ли повторы данных в ключе...

К слову, на эту тему есть хорошая статья на Хабре, рекомендую.