Всем привет!
Напомню, что я всё ещё учусь =) Точнее продолжаю себя развивать всесторонне.
В курсе по Инженеру данных у меня осталось 2 модуля + итоговый проект. Кажется, что уже вот-вот и я получу ещё один диплом, ахахахах. Как бы не так - там остались самые информативные модули. Но мне этого оказалось мало...
И сегодня я приобрёл на той же платформе ещё два курса: один по Machine Learning, другой - по Deep Learning.
Как я уже писал выше, в вакансиях на мидла аналитика данных стал замечать очень много всего, что относится к инженерии данных и ML. И это стало одной из главных причин, почему я это сделал.
А ещё я побывал на множестве вебинаров, и на одном из них мне очень понравилось то, как там делали рекомендательную систему. И это вторая причина =) Хочу попробовать сделать что-то такое и может быть уйти в ту сторону.
А ещё я считаю (о чём я уже говорил), что вложение средств в своё обучение - это лучшая инвестиция, которая может быть.
В любом случае, думаю, что база аналитика данных - самое то и для ML, и для DL.
А вы как считаете, зря я это сделал или нет? =)

@nullpp #обучение #ml #dl #de #da

Всем привет!
Я тут ржу-нимагу, но это больше истерический смех)))
Откликнулся на одну вакансию джуна BI-аналитика.
Нужен BI-аналитик для HR-команды (можно с небольшим опытом), чтобы строил им метрики по их запросам и обновлял дашборд в DataLens и тд и тп.
Я откликнулся, а в сопроводительном письме подробненько расписал, мол я вот имею опыт разработки такого дашборда для крупной международной компании (а это действительно так). Расписал какие метрики я реализовал и много всего ещё написал. Указал, что я это реализовывал как раз в DataLens.
А вечером приходит такой ответ:

Всем привет!
Я тут не так давно решил зарегистрироваться в Сетке. Ну как зарегистрироваться? Так как это сайт от hh, то и все данные подтянулись оттуда автоматически. То есть регистрация и наполнение профиля заняла буквально пару минут.
Не знаю зачем я это сделал, наверно читсто из любопытства.
Вижу много ребят из IT и аналитики. Кто-то выкладывает вакансии до того, как они уходят в HR, кто-то делится кейсами и лайфхаками. А кто-то просто интересуется о чем-либо и можно почитать комантарии и даже узнать много чего интересного.
Думаю, hh хотели сделать что-то вроде своего русского линкедина, но с немного другой атмосферой.
Веб-интерфейс пока сыроват (напрмер, нельзя нормально чатиться или посмотреть свои подписки), так что придётся скачать приложение.
Я думаю, здесь можно каждому найти свой круг общения, найти лидов в своём направлении и, конечно же, ловить вакансии, до которых руки HR и алгоритмы ботов ещё не дошли.
Кто тоже в Сетке? Давайте задружимся: https://setka.ru/users/019be1a3-89ad-7b90-b0b9-143c69d63102
Да, ссылки на профиль тоже вот имеют такой страшный формат, но что поделать?
Или кидайте свои ссылки в комментариях, чтобы и другие тоже подписались.

@nullpp #hh #сетка #работа #соцсети

Всем привет!
У меня уже 99 подписчиков в ТГ-канале, давайте позовём всех своих знакомых, чтобы было больше 100 ахахха =)
А теперь к теме поста!
В очередной раз убедился, что вливаться в проект на финальной стадии - тот еще квест. Особенно когда команда, которая его начинала, уже разбежалась. И сейчас я поделюсь своим кейсом...
На прошлой неделе я наконец-то закончил доработки по одному очень сложному для меня проекту. И сложным он был не потому что надо было очень много делать или было не понятно что надо делать)
Всё потому, что над очень длинным проектом работало много людей, которые за время проекта уже перестали быть частью команды.
И вот, в конце октября прошлого года, меня подключили к работе исправлять "косяки" работы дашборда.
Небольшое отступление, что за дашборд. Это HR-дашборд одной крупной международной компании с несколькими вкладками, с кучей различных индикаторов-метрик и несколькими таблицами с подробными сведениями.
Принятые сотрудники, уволенные сотрудники, причины увольнения, те кто работает на постоянке или по временному контракту, количество экспатов (заграничных сотрудников) и т.д, и т.п.
Самый смак в том, что данные подгружаются помесячно и какие-то метрики надо считать по всему периоду, а какие-то - только по последнему месяцу. И при выборе периода на дашборде, данные должны быть актуальны именно на конец выбранного периода.
Первой моей задачей было "добавить циферки в бублики" - вроде лёгкая задача, но... Спустя кучу потраченного времени, я узнал, что у DataLens есть беда: Итоги в "бубликах" не любят агрегации (или оконки) ни в каком виде. А там использовалась функция MAX, чтобы вывести данные за последний месяц, поэтому и итог внутри "бублика" не отрисовывался.
Да, разбираться в чужих формулах, особенно когда уже нельзя спросить у человека, который этим занимался - это то ещё "удовольствие".
Я решил эту задачку так:
- Создал отдельную VIEW-шку, которая считает все данные для всех "бубликов" в разных разрезах. Пришлось наколдовать несколько оконных функций в SQL, чтобы одним запросом всё посчиталось как надо.
- Дополнил дашборд параметрами дат начала и конца периода.
- И уже используя эти параметры в SQL-запросе к сделанной VIEW-шке, отрисовывал всё, что требовалось.
Так я избавился от агрегаций внутри DataLens и всё починил.
На встречу с заказчиком меня не позвали, но там выяснили, что все "циферки" сошлись, и я молодец xD
Но появились другие проблемы. Точнее эти проблемы уже были, но я о них не знал, так как только подключился к проекту. Легче было бы перечислить то, что "билось" с исходными данными.
Задача была поставлена очень размыто, буквально "вот тут в таблице циферки не сходятся, тут не то, тут не это", и я приступил к работе, не сильно понимая, какой результат от меня хотят. Всё бы ничего, но 30 декабря увольняется проджект менеджер, который вёл этот проект (подарок под елочку, ага). И после уже новогодних праздников (уже с новым ПМ, который вообще не участвовал ранее в этом проекте), снова организуем встречу с заказчиком, чтобы ещё раз обговорить что мы должны сделать и как мне валидировать результаты.
Заказчик, кстати, вообще молодец: подготовил очень объёмную презентацию, где подробно рассказал что уже работает, что не работает, а что работает не так как они ожидают. Плюсом ко всему предоставил эксель-табличку по которой можно было понять, с какими значениями должны "биться" результаты.
Так прошёл ещё один месяц работ над проектом вперемешку с другими проектами. Я заканчиваю свою разработку, сдаю проект ПМу, тот назначет встречу с заказчиком, которая в последний момент отменяется...
А на прошлой неделе выясняется, что надо срочно сдать доработки, так как со стороны заказчика человек уходит в отпуск. ПМ уехал в командировку, встречу провести не сможет, и меня отправляют одного защищать свои же доработки, ахаха. Спойлер: я выжил
Встречу я провёл, доработки приняли, все заготовленные для проверки тест-кейсы заказчика пройдёны. Я в очередной раз молодец!
А у вас был опыт реанимации чужих дашбордов? Или вообще таких вот проектов?

@nullpp #работа #дашборды #доработки #проект #кейс

Всем привет!
Сегодня у меня две прекрасные новости =)
Первая: У меня на канале 101 подписчик, йээээ!!! 🎉
Вторая: Я сегодня получил печатный диплом по BI-аналитике! 🎉
Можно ли уже сейчас назвать себя коллекционером дипломов? xD

@nullpp #обучение #диплом #аналитика #BI

Всем привет!
Как я уже рассказывал, я работаю удалённо. И мой главный инструмент - компьютер, который я собирал сам.
Долгое время у меня было два FHD‑монитора (24″, 60 Гц). И в целом, меня всё устраивало.
Но со временем появились две проблемы:
- устают глаза после долгих рабочих сессий;
- не хватает места на экране для больших текстов и сложных задач xD
Я долго присматривался к различным 27" 2К мониторам...После долгих поисков я решился на апгрейд - купил и заменил один из своих старых на новый: 27" + 2К + 120 Гц.
Вот стоят (точнее висят на кронштейне) они рядом и прямо видно разницу между ними: картинка ярче и чётче и больше рабочего пространства. Про плавность пока ничего не скажу, надо привыкнуть =)
Заказ второго монитора уже в пути (обещают завтра), но я знаю эти "завтра" - будем ждать с терпением и надеждой!
А как организовано ваше рабочее место? Какое количество мониторов и какого размера и разрешения считаете идеальным для долгой работы?

@nullpp #работа #рабочее_место

Вот как-то так я и думал, работают отклики на HH.

Айтишника пригласили на собеседование с рецептом пельменей в резюме. Парень оптимизировал его под алгоритмы нейросетей по ключевым словам, и его принял ИИ-эйчар. Настоящий HR даже не открывал резюме перед откликом.

Всем привет!
Удивительно и поразительно!
Но "завтра" случилось именно завтра (а то есть сегодня) и монитор мне доставили. Уже всё подключил и настроил :)
Теперь моё рабочее место выглядит как-то так.

@nullpp #работа #рабочее_место

Всем привет!
Чот я давно не писал ничего в канале =) Будем исправляться!
По работе у меня было несколько задач одновременно. Причём они настолько разные, что было интересно переключаться с одной на другую, чтобы отдохнуть от третьей)
1. Надо было настроить выгрузку из 1С + собрать витрину для дашборда. Знаете, я раньше не любил 1С... А теперь я вообще его ненавижу! 😆Даже не хочу расписывать с чем мне пришлось столкнуться, в основном проблемы были с бухгалтерией.
2. Писал на питоне, да-да. Надо было подумать, как автоматически распарсить JSON, который записан просто текстом в колонке PostgreSQL. Придумать то я придумал, а вот как это встроить в DVT - это вопрос уже другой.
3. А ещё, я очень плотно рисовал самописный чарт-карту в Visiology. Надо было найти готовый geojson России, добавить к нему территории Беларуси и Казахстана (там тоже есть продажи) и вывести несколько параметров. Получилось хорошо, но есть косяк - при выборе значений фильтров, карта перестаёт быть интерактивной. Работает это на OSM.

#работа

Всем привет!

Сейчас я занимаюсь в том числе тем, что делаю внутренний дашборд по продажам компании на Visiology. И я уже писал, что на прошлой неделе я начал делать чарт карты. Это было что-то с чем-то =)

В стандартных визуализациях Visiology отсутствует такой чарт, но в документации есть пример карты Москвы: можно сделать карту на базе OSM, чем я и воспользовался. Такие "самописные" чарты делаются с помощью JS, который я не особо-то хорошо знаю, но, воспользовавшись помощью нейросети, я сэкономил очень много времени.

Итак, по порядку.

Для начала, изучив пример из документации, необходимо было создать карту формата GeoJSON с нужными полигонами. На руках был csv-файлик от Яндекса с координатами регионов России, который я преобразовал в GeoJSON с помощью не очень сложного самописного скрипта на Python. Затем пришлось добавить несколько полигонов, которые относятся к соседним государствам, но в которых у нас уже были продажи.

Переписав код чарта из документации под свои нужды, я столкнулся с двумя проблемами:

1. Всплывающая подсказка выдавала очень скудную информацию. Пришлось открывать код страницы, выискивать, какие элементы и свойства за что отвечают. А когда нашёл, перечислил их нейросети и сказал, что нужно сформировать набор данных исходя из вот таких полей с такими-то данными. Сам бы я точно провозился несколько часов, но с нейросетью справился минут за 20.

2. Карта после изменения фильтров на дашборде становилась абсолютно статичной и неинтерактивной. С этим вопросом пришлось повозиться подольше: нейросеть всё пыталась исправить эту проблему полным обновлением страницы. Пришлось отложить решение этой проблемы на выходные и переключиться на другие задачи. И вот вчера я решил и эту проблему, совершенно случайно наткнувшись на статью, где рассказывалось, как обновить часть страницы, не обновляя её полностью. Я скопировал код страницы дашборда, закинул в ту же нейросеть и попросил найти часть кода, которая отвечает за обновление соседнего чарта. Получилось! Свойство было найдено, осталось только "прикрутить" его к чарту карты, что у меня успешно и получилось.

Осталось дело за малым: нужно пересмотреть источник данных и понять, почему не у всех продаж корректно определяется регион, но это уже совсем другая история =)

И вот с одной стороны - это так классно, что можно делать вещи, в которых ты слабо разбираешься. А с другой - если меня сейчас спросить, например, какое свойство отвечает за обновление отрисовки конкретного чарта, то я уже забыл и знать не знаю. Когда ты находишь информацию самостоятельно, пропускаешь её через себя, ты всё равно запоминаешь её. И внезапно я задумался о том, что нейросети могут очень сильно помогать нам, но при этом мы перестаём запоминать, как и что делать.

А что думаете вы: мешают ли нейросети нам запоминать такие вещи?

П.С. В комментах скинул скрин, где видна всплывающая подсказка

@nullpp #работа #нейросети

Всем привет!
Ну что ребятки?
Третий сезон серия сериала "Как сменить работу без регистрации и смс" официально завершён. Мне вчера скинули в электронном виде третий диплом по инженерии данных. Теперь я могу себя смело называть fullstack-аналитиком. Звучит солидно, если не знать, что чуть больше года назад я с трудом понимал, чем вообще хочу заниматься.
Кстати, четвёртый и пятый сезон сериала уже в продакшене XD

@nullpp #работа #учеба #истории #диплом

Всем привет!
Решил запилить своё резюме + портфолио в простом формате на гитхаб.ио
Всё делается в формате md и выглядит достаточно неплохо, как мне кажется =)
Посмотреть можно тут: https://mishandri.github.io/

Всем привет!
Наткнулся на интересный пост, в котором утверждается, что можно ускорить работу Pandas заменив всего лишь одну строку!!!
Было

import pandas as pd  

Стало

import fireducks.pandas as pd

https://habr.com/ru/companies/ozontech/articles/1005590/

Кто-нибудь пробовал? 🤔

#pandas #python

Всем привет! Ранее я писал (https://t.me/nullpp/39), что использовал хостинг Beget для выполнения своего итогового проекта по учёбе. И в общем-то меня всё устраивало. 9,73₽ в день - это примерно 300₽ в месяц.
Мне приходило письмо от них, что цена изменится. Но ТАКОГО я не ожидал.
Сейчас тот же самый хостинг предлагается за 25,04₽ в день, и теперь требуется оплачивать IP-адрес отдельно за +5₽ в день.
В итоге платить в 3 раза больше за услугу, которой почти не пользуешься, — так себе удовольствие. Придётся либо переезжать, либо забить.
Кто что посоветует из дешёвых и надёжных хостингов для маленьких учебных проектов?

@nullpp #хостинг #beget #цены #учёба #итоговыйпроект