Воу-воу-воу, афигеть сколько вас прибыло после поста у Дмитрия https://t.me/rockyourdata/3611.
Сначала, я подумал, что каналом ошибся, и попал в свой старый пост (он недалеко, кстати). А потом как понял…
Давайте знакомится.
Ярослав. 3 года как Data Analyst / Data Engineer. На текущий момент больше года гребу в российском ЕПАМе.
До этого 9 лет занимался онлайн маркеингом для e-commerce и e-learning (особенно).
Собственно, эти два направления отлично смешались в Web-analytics, CX analytics и всё что касается метрик в домене «маркетинг».
Живу в Финляндии, скоро уже год как. Учу язык (не всё ж вайти курсы гонять). Недавно вот небольшой экзамен успешно сдал на одном из курсов по финскому, от местного университета.
Собственно, вся пахота из поста и постоянная учёба в свободное от работы время, ради этого и были.
И продолжаю прокачиваться, ради дальнейших тут результатов.
В планах на 10 летнем интервале — «Агро ИТ. Сельхоз датасаенс». Арендовать\купить тут кусок земли с сараями. И сделать свои автоматизированные теплицы\грядки. Гидропон там всякий по науке, зелень в нём, овощи растить. И открытый грунт тоже. Чоб фрукты\ягоды. И всё в датчиках, с замерами влажности, температуры, кислотности\щёлочности и т.п. Жена там будет за растительность и процесс выращивания отвечать, а я за вычисления и автоматизацию.
Этот канал я создал по совету товарища. Он сказал «заведи канал, и пости в нём что изучаешь, какие проекты делаешь. Код. Наработки. Идеи. Конспекты с курсов\конференций. Вопросы. Обсуждения. Чтобы если тебя спросят «что ты умеешь в целом?», то ты мог дать ссылку на канал. И показать.»
Поэтому я его завёл исключительно с этой целью. Не канал для набора подписчиков. А как «хранилище» опыта, что ли.
И очень рад вас видеть тут.
Выше я выложил три закрепа, на посты, которые считаю интересными для вас.
Кстати, так и не дописал историю как вкатывался (первые посты). Ну да и хрен с ней, пока не до неё.
Т.к. вас теперь тут много, постараюсь постить чаще чем раз в полгода.
И что-то полезнее, чем мои размышления в слух.
~ Недавно меня попросили рассказать, как настроить Jupyter Notebook под себя. Да и вообще собрать свою рабочую среду на сервере. Со связкой из Jupyter Notebook, Apache Superset\Redash, БД туда подключить, и ваще всякого, чтоб вычислялось на сервере, а не десктопе. Окей, это будет не быстро, но инструкцию сделаю.
~Ещё загорелся идеей о механической ортогональной эргономичной сплит-клавиатуре. И вертикальной мышке. Звучит как вегетарианец вейпер на гироскутере с подворотами, ага. Но вас в эту секту не потащу.
Комменты открыты, будет желание — черкните пару строк о том, что хотелось бы увидеть на канале.
Дмитрию огромная благодарность и за мотивирующий душевный пост.
И за упоминание отдельно спасибо.
Кстати, вот пост с той фоткой https://t.me/datasauna/135
P.S. в 2015-ом году мне товарищ о постах в ВК сказал «…ты даже представить себе не можешь, КТО может читать твою "никому не нужную" стену, и как это может повернуться». Так вот. 2022 год, а цитата всё ещё не потеряла актуальность. Я даже вообразить себе не мог, что ко мне вот так зайдут на богом забытый канал, и не просто зайдут, а ПРОЛИСТАЮТ, ПРОЧИТАЮТ, и ещё и пост от этого получится.
Лан, чот разговорился я.
Добро пожаловать! Tervetuloa!
#личное
Сначала, я подумал, что каналом ошибся, и попал в свой старый пост (он недалеко, кстати). А потом как понял…
Давайте знакомится.
Ярослав. 3 года как Data Analyst / Data Engineer. На текущий момент больше года гребу в российском ЕПАМе.
До этого 9 лет занимался онлайн маркеингом для e-commerce и e-learning (особенно).
Собственно, эти два направления отлично смешались в Web-analytics, CX analytics и всё что касается метрик в домене «маркетинг».
Живу в Финляндии, скоро уже год как. Учу язык (не всё ж вайти курсы гонять). Недавно вот небольшой экзамен успешно сдал на одном из курсов по финскому, от местного университета.
Собственно, вся пахота из поста и постоянная учёба в свободное от работы время, ради этого и были.
И продолжаю прокачиваться, ради дальнейших тут результатов.
В планах на 10 летнем интервале — «Агро ИТ. Сельхоз датасаенс». Арендовать\купить тут кусок земли с сараями. И сделать свои автоматизированные теплицы\грядки. Гидропон там всякий по науке, зелень в нём, овощи растить. И открытый грунт тоже. Чоб фрукты\ягоды. И всё в датчиках, с замерами влажности, температуры, кислотности\щёлочности и т.п. Жена там будет за растительность и процесс выращивания отвечать, а я за вычисления и автоматизацию.
Этот канал я создал по совету товарища. Он сказал «заведи канал, и пости в нём что изучаешь, какие проекты делаешь. Код. Наработки. Идеи. Конспекты с курсов\конференций. Вопросы. Обсуждения. Чтобы если тебя спросят «что ты умеешь в целом?», то ты мог дать ссылку на канал. И показать.»
Поэтому я его завёл исключительно с этой целью. Не канал для набора подписчиков. А как «хранилище» опыта, что ли.
И очень рад вас видеть тут.
Выше я выложил три закрепа, на посты, которые считаю интересными для вас.
Кстати, так и не дописал историю как вкатывался (первые посты). Ну да и хрен с ней, пока не до неё.
Т.к. вас теперь тут много, постараюсь постить чаще чем раз в полгода.
И что-то полезнее, чем мои размышления в слух.
~ Недавно меня попросили рассказать, как настроить Jupyter Notebook под себя. Да и вообще собрать свою рабочую среду на сервере. Со связкой из Jupyter Notebook, Apache Superset\Redash, БД туда подключить, и ваще всякого, чтоб вычислялось на сервере, а не десктопе. Окей, это будет не быстро, но инструкцию сделаю.
~Ещё загорелся идеей о механической ортогональной эргономичной сплит-клавиатуре. И вертикальной мышке. Звучит как вегетарианец вейпер на гироскутере с подворотами, ага. Но вас в эту секту не потащу.
Комменты открыты, будет желание — черкните пару строк о том, что хотелось бы увидеть на канале.
Дмитрию огромная благодарность и за мотивирующий душевный пост.
И за упоминание отдельно спасибо.
Кстати, вот пост с той фоткой https://t.me/datasauna/135
P.S. в 2015-ом году мне товарищ о постах в ВК сказал «…ты даже представить себе не можешь, КТО может читать твою "никому не нужную" стену, и как это может повернуться». Так вот. 2022 год, а цитата всё ещё не потеряла актуальность. Я даже вообразить себе не мог, что ко мне вот так зайдут на богом забытый канал, и не просто зайдут, а ПРОЛИСТАЮТ, ПРОЧИТАЮТ, и ещё и пост от этого получится.
Лан, чот разговорился я.
Добро пожаловать! Tervetuloa!
#личное
👍3
Есть задача. Я, конечно, полезу в документацию, и буду читать и вникать, но вдруг кому-то и вас довелось сталкиваться уже с указанными сервисами и их API, и может уже есть какие-то сниппеты\заготовки кода, которыми сможете поделиться.
Делаю аналитику CX (Customer Experience).
Юзаем HotJar и GA4.
HotJar делает записи поведения юзеров на сайте (как Вебвизор в Яндекс.Метрике). На какой странице, куда водил мышкой, куда скроллил, куда кликал.
Нужно сматчить GAID (google analytics ID который назначается ЮЗЕРУ, не сессии) и HotJar ID (который обычно назначается сессии, но возможно есть и на юзера айдишка).
Для чего:
Чтобы смотреть на записи как ведёт себя юзер, когда его будет выкидывать в какой-то критический bad experience.
А ещё, мы собираем обратную связь через форму, и её у нас довольно-таки много, но в форме обратной связи есть только GAID, а хотелось бы посмотреть, КАК ведёт себя юзер, который жалуется, например, на "terrible website. difficult to access records" или на "The website is very difficult to navigate".
Потому что ЦА и юзеры сайта далеко не супер-грамотные в комплютерах люди. Поэтому хочется отследить, где именно их CX проседает, чтобы потом составить ТЗ для UX команды, и переделать UX этих страниц.
Короч, если доводилось работать с API от HotJar, или знаешь как через фронтенд пробросить передачу User_ID от HotJar — дай знать в комментарии пожалуйста.
#рабочее
Делаю аналитику CX (Customer Experience).
Юзаем HotJar и GA4.
HotJar делает записи поведения юзеров на сайте (как Вебвизор в Яндекс.Метрике). На какой странице, куда водил мышкой, куда скроллил, куда кликал.
Нужно сматчить GAID (google analytics ID который назначается ЮЗЕРУ, не сессии) и HotJar ID (который обычно назначается сессии, но возможно есть и на юзера айдишка).
Для чего:
Чтобы смотреть на записи как ведёт себя юзер, когда его будет выкидывать в какой-то критический bad experience.
А ещё, мы собираем обратную связь через форму, и её у нас довольно-таки много, но в форме обратной связи есть только GAID, а хотелось бы посмотреть, КАК ведёт себя юзер, который жалуется, например, на "terrible website. difficult to access records" или на "The website is very difficult to navigate".
Потому что ЦА и юзеры сайта далеко не супер-грамотные в комплютерах люди. Поэтому хочется отследить, где именно их CX проседает, чтобы потом составить ТЗ для UX команды, и переделать UX этих страниц.
Короч, если доводилось работать с API от HotJar, или знаешь как через фронтенд пробросить передачу User_ID от HotJar — дай знать в комментарии пожалуйста.
#рабочее
This media is not supported in your browser
VIEW IN TELEGRAM
Ну, в целом для многих уже не секрет, все кого следует оповестил, теперь можно и тут сказать.
Я получил и принял оффер в компанию Starship на позицию Data Engineer, в связи с чем покидаю ряды DA/DE в EPAM.
Про Starship — это был самый крутой и адекватный процесс хайринга в Финляндии (за РОВНО ГОД как я пытался найти тут работу я с таким сталкивался только 3 или 4 раза). И самый быстрый.
В отличие от тех же Unity, где интервал между этапами мог составлять 2 недели — в Старшипе были максимум 2-3 дня между этапами. Ну и приняли в офисе, конечно, как родного.
Стек — AWS, Spark, Kafka, Databrics, dbt, Tableau.
Про собесы, работу (из того, что можно сказать, и что не NDA) и, конечно, благодарности (есть как минимум три человека) за развитие, образование и помощь в том или ином виде на пути — напишу позже, в следующих постах.
Пока скажу загадкой. Человек (вы его многие знаете), который часто пишет у себя в канале «ПРИСМОТРИТЕСЬ К DATABRICKS ЕДРИТ ВАС ЭДАК ДА РАЗЭДАК» и «И К dbt !» — оказался прав.
#личное
Я получил и принял оффер в компанию Starship на позицию Data Engineer, в связи с чем покидаю ряды DA/DE в EPAM.
Про Starship — это был самый крутой и адекватный процесс хайринга в Финляндии (за РОВНО ГОД как я пытался найти тут работу я с таким сталкивался только 3 или 4 раза). И самый быстрый.
В отличие от тех же Unity, где интервал между этапами мог составлять 2 недели — в Старшипе были максимум 2-3 дня между этапами. Ну и приняли в офисе, конечно, как родного.
Стек — AWS, Spark, Kafka, Databrics, dbt, Tableau.
Про собесы, работу (из того, что можно сказать, и что не NDA) и, конечно, благодарности (есть как минимум три человека) за развитие, образование и помощь в том или ином виде на пути — напишу позже, в следующих постах.
Пока скажу загадкой. Человек (вы его многие знаете), который часто пишет у себя в канале «ПРИСМОТРИТЕСЬ К DATABRICKS ЕДРИТ ВАС ЭДАК ДА РАЗЭДАК» и «И К dbt !» — оказался прав.
#личное
Насыплю чуток полезного.
Короч, если используете dbt а также что-то из списка [Snowflake, BigQuery, Redshift, Databricks], рекомендую подключить опен-сорсную штуку Elementary https://www.elementary-data.com .
Она генерит просто божественные алерты, не нужно больше шарахаться по логам, и смотреть, что пошло не так. В случае фейла прилетает алерт в канал в слаке, с меншеном оунера таски\модели.
Нюанс — она исходя из описания на сайте — «легко и нативно интегрируется в dbt cloud».
ХЕР.
На словах, как говорится, Лев Толстой. А на деле пожрала времени будь здоров.
Оказалось, в нашем (Databricks) случае, что облако облаком, а локально надо развернуть ещё одну штуку, и конфиг к ней.
Или я так криво читал их документацию, или документация написана через колено.
Но, зато при такой кривой документации, у них потрясающий саппорт (всё общение в Слаке и отвечают почти 24\7).
[1/3]
#рабочее
dbt model owner alertingКороч, если используете dbt а также что-то из списка [Snowflake, BigQuery, Redshift, Databricks], рекомендую подключить опен-сорсную штуку Elementary https://www.elementary-data.com .
Она генерит просто божественные алерты, не нужно больше шарахаться по логам, и смотреть, что пошло не так. В случае фейла прилетает алерт в канал в слаке, с меншеном оунера таски\модели.
Нюанс — она исходя из описания на сайте — «легко и нативно интегрируется в dbt cloud».
ХЕР.
На словах, как говорится, Лев Толстой. А на деле пожрала времени будь здоров.
Оказалось, в нашем (Databricks) случае, что облако облаком, а локально надо развернуть ещё одну штуку, и конфиг к ней.
Или я так криво читал их документацию, или документация написана через колено.
Но, зато при такой кривой документации, у них потрясающий саппорт (всё общение в Слаке и отвечают почти 24\7).
[1/3]
#рабочее
Мы ловили исключения, и не понимали чем они вызваны.
Их Саппорт взял пару дней на выпуск ПАТЧА,
Пока мы это выясняли, они выпустили новую версию, которая была забагована и фейлилась просто по дефолту, и через 12-16 часов они снова выпустили ещё одну😅Мы полдня мозги ломали «почему оно не взлетает», а это просто «не баг, а фича» версии выпущенной вчера ночью.
Ржали в голос — «они выпускают обновления быстрее чем мы её устанавливаем😆».
Связка облако+CLI взлетела. Алерты прекрасны. Отчёты в виде статической хтмл страницы тоже прекрасны.
Дальше развернём всё это в бакете на AWS. И отдельную статичку под хтмл отчёты. Чтобы любой из команды мог обратиться по адресу, и посмотреть отчёт (если ему мало инфы в алерте).
Приблуда ставится, конечно, целым квестом, но точно стоит того.
Обратите внимание, если вам нужно получать инфу о том что «что-то в dbt упало» вовремя, и не хочется по логам шарить в поисках инфы.
[2/3]
#рабочее
Их Саппорт взял пару дней на выпуск ПАТЧА,
который выпустили ради нас (ну, он давно назревал у них, а мы их смотивировали ускориться), а выяснилось, что дело не в нём. Их «нативная интеграция с облаком» на самом деле завязана на «сделайте конфиг на локалке».Пока мы это выясняли, они выпустили новую версию, которая была забагована и фейлилась просто по дефолту, и через 12-16 часов они снова выпустили ещё одну😅Мы полдня мозги ломали «почему оно не взлетает», а это просто «не баг, а фича» версии выпущенной вчера ночью.
Ржали в голос — «они выпускают обновления быстрее чем мы её устанавливаем😆».
Связка облако+CLI взлетела. Алерты прекрасны. Отчёты в виде статической хтмл страницы тоже прекрасны.
Дальше развернём всё это в бакете на AWS. И отдельную статичку под хтмл отчёты. Чтобы любой из команды мог обратиться по адресу, и посмотреть отчёт (если ему мало инфы в алерте).
Приблуда ставится, конечно, целым квестом, но точно стоит того.
Обратите внимание, если вам нужно получать инфу о том что «что-то в dbt упало» вовремя, и не хочется по логам шарить в поисках инфы.
[2/3]
#рабочее
Немножко курьёзов с полей.
Коменты, если чо, в первом посте https://t.me/datasauna/187 . Все вопросы туда.
[3/3]
#рабочее
Коменты, если чо, в первом посте https://t.me/datasauna/187 . Все вопросы туда.
[3/3]
#рабочее
Вопрос назрел.
Если знаешь хороший пример консалтинга в Data сфере (большой компанией, малой командой, а лучше вообще «затащил в соло» примеры) — скинь в комменты пожалуйста.
Ищу:
1) и ссылки на сайты компаний\фрилансеров,
2) и видео (конференции, промовидосы, разборы и т.п.),
3) и статьи (примеры, кейсы, советы, промо, учебные и т.п.).
«Области применения» не критичны, хоть агро-сельхоз-дата, хоть финансы, хоть лайфсаенс, хоть маркетинг и продажи — без разницы.
#личное
Если знаешь хороший пример консалтинга в Data сфере (большой компанией, малой командой, а лучше вообще «затащил в соло» примеры) — скинь в комменты пожалуйста.
Ищу:
1) и ссылки на сайты компаний\фрилансеров,
2) и видео (конференции, промовидосы, разборы и т.п.),
3) и статьи (примеры, кейсы, советы, промо, учебные и т.п.).
«Области применения» не критичны, хоть агро-сельхоз-дата, хоть финансы, хоть лайфсаенс, хоть маркетинг и продажи — без разницы.
#личное
This media is not supported in your browser
VIEW IN TELEGRAM
В общем, со Starship у нас не сложились😐 и сейчас я в поисках новой работы.
Почему — вдаваться в детали не буду, там довольно странно и не понятно всё вышло, кому ни расскажу, все в шоке и удивлены потому что «ну так не бывает, камон».
Ну, испытательный срок на то и испытательный, что его не только сотрудник проходит, но и компания.
Спасибо компании и команде за полученный опыт, было прикольно, негатива к ним не держу, просто удивлён, но нет хейта, набрасывать не буду ни пол раза.
Если у вас есть рефералка на Data Analyst, BI Engineer (ну или Data Engineer) — присылайте, буду рад и благодарен.
Зато теперь могу вам скидывать перлы с собесов, задачки, тестовые и т.п.
Жалею только, что недосидел в ЕПАМе две лишних недели, чтоб не увольняться оттуда.
Теперь даже обратно в ЕПАМ хз как вернуться😅долбанные кулдауны.
Заодно наконец сертификацию по DE GCP добью (надеюсь), и пет-проектом новым займусь, буду тут публиковать чо как.
#личное
Почему — вдаваться в детали не буду, там довольно странно и не понятно всё вышло, кому ни расскажу, все в шоке и удивлены потому что «ну так не бывает, камон».
Ну, испытательный срок на то и испытательный, что его не только сотрудник проходит, но и компания.
Спасибо компании и команде за полученный опыт, было прикольно, негатива к ним не держу, просто удивлён, но нет хейта, набрасывать не буду ни пол раза.
Если у вас есть рефералка на Data Analyst, BI Engineer (ну или Data Engineer) — присылайте, буду рад и благодарен.
Зато теперь могу вам скидывать перлы с собесов, задачки, тестовые и т.п.
Жалею только, что недосидел в ЕПАМе две лишних недели, чтоб не увольняться оттуда.
Теперь даже обратно в ЕПАМ хз как вернуться😅долбанные кулдауны.
Заодно наконец сертификацию по DE GCP добью (надеюсь), и пет-проектом новым займусь, буду тут публиковать чо как.
#личное
Маленькая ржомба с недавнего собеседования на BI Engineer:
После детального рассказа про опыт и инструменты с которыми работал, меня спрашивают «что можешь сказать, про схему ЗВЕЗДА (STAR scheme)»
У меня срабатывает какой-то вообще древний триггер на фразу, и я выдаю им про топологию сети, про масштабируемость, про преимущества и отличия от шины или кольца… смотрю на их лица, и понимаю, что «что-то не то говорю».
Зависаю на секунду на полуслове.
Они такие… «кхм… не, ну хорошо, что ты знаешь про локалку, но мы тебя вообще про БД, про модель данных спрашивали…»
Конфуз😅
Ну, в итоге и про БД рассказал, этап прошёл, щас вот техническое домашнее делаю.
P.S. довольно странно спрашивать у чувака, который тебе расписал свой рабочий процесс детально, вопросы из разряда «первый курс CS», не знаю в чём цимес таких вопросов, толи спросить больше нечего, толи ПОДЛОВИТЬ хотели… хз. Но теперь буду знать, что и основы основ надо повторить, и про них спросить тоже могут.
#собеседования #собесы
После детального рассказа про опыт и инструменты с которыми работал, меня спрашивают «что можешь сказать, про схему ЗВЕЗДА (STAR scheme)»
У меня срабатывает какой-то вообще древний триггер на фразу, и я выдаю им про топологию сети, про масштабируемость, про преимущества и отличия от шины или кольца… смотрю на их лица, и понимаю, что «что-то не то говорю».
Зависаю на секунду на полуслове.
Они такие… «кхм… не, ну хорошо, что ты знаешь про локалку, но мы тебя вообще про БД, про модель данных спрашивали…»
Конфуз😅
Ну, в итоге и про БД рассказал, этап прошёл, щас вот техническое домашнее делаю.
P.S. довольно странно спрашивать у чувака, который тебе расписал свой рабочий процесс детально, вопросы из разряда «первый курс CS», не знаю в чём цимес таких вопросов, толи спросить больше нечего, толи ПОДЛОВИТЬ хотели… хз. Но теперь буду знать, что и основы основ надо повторить, и про них спросить тоже могут.
#собеседования #собесы