Лан, к серьёзным вопросам — кто-нибудь видел хороший пример датафлоу для аналитики на schemaless архитектуре?
Ну, или, когда у вас на входе schemaless, а дальше раскладывается во вполне себе реляционные слои?

Ищу годные статьи, видео, кейсстади, выступления по этой теме.

(АПДЕЙТ): Например, амазоновской лямбдой ловим данные откуда-нибудь, складываем в S3 (будет у нас как Data Lake), оттуда каким-нить Spark-ом (или Glue) процессим и структурируем дальше, и перекладываем в Redshift (в котором у нас происходит OLAP на уровне хранилища данных), и дальше в QuickSight(простихоспаде) или Tableau или куда душе угодно.

Но я ищу более современные, «хипстерские» если угодно, или продвинутые решения, желательно, без замыкания на одного вендора.

Проходил на днях тех+сисдизайн собес на аналитика данных в местной компании. Оффлайн.
Слово за слово, обсуждаем чего бы хотелось изучить, чего прочитать.
Я говорю «Кабанчика».

Они такие «чивоооо?». Я говоорю — ну эту, «Designing Data-Intensive Applications», книга с кабаном на обложке.
Они такие «это из o'reilly, книги со зверями?».

Я говорю — да, мол мы между собой книгу для простоты называем «кабанчиком», мол «прочитай кабанчика» и т.п..

Какой поднялся ржач.
«A BOAR!!! A BOAR BOOK!!!» (кабанья книга).
Никогда не видел, чтоб людей так это веселило)))

Готовлюсь ворваться в рабочий чат с иллюстрацией про «жидкого кабанчика»😏

Итак, возвращаем популярную рубрику «чо там по собесам»:

Неделю назад я получил оффер и подписал контракт на новом рабочем месте.

Итого, моя статистика за год — 143 раза за год (с 14 октября 2022) я послал резюме.
Из них мне ответили 76 компаний, и 67 просто промолчали.

Из 76 ответов — 53 это «к сожалению мы решили продолжать с другими кандидатами» даже без звонка с HR.

Ни у тишины, ни у таких отказов сразу по CV не замечено никаких сезонных трендов.
Единсвтенное, что заметил, это — чаще всего немотивированные отказы были у «немеждународных» компаний, и у мелких (до 300 человек) компаний. Чем крупнее, тем позитивнее и лучше они реагировали на моё CV.

Т.е. из 143 откликов 120 = вникуда сходу.
Получается только 23 компании позвали хотя бы на звонок с HR.

И это я не считал отказы сразу после HR. Когда меня хз по какой причине сливали.
На позапрошлой неделе был собес в Rovio, сказали «супер, отлично, вернусь к тебе через неделю, в начале следующей, и скажу когда следующий этап». Как понимаете, раз я это пишу, в начале прошлой недели никто ко мне не вернулся. Уже начало этой недели закончилось, а мне даже отказ не пришёл. Просто тишина. Причём я написал вежливое письмо, мол «ну что там?».
На него тоже не ответили.

Такого похабного игнорирования — просто дофига. Гоустиг, как есть, в огромных количествах.

И вот только на прошлой неделе подписал контракт.

Итого — 1 оффер на 143 отклика, и 120 отказов «сходу» без собесов.

Как-то так.
При этом меня звали в Испанию (прям готовы были дать оффер). Звали в Сербию. Польшу. Звали на Аланды (тоже Финляндия, но там надо работать только в офисе, а Аланды это конечно красиво, но не для «жить там несколько лет, просто для того, чтобы в офис ездить»). Но мне надо «именно здесь». А для ремоута они по з\п не вывозили на нужном уровне. (Перечисленные страны не учитываются в этом подсчёте, статистика только по Финляндии).

И во все другие страны — и собесы пролетали как вихри, буквально с интервалом в 1-2 дня. И за 2 недели от HR до оффера дойти можно было. И отвечали всегда быстро и вежливо. А тут… грустно конечно, такое отношение. Но что поделать, таков рынок у нас. Работаем с тем, что есть.

#собеседования

Покажу вам штуку, которая меня в #datalens прям бесит невероятно.

Это такой блевотрон, что работать не возможно.

Надеюсь, скоро починят.

Сегодня на работе обсуждали документацию.

Принёс вам классную либу для питона с этого созвона https://diagrams.mingrammer.com/

Больше не надо бегать по инету в поисках нужных иконок нужных элементов. И не надо платить всяким Lucidchart, у которых эти иконки есть в библиотеке.

Импотировал нужное, накидал привычным образом строчки кода, и готово.

Вопрос — не видали ли где-нить классных исследований на тему влияния «онбординга клиентов» (когда нового юзера обучают пользованию продуктом) на LTV и ER юзеров?

Хоть в вебе, хоть в мобилках.

Я ща полюбому сам полезу искать. Но если у кого-то есть под рукой или на харде сохранено, буду очень рад.

Чуть не забыл вас всех оповестить, что сегодня начинается бесплатный (это не реклама инфоцыган) и крутейший Data Engineering Zoomcamp от ребят из Data Talks.

Содержание можно глянуть тут https://datatalks.club/blog/data-engineering-zoomcamp.html

Там и GCP, BigQuery, и Terraform, и dbt, и Spark с Kafka.
Короч полный набор.

Я проходил прошлогодний, одним глазом, чему очень рад, потому что сейчас на работе с нуля разворачиваю и настраиваю dbt, при этом у нас всё на Terraform, и варехаусим всё на моём любимом BigQuery и GCP (ну не люблю я Амазон, ну что поделать).

Поэтому, даже если вы узкопрофильный data analyst или BI, всё равно рекомендую хотя бы одним глазом посмотреть. Будет полезно. А ещё лучше пройти с домашками, полностью бесплатно, всё разжёвано, есть чат с фидбеками и т.п.

Развлекайтесь, короч.

Тут одному парню в одном нашем чате прилетел отказ от компании.

Стоит ли допольнительно писать, что «в случае вопросов пишите на почту для обратной связи» почта была тоже xxx(FILL)@domain.zone ?😅

Вот такая херня у нас бывает…

#собеседования

Короче, ищем лида мне в команду, руководить аж целым одним мной(в паре со мной работать, и отвечать за коммуникацию с бизнес-отделами). Из 18 откликнувшихся, подходящих двое.
СТО сказал, придумать им задачу по Data Modeling, т.к. оба кандидата больше аналитики, а надо бы analytics engineering скилы проверить. Но так, чтоб не заваливать, как препод-мудак на сессии, а просто нормально валидно проверить.

Я чот сижу, гоняю идеи, и всё какой-то порожняк слишком лёгкий (как мне кажется) в голову приходит.

Так вот я к чему — не видали ли где-нить годных примеров таких задачек?
Можно и для домашнего решения кодом, но желательно задачки, которые можно с маркером у доски раскидать, без кода. А-ля сисдиз по архитектуре и моделям.

Если есть классные примеры, буду рад, если скинете ссылки, или просто опишете идею.

(апд) пост удалил, кому надо, те за три дня уже передали знакомым джунам

Знаю, что джунам сложно искать вакухи и точку приложения.
Поэтому когда вижу такие объявы (см.выше) очень радуюсь.

Вот, не смог мимо пройти, отрепостил (не проплачено, не промо, сугубо индивидуальное решение, репост не означает согласие или не согласие с позициями автора канала по каким либо вопросам, не является оценивающей характеристикой компании и\или человека, все решения принимайте на основе самостоятельных умозаключений, вся ответственность на принимающих решение — бляха, вот и докатился до ебанутых дисклеймеров).

Посоветуйте пожалуйста нейронку, можно за деньги, чтобы сунуть в неё видео (с английской речью) и получить транскрибацию.
А то я заколебусь руками в текст переводить.

UPD — купил это https://goodsnooze.gumroad.com/l/macwhisper чтоб не париться со скриптами.

Короче, у нас тут налоговую ставку (НДС) планируют менять. С 24% до 25.5%

Мы вчера всем твиттером финским стебались, что теперь будет раздолье для консалтеров, потому что стопудово старая ставка вбита железно в типах данных как INTEGER. Ну такой тут менталитет.

Ну и что вы думаете?)
На скришоте дататайпы платёжного сервсиа для e-commerce в Финляндии (как Stripe, только для Финляндии).

В комментах скину с гитхаба скрин, ибо там уже костыли начали придумывать…

Два моих коллеги по прошлой работе @data_jungle и @onlyanalystgroup провели эфир на тему разницы между Data Analyst VS Data Engineer.
Запись по ссылке, таймкоды есть, за что им спасибо.

https://www.youtube.com/watch?v=PJITMRhfOtM

Забавно, что «и во всём этом дерьме, прикрываю вас я…» — потому что я сейчас больше Analytics Engineer, чем «raw» DA.

Вот так работали в одной команде, а в итоге распределились по смежным дисциплинам.
Осталось ещё, чтоб кто-то из команды в Data Scientist свичнулся.

---
Это НЕ реклама.

Захожу в playground у OpenAI, думаю, что за 4о модель там нарисовалась… 
Ну, наверное, что-то устаревшее, не буду трогать, мне не надо…

А оказывается они час назад обнову выкатили какую-то…
Лол.

НИХУЯСЕБЕ — ОНА ВОСПРИНИМАЕТ СЕБЯ КАК ДЕВУШКУ


(не-не, я не поехал головой, всё хорошо, я не уверовал в наличие интеллекта и самосознания у LLM)

О-как. Говорят, из Питера открывается и работает.

ТимЛид зачем-то захотел в довесок к dbt развернуть https://metriql.com/
И я чот не всекаю область применения.

Кто-нить уже пробовал эту штуку у себя?
Расскажите практические кейсы, пожалуйста, если не NDA.

А то я кроме как сделать набор count и count distinct метрик по таблицам, для отслеживания внезапных дублей — не вижу другого применения. Да и то, это можно в тесты в dbt впихнуть.

Ну что, посмотрим на КОНКУРЕНТНУЮ З/П при запросе СИЛЬНОГО АНГЛИЙСКОГО в супер-дупер трейдинг-финанс-крипто-AI-ML-экспертную компанию в ОАЭ?

У кого-нить ещё Metabase мозги делает, когда ставишь variable {{date_range}} ?
У меня "status": "INVALID_ARGUMENT" ошибку выкидывает, когда делаю AND {{date_range}} заколебал.

Понять не могу, чего ему надо.

Короч, была таблица db_name.schema_name_1.table_1
Пересобрал её в точно такую же, с точно такими же типами данных.
Стало db_name.schema_name_2.table_2

Ставлю в новом чарте фильтры, типа WHERE блаблабла AND {{date_range}}
Выставляю у переменной date_range ТЕ ЖЕ ЗНАЧЕНИЯ, что и в оригинальном чарте.

И получаю ошибку.
Уже всю голову сломал.

А у меня тут есть кто-то из геймдева (в т.ч. их маленьких студий, или начинающих команд) или желающие туда ворваться?

У меня есть мечта — сочинять музыку для игр и фильмов.
Когда-то давно, в 2011 году я даже поступил в Berklee College of Music на факультет Film Scoring.
(Но не учился, т.к. стипендию не выиграл, а за свой счет там овердохуя стоит учиться, возможно в будущем с зарплаты курсами себе там сертификатов набью для души),

И я чот в отпуске пока неделю батонился, подумал, а чего сиськи мять, надо народ спросить, может кому надо.

В общем, если вы из геймдева, или делаете инди игры и т.п. и у вас есть потребность в саундтреке к игре — напишите.

Т.к. у меня в этом деле нет ни имени, ни портфолио, я готов писать музыку для удовольствия (бесплатно, за еду и пиво и т.п.) просто чтоб уже начать воплощать мечту.

Буду рад.