Приятно получать такие сообщения от всех кто реально смотрит RoadMap и тем более им вдохновляется, как Сергей. 🧑‍🎓

Он сделал крутую тему💪, до которой у меня и Жени не доходили руки😨. Так еще и БЕСПЛАТНУЮ!!!!! Он замутил офигенный проект в виде песочницы из разных ДЕшных инструментов. Ну что может еще вам не хватать, чтобы вкатиться в ДЕ?😡

Да штука требовательная🍗, но за то какая👨‍💻! Описание прям огонь, просто для таких же тупых, как я.

Переходите, скачивайте и делитесь вашим мнением. А Сергею желаю двигаться только вперед и расширять свою песочницу!👍

Ребят, хочу извиниться, вообще не хватает времени на то, чтобы клепать посты⛔️.
Откладывал проблемы с переездом до последнего, и в итоге прошлый Я кайфовал от беззаботной жизни🏖, а нынешний Я страдаю🤯, так как уже 2 недели после работы, перевожу вещи и готовлю к сдаче служебное помещение.

Сейчас нужно менять прописку, проводить интернет, устраивать ребёнка в садик, закрывать ИП и переоформляться по ТК и многое другое.😨😨😨

Многие вещи за начало марта я уже сделал, но осталась ещё куча всякой херни, которую я отложил на потом.🥲

Перемены в жизни - это конечно хорошо, но ценник у них слишком высокий. А чтобы его уменьшить — не откладывайте на завтра, что можете сделать сегодня.🥶

Всем добра, не теряйте, на этой неделе я обязательно подведу итоги своего эксперимента — "как с нуля вкатиться в IT" за февраль. Так что, до скорого, всё будет но не сразу!💪

Вот и настало второе видео из цикла "Поиск работы в IT без опыта работы".

Сразу извиняюсь, что затянул с этим видеороликом. Переезд и трудности на работе дают о себе знать.🤯

Если вкратце, то за февраль я откликнулся на более чем 100 вакансий👨‍💻, ко мне пришло 10 рекрутеров. Потом был приглашен на 4 технических собеседования. 3 собеседования я прошел🥲 и даже по сути получил оффер (не захотел отправлять заявку в службу безопасности).

Лопнул ли IT пузырь — решать только вам, но, по мне, как я искал год назад работу, так же без каких-либо проблем я нашел бы её и сейчас, даже не имея никакого опыта. Полтора месяца — и оффер оказался у меня в руках. Никого не слушайте и полагайтесь исключительно на свой опыт, прохождения собеседований.

Даже хочется спросить: крутить "релевантный" опыт или крутить знания? Не знаю, как вы, но мне после получения оффера нравится второй путь! Но на этом эксперимент не заканчивается, посмотрим, что будет в следующих месяцах!🤔

Всем добра и лёгкого оффера!😋

😘Итоги второго месяца уже здесь!😘
_______________________________
Бот для просмотра YouTube
@NamelessNetwork_bot

Промокод: DE
(FREE 2 недели)

Так же в боте можно приобрести роутер со встроенным "ускорителем" YouTube на всех домашних устройствах по единой подписке.

Коллеги из "Сравни" объединили мои видосы "Вопросы прохождения собесов по SQL" в единую статью на Хабре.🧑‍🎓(Теперь я останусь в истории на Хабре)

Как показывает практика основы спрашивают как у джунов, так и у сеньоров. Поэтому буду рад вашим комментам, реакциям и всему остальному. Перед собесами повторить самое то...👍

Да и в целом у Sravni Tech годный контент, так что загляни, может тебя что-то зацепит.🫢

‼️Ребят, для тех кто знал – напоминаю, для остальных объявляю‼️

Женя, 23 марта в 20:00, собирается провести стрим в формате общего созвона, где он соберёт концептуальную схему своего видения "идеальной" архитектуры хранилища с минимальными количеством фреймворков.

Данный стрим будет полезен начинающим специалистам, а если вы уже бывалый, то вас приглашаю подискутировать с Евгением по поводу его схемы.

Подробности можете почитать у него в его посте. Лично я обязательно поучаствую в данном мероприятии, возможно даже задам свои вопросы. Так что приходите точно не пожалеете!

По инсайдерской информации в дискуссии будет участвовать Алексей Разводов с большим опытом работы в ДЕ и возможно еще много разных и опытных Дата Инженеров.

⚡️Разбираем тестовое задание в Альфа Банк на позицию Junior Аналитика данных

Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму.

Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в Альфа Банке.

Что будем делать на вебинаре:
🟠Напишем сложные SQL-запросы для банковских данных;
🟠Вспомним, как правильно использовать оконные функции;
🟠Узнаем, как создавать разметку, из чего она состоит и для чего она нужна;
🟠На реальных данных проведем когортный анализ и сделаем выводы;
🟠Расскажем, как доставать инсайты из данных.

Вебинар проведет Денис Иванов, ведущий продуктовый аналитик

😶Зарегистрироваться на бесплатный вебинар

#соБЕСики

🔖Вакансия: Data engineer
🔖Компания: BNPL сервис
🔖Предполагаемая вилка: 300-390 gross
🔖Месяц прохожденияa собеседования: Март 2025
🔖Формат работы: Офис\Гибрит\ Фулл. удалёнка с любой точки
🔖Оформление: ТК, ИП, ГПХ
🔖Требования вакансии:

⏺SQL на хорошем уровне;
⏺Построение DWH;
⏺Хорошее знание Python;
⏺Умение работать с AirFlow;
⏺опыт настройки и использования Apache Kafka, знание Avro формата;

🔖Стек:

GreenPlum, PostgreSQL, AirFlow, NiFi, S3? .

🔖Этапы собеседований:

HR)➡️ Тех.собеседование по технологиям➡️ Тех.собеседование по (вся команда)

🔖Процесс прохождения:

Начну с офигенного разговора с HR. Я еще ни разу так не кайфовал от общения с рекрутёром, мы после обсуждения опыта и вакансии, начали разговаривать на разные темы найма и всего остального. Сразу видно, что общаюсь с грамотным специалистом, плюс ко всему оказалось, что она ведет свой канал, и мне очень понравился у нее пост. Советую к прочтению, и даже очень хочу с ней провести какой-нибудь стрим на тему трудоустройства в IT.

Теперь переходим к техсобесу. На нём присутствовала вся команда. В общем и целом - каждый спросил у меня какой-либо вопрос. Очень много вопросов было по моему опыту, и как я решал те или иные задачи. Из команды уходит сотрудник, который поддерживал у них всю архитектуру построенную на NiFi, поэтому ищут спеца, который будет продолжать его поддерживать. Хотя в вакансии написано только о теоретических знаниях данного продукта. Также спрашивали об оптимизации запросов и пару вопросов задали по AirFlow.

Дальше уже я спросил, как у них устроена архитектура, на самом деле ничего сложного: стрим через NiFi, батч грузят через AirFlow, хранилище построено на GreenPlum в облаке, там же строятся витрины с помощью DBT и транслируются в PostgreSQL, где с данными проводится полноценная аналитика.

Еще должен быть этап по архитектуре, но думаю меня туда уже не позовут.😅

🔖Вопросы технического собеседования:

⏺Какие процессоры использовали в NiFi?
⏺Настраивали ли схемы, если да, то в каких модулях?
⏺Как считать данные из каталога?
⏺Зачем при считывании CSV файлов данные переводили в AVRO формат?
⏺В случае сбоя одного сервера с NiFi - как его перезапустить?
⏺Чем Атрибут отличается от Контекста?
⏺Теряет ли данные NiFi, если произошел сбой программы?
⏺Расскажи о логировании в NiFi?
⏺NiFi работает в кластере и считываем данные из кафки, один из серверов сгорает, и мы теряем данные, как повторно обработать потерянные данные?
⏺Таска в AirFlow упала с ошибкой, как сделать так, чтобы не смотря на ошибку, следующая таска запустилась?
⏺Как в AirFlow в зависимости от условия, продолжить обработку по нужной ветки ДАГа?
⏺Как оптимизируется запрос?
⏺Как эффективно удалить дубликаты строк в большой таблице?
⏺Что будет делать, если в плане запроса увидели Nested Loop?

🔖Время прохождения собеседования:

1,5 часа(разговорились о всяком) + 1 час

🔖Итоговое мнение:

В общем и целом - такой рекрутёрский созвон я никогда не забуду, это прям эталон всех созвонов. А техсобес прошел- тоже приятно, никто на меня не давил, все общались на одном уровне, очень много говорили о реальном опыте работы. Поэтому кто шарит за NiFi... Welcome. Контакты для связи в приложении.

Кстати, ребята собираются уходить со временем от NiFi, так как проблематично найти спеца.😅

На этой неделе на канале выйдет годнота💪 по простецкой оптимизации запросов в СУБД GreenPlum без всяких заумных файловых дескрипторов и ассемблеров(кто в теме тот в теме😁).

Что не мало важно, будет с десяток различных кейсов на основе, которых вы и поймете, что оптимизация запроса достаточно важная штука (особенно в GP), без которой ваши запросы будут крутиться долго и упорно!👨‍💻

Еще с того года планировал видос и вот настало его время))😂

▶️ Простая оптимизация запросов в GreenPlum + кейсы▶️

Когда я только начинал работать, то вообще не понимал, для чего нужно оптимизировать запросы. И спустя полгода плотной работы с GP(и по совместительству с создания первого видео по GP) я понял, что без оптимизации далеко не уйдёшь.

Это видео поможет Вам на простых примерах понять, как именно стоит оптимизировать запросы и на что обращать внимание.

Если у тебя остались вопросы по GreenPlum, оптимизации, твоим кейсам и т.д., обязательно задавай их в гугл-таблице, либо в комментариях(я сам их перенесу). На них ответит Никита Целищев — один из авторов курса от ЯП по GreenPlum.

😘 Ссылка на видео.
😵 Презентация (Могли поехать шрифты, но думаю ничего страшного)

Бот для просмотра YouTube
@NamelessNetwork_bot

Промокод: DE
(FREE 2 недели)

Так же в боте можно приобрести роутер со встроенным "ускорителем" YouTube на всех домашних устройствах по единой подписке.

#соБЕСики

🔖Вакансия: Data engineer
🔖Компания: Wildberries
🔖Сколько просил: 270 тыс. рублей
🔖Месяц прохождения собеседования: Апрель 2025
🔖Формат работы: Офис\Гибрид\Удалёнка
🔖Оформление: ТК
🔖Требования вакансии:

⏺Разработка новых и оптимизация существующих ETL-процессов
⏺Разработка и сопровождение сервисов, компонентов и процессов для потоковой и пакетной выгрузки данных из корпоративных систем в контур платформы данных
⏺Продвинутый уровень владения Python и SQL;
⏺Умение разрабатывать production-ready сервисы для деплоя в Kubernetes;
⏺Опыт применения концепций непрерывной интеграции и доставки (CI/CD)
⏺Опыт построения пайплайнов для потоковой и пакетной выгрузки/обработки данных
⏺Опыт оптимизации запросов и проектирования схем данных

🔖Стек:

Python/Go, SQL (ClickHouse, PostgreSQL), Kubernetes (K8s), Kafka

🔖Этапы собеседований:

HR(20 минут)➡️ Тех.собеседование(1,5 часа)

🔖Процесс прохождения:

Изначально HR вышла на меня сама, договорились созвониться. В разговоре ничего особого не было, спросила об опыте работы и инструментах, с которыми я работал. На следующий день вернулась с приглашением на техничку.

Техничка была хорошая. Собеседующий был прям классный мужик. Минут 20 мы разговаривали об опыте, с чем и как работал, потом позадавал вопросы по архитектуре хранилища, и как вообще устроено все. Позадавал теоритические вопросы, и душевно поговорили о движках ClickHouse, об их минусах и проблемах. Также поговорили об оптимизации запросов в клике. Плюс обсудили - какими задачами хочу заниматься.

Дальше в течении минут 50 решали задачки: две на SQL и одна на Python(в описании). Все решения делались по сути в текстовике на Яндекс_Код. Всё прошло гладко, разрешал спокойно гулить (я этим не пользовался), если что-то забыл. Если забывал ключевые слова, то спокойно спрашивал,что хочу сделать, и мы пропускали данное место, либо он подсказывал конструкцию. Идеология у него была такая - "Если ты знаешь, что хочешь сделать, ты это загуглишь за минуту". Очень сильно затупил на 2- ой задаче(так как вообще давно литкод не открывал), но спокойно собеседующий наводил на нужное решение(без прямых подсказок). А задачу на питоне я решил быстро, но неэффективно, и так как время поджимало, я просто словами(не без его помощи) объяснил, как это сделать эффективно.

Потом 20 минут рассказывал о задачах, с которыми придется сталкиваться. Ничего особо сложного в самой вакансии , много страшного написано, но на самом деле обычные задачи.

🔖Вопросы технического собеседования:

⏺Какие движки в ClickHouse знаешь?
⏺Как сделать таблицу распределённой в кластере?
⏺Принцип работы MergeTree движков, и как хранятся данные?
⏺Какие проблемы есть у движка ReplacingMergeTree?

🔖Итоговое мнение:

Собеседование было очень приятным, без лишнего давления. С интервьювером сразу нашли общий язык и чувствовалась товарищеская беседа. Узнал от него интересные факты о клике, что пошло мне только на пользу. Поговорили о проектах, с которыми работал + порешали задачки на SQL и Python, и всё это за 1,5 часа, а не за 5 этапов, как в некоторых компаниях(не буду показывать пальцем👉😵).

⬆️⬆️⬆️⬆️⬆️⬆️⬆️⬆️⬆️⬆️
Думаю многие задавались данным вопросом, особенно ребята которые в одной компании работаю по 2-3 года и им ни в какую не хотят поднимать ЗП.

#соБЕСики

🔖Вакансия: Data Engineer (Apache NIFI)
🔖Компания: ООО "Медиапоинт"
🔖Сколько просил: 300 тыс. рублей
🔖Месяц прохождения собеседования: Апрель 2025
🔖Формат работы: Удалёнка
🔖Оформление: ТК, ИП
🔖Требования вакансии:

⏺Опыт работы с Apache NIFI, как на отдельном сервере, так и в кластере;
⏺Опыт работы в командной строке Linux;
⏺Опыт работы с системой Docker;
⏺Опыт построения запросов на языке SQL;

🔖Стек:

Python, SQL (PostgreSQL, Clickhouse), NiFi, Kafka, AirFlow, Debezium, S3

🔖Этапы собеседований:

HR(5 минут)➡ Тех.собеседование(1 час)

🔖Процесс прохождения:

Как обычно созвонились с HRом, поговорили о вакансии и по сути сразу пригласил на техническое интервью.

На техничке поговорили о моём опыте, параллельно задавал вопрос - что да как, после чего уже перешли к полноценным вопросам собеседования. Вопросы задавались в течении 25-30 минут, большинство вопросов было по БД PostgreSQL, а потом перешли на Python.

В целом собеседующий не гасил, сразу сказал, что если не знаешь-не гадай. И если я не знаю, то в целом мне говорил правильный ответ, поэтому чёт новое из собеседования я вынес.

Новых вопросов реально много, со временем обязательно перенесу их в роадмап.

Также поговорили в целом о задачах и команде. На данный момент в команде 3 ДЕ, плюс еще будут набирать человек. Много задач по интеграции данных с внешними источниками, исследовательские работы по хранению данных, так как задача к концу года — увеличить количество хранимых данных в 10 раз.

🔖Вопросы технического собеседования:

⏺Какой модуль в NiFi используется для JOLT преобразований?
⏺Как в Clickhouse устроена операция UPDATE?
⏺Как выдаются права доступа в PostgreSQL?
⏺Что делает утилита PGTune?
⏺Что такое нормализация?
⏺Какие типы индексов бывают?
⏺Чем отличается кластеризованный индекс от некалстеризованного ?
⏺Сколько у таблицы могут быть кластеризованных индексов?
⏺Есть ли ограничения на создание партицированной таблицы?
⏺Можно ли строить индекс по JSON полям?
⏺Чем отличаются типы данных JSON и JSONb?
⏺Чем отличаются материализованное и нематериализованное представления?
⏺Можно ли читать данные из материализованного представления, когда выполняется команда REFRESH?
⏺Как устроены система транзакций в PSQL?
⏺Какие блокировки существуют?
⏺Чем отличаются типы данных varchar от nvarchar?
⏺Как удалить дубликаты из таблицы?
⏺Какой объявить СТЕ? Можно ли в одной таблице применить несколько СТЕ?
⏺Что из себя представляет СТЕ?
⏺Можно ли в функции Python в качестве аргумента использовать функцию? Если да, то как называется такая функция?
⏺Как записывается декоратор?
⏺Можно ли на одну функцию нацепить несколько декораторов и как они будут считываться?
⏺функция, которая используется в качестве аргумента, может использовать свои аргументы?
⏺что такое декоратор Шредингера?
⏺что представляет из себя тип данных Int в Python?
⏺какая типизация используется в Python?

🔖Итоговое мнение:

В целом собеседование мне понравилось, руководитель чувствуется старой закалки, но с нормальным отношением к команде, (но это только моя чуйка). Даёт полное право планировать свой день, как хочешь, главное, чтобы задача была выполнена вовремя.

В целом я все расписал по данной вакансии и собеседованию, если кому интересно или просто захотите меня поддержать — аудиозапись собеседования будет в комментариях.

⚡️Конвейер данных: путь данных от сбора до анализа

Знаете ли вы, что данные, прежде чем стать действительно полезными, проходят долгий путь? Он называется «конвейер данных» и в его работе принимают участие разные специалисты: дата-инженеры, дата-аналитики, BI-аналитики.

Об этапах этого процесса расскажет на вебинаре Павел Беляев — руководитель группы дата-аналитиков в компании Яндекс eLama и автор телеграм-канала.

Что разберем:
🟠Весь процесс работы с данными: от источников данных до получения выводов;
🟠Разберем методики сбора данных: ETL и ELT;
🟠Построение витрин данных;
🟠Визуализацию, которая помогает принимать эффективные решения;
🟠И наконец: как по результатам проделанной работы с данными делать максимально верные и полезные выводы.

Тема богатая, тянет на целый курс, но за вебинар можно получить общее понимание процесса.

🕗 Встречаемся 15 апреля в 18:30 по МСК

😶Зарегистрироваться на бесплатный вебинар

У меня запрос в GP крутится-вертится 4,5 часа. 😢

Не порядок...🤨 Нужно оптимизировать🤔

Когда-то меня попросили показать пример работы Инженера данных, вот как раз подробно разберу одну интересную задачку(запрос на 1000 строк кода)🥲 и заодно сможете увидеть🙂 сложность написания запросов.

Нужно не только теоретические видосы снимать, но и показывать эффективность методов на практике, так что ждите, сегодня сниму и в дальнейшем обязательно выложу сюда😝.

Ну что...🙄

По итогу - вчерашний скрипт не отработал даже за 6 часов, а потом БД ушла в "transaction read-only" , и запрос конечно же упал🫠.

Это абсолютно нормальное явления для абсолютно неоптимизированных запросов. Поэтому принимаем жёсткое решение - его оптимизировать раз и навсегда.😎

В итоге - посидев несколько часов, рассматривая запрос и планы его выполнения, раскуралесив его на мелкие части, я пришел к тому, что мой запрос стал работать, 🎺пам-парам-пам🎺 — от 10 - 20 минут

Я считаю, у меня получился супер результат с учетом уменьшения времени в десятки раз.

В итоге - я записал один из возможных реальных кейсов работы DE, связанный с оптимизацией запросов.

Данный кейс поможет "вкатунам" или начинающим спецам понять, что такое оптимизация запросов, какой ход мыслей и размышлений при этом идёт. Видео получилось на 2 часа с объяснениями, понятиями и просто разговорами самим с собой.

Контент платный(через Tribute) и приобрести его можно здесь ➡️ по данным ссылкам: карта, звезды