Ща лучшие братишки мне скинули песню, и не смог пройти мимо неё и не поделиться с вами этим шедевром🤘

Слова просто бомба, прям🫠:

Володя валит не по годам
Вове горы по пояс
А море - ниже колена
Володя дамам и господам
Не встречается дважды
Похожего феномена
....... 
Вова - это какая-то сага
Вова - определенный тираж
За плечами Володи - шарага
В перспективе - далекий вояж
Про него по телевизору
Выпуски в новостях
Хотели парочку минут
Записали пару часов

🔔В продолжение прошлого кейса хочу рассказать вам, с какой задачей пришлось столкнуться.

Смыл задачи был такой: необходимо перенести таблицу из одной базы данных(SnowFlake) в другую(GreenPlum).

И вроде как, ничего сложного, выгружаем данные из БД в ДФ, и с помощью функции "df_to_db", описанной в прошлом кейсе, заносим в GreenPlum.

И я не могу с вами не согласиться, тем не менее, есть одно НО — таблица в жатом виде весит 2Гб (>26млн. строк). А оперативная память-то у нас не резиновая! Для такой таблицы не хотелось стряпать всякие PXF или gpfdist (тем более в облаке его сделать нельзя, так как нет доступа к самому серверу). А еще, из-за проблем с GP, не хотелось, чтобы запрос упал и транзакция откатилась.

Было принято решение "разделять и властвовать", но как правильно разделить, чтобы хотя бы данные равномерно были в каждой batch'е, так еще и автоматизировать весь процесс. Не буду долго размусоливать (я благодарен Александру, за то, что рассказал о таком способе), но данный процесс, легко решается с помощью "остатка от деления".

count_parts = 10
for i in range(0, count_parts):
    query = f"""
    select *
    from sf_table_shust
    where col_id % {count_parts} = {i}
    """
    df = query_sf_sql(query)
    print(f'Загрузка части {i}')
    df_to_db(df,'team_test','gp_table_shust')
    print(f'Конец загрузки части {i}')

В данном примере я разделяю таблицу с помощью конструкции col_id % {count_parts} = {i} на 10 равных частей и выгружаю данные в ДФ, после чего прогружаю их в GP.

➕Плюсы данного метода:

1) не требуется много времени на настройку трансляции;
2) загружая части данных поочередно, мы избегаем загрузки всей таблицы сразу, что снижает нагрузку на память;
3) если трансляция прервётся (например, из-за ошибки), можно перезапустить процесс только для недогруженных частей;
4) можно динамически изменять количество частей (count_parts) в зависимости от размера БД;
5) нахождение остатка от деления, является простой операцией с маленькой стоимостью.

Но к сожалению не обошлось и без минусов➖:

1) col_id должно быть числовым значением с высокой кардинальностью, чтобы разбиение было максимально равномерным;
2) col_id не должно содержать NULL значений, иначе их нужно будет загружать отдельно;
3) код загружает части поочередно, что может быть медленно, поэтому для прям больших таблиц такой метод не подойдет.

Как приезжаю в офис, постоянно что-то узнаю новое. Вот именно после таких нетривиальных решений, реально понимаешь, что опыт работы — это не то,сколько лет ты провтыкал в стену, а то — сколько ты перенял опыта у более скилловых ребят.

P.S. Как перееду в Москву, буду в разы чаще появляться в офисе. Чую,таким образом через год👨‍💻, я сам стану супер скилловым челиком😅

🚨Для тех кто хочет вкатиться в профессию Инженера данных или Аналитика DWH — внимание🚨

Инфа, актуально в большинстве своём для "вкатунофф"!😅

Мне много кто уже писал следующую фразы:
- "Жаль, что я наткнулся(ась) на ваш RoadMap уже после покупки курсов..."
- "А есть ли у тебя менторство?"

Для лучшей индексации нашего роадмапа, решил записать для вас видео, где я по полочкам прошёлся по каждому пункту, плюс показал формат менторства, которое было у меня и того чего мне изначально не хватало в платном курсе который я проходил, когда хотел стать "Аналитиком данных".

По вопросам менторства пишите в личку😇

#соБЕСики

🔖Вакансия: Data Engineer
🔖Компания: "Сбер для экспертов"
🔖Предполагаемая вилка: неизвестно (просил 150 на руки, но думаю до 260 просить можно)
🔖Месяц прохождения собеседования: Февраль 2025
🔖Формат работы: Полный офис на Кутузе
🔖Требования вакансии:

⏺Знание SQL на уровне разработчика;
⏺Опыт работы с Jira и процессами DevOps;
⏺Опыт разработки витрин данных в АС Greenplum или похожих СУБД (Teradara, Oracle, SAS EG и др.);
⏺Опыт работы с ETL-инструментами (Informatica PC, Oracle Data Integrator итд.);
⏺Общее понимание BigData и Hadoop;
⏺Опыт разработки и общее понимание процессов с точки зрения архитектуры;
⏺Понимание методологии Agile.

🔖Этапы собеседований:

HR➡️ Интервью + Тех.собеседование(TeamLead, TechLead)

🔖Процесс прохождения:

HR сам меня нашел на резюме с учебным опытом работы(о нём я рассказывал в этом видео). Без какого-либо созвона сразу предложил встретиться с лидами.

На созвоне спросили- кто такой, про опыт(которого у меня нет по легенде), начал рассказывать, что учусь 2 года и т.д. Рассказали о проекте и что данная вакансия больше уходит в разработку, так как у них сейчас проект сделать какую-то офигенную штуку в jupiter notebook, которая будет "волшебным" образом делать всё, что захотят аналитики.(Скажу честно говорили об этой фичи на очень высоком уровне, что я даже не понял, что нужно делать вообще). Могу сказать точно, что с описанием вакансии их ожидания вообще никак не связаны. Витрины, хранилища и всё такое, это не про данную вакансию.

🔖Вопросы технического собеседования:

⏺Что такое Hadoop и из каких компонентов он состоит?
⏺Что такое YARN?
⏺Для чего нужен Apache Oozie?
⏺Что такое Hive и объясни, как он работает с данными?
⏺Что такое Spark?
⏺Объясни парадигму MapReduce и почему Spark пришел ей на замену?
⏺Как работает HSFD? Для чего нужна NameNode, Secondary NameNode? Нам необходимо считать текстовый файл из HDFS, объясни, что будет происходить?
⏺Что такое фактор репликации в HDFS и для чего он нужен?
⏺Для чего нужен Hive?
⏺Что такое партиционирование и что оно из себя представляет в Hadoop?
⏺Что делает Shuffle в Spark? Между чем передаются данные?
⏺Как передать UDF?

После этого была устная задача на Spark:

⏺Есть таблица, в ней могут быть любые данные (пропущенные, повторяющиеся строки и т.д.), необходимо каждую строку пронумеровать уникальным идентификатором вне зависимости от данных, которые находятся в этой строке.

🔖Время прохождения собеседования: 1 час (5 минут я рассказал о себе + 10 минут о проекте + 45 минут техническая часть)

🔖Итоговое мнение:

Данное собеседование проходилось в рамках цикла видео "Поиск работы в IT без опыта". Собеседование вообще не понравилось. Чисто долбили в связку Hadoop и Spark, при этом в самой вакансии про Spark в требованиях ничего не сказано ("общее понимание BigData и Hadoop"). При этом про GreenPlum и другие БД вообще не спрашивали, хотя они в требованиях есть. В любом случае, как первая работа зашла, при условии, если Вы ответили все четко. Все данные вопросы, за исключением устной задачи, рассматриваются в 2х следующих видео: Hadoop, Spark.

Бот для ускорения просмотра YouTube:
@NamelessNetwork_bot

Промокод: DE
(дополнительные 2 недели бесплатно)

#соБЕСики

Хочу официально заявить, что данным форматом я вдохновился у многоуважаемого мною человека, который ведет свой канал "Get Rejected", а так, как он уважаемый не только мною, советую подписаться. Там прям ограменная куча собесов и не только по РФ. 👍

А теперь к собесу.

🔖Вакансия: Администратор linux (junior)
🔖Компания: «Цифра брокер»
🔖Предполагаемая вилка: неизвестно, просил 130-150 на руки, думаю они ищут бесплатных рабов.
🔖Месяц прохождения собеседования: Февраль 2025
🔖Формат работы: Полный офис
🔖Требования вакансии:

⏺Высшее образование, релевантный опыт от 3 лет;
⏺Опыт администрирования Linux;
⏺Знание сетевого стека TCP/IP, понимание принципов работы VPN;
⏺Понимание принципа работы HTTPS;
⏺Общее понимание BigData и Hadoop;
⏺Понимание принципа работы криптографии, опыт работы с СКЗИ;

🔖Стек:

Linux, bash/ansible, nginx/apache, php-fpm, mysql/postgresql, squid, docker

🔖Этапы собеседований:

HR➡️ Тех.собеседование(TeamLead, Senior, HR)

🔖Процесс прохождения:

Изначально я офигел с того, что меня вообще пригласили на данную вакансию, и HR сам нашёл фейковое резюме(о нём я рассказывал в этом видео), где про Администрирование Linux написано от слова — НИЧЕГО.🤷‍♂️

Но коль позвали, почему не сходить ради прикола.

Всё началось с того, что TeamLead сходу попросил рассказать о своём опыте Администрирования Линукс систем. (Тут я понял, что моё резюме вообще мимо него прошло). Ну соответственно я рассказал, что я вообще хочу быть ДЕ, и понеслись вопросы по Базам Данных, но после 15 минут разговора про PSQL, он сказал, что БДшников нам хватает, поэтому перейдём к Администрированию. И начал гонять меня по БАЗЕ. Я прям угарал с него, так как ему было необходимо отвечать, как написано в книгах Таненбаума "Компьютерные сети" и "Операционные системы", и он раз 5 сослался на них. Он без шуток спрашивал определения, как написаны в книгах. Короче, он люто токсичный чувак, и даже если бы мне пришёл оффер, ни за что к нему бы не пошел работать.

Потом подключился Senior и он уже был намного мягче, даже шутки закидывал, но он прям понял, что в DevOps стеке я не шарю вообще, и гонял меня более приземлённым вопросам, с которыми сталкиваются и ДЕшники, а TeamLead постоянно его перебивал на полуслове и вставлял свои вопросы.

В конце TeamLead меня вообще убил (когда я сказал, что у меня знания только на уровне пользователя), сказав: "У Вас вообще и одного процента знаний в Линукс системах нет. У нас Джуны работают по 2-3 года, ежедневно решая ультра задачи, и они не могут перейти на мидлов, так как они не знают многих аспектов Линукс систем".

🔖Вопросы технического собеседования:

⏺Как посмотреть все подключения к БД?
⏺Для чего нужна constraints?
⏺Какие индексы бывают?
⏺Что хранится в B-tree индексе?
⏺Чем контейнеризация отличатся от виртуализации?
⏺Вы нажимаете кнопку включения, что происходит в компьютере. Расскажите весь путь от нажатия до входа в ОС.
⏺В браузере открыто 3 окна и выполняется 3 одновременных запроса. Почему запрос из 2го окна не приходит в 1е окно.
⏺Что такое Ansible и для чего он нужен?
⏺Что такое Nginx и как он работает?
⏺Какой порт у SSH? как подключиться по SSH без пароля?
⏺Как подключиться к командной строке LInux из ОС Windows?
⏺Для чего нужен Git? С какими командами работал? Настраивал ли Ci\CD в Git Action?

🔖Время прохождения собеседования: 45 минут, но если бы я знал DevOps'овские механизмы, то было бы гораздо больше

🔖Итоговое мнение:

Это был душный собес из-за TeamLead'а. И в целом вся компания(по моему мнению) лютая галера, иначе я не понимаю, почему люди работают по 2-3 года , и они еще Джуны. Это просто TeamLead — БАЗА!!! А так все прошло быстро, все поняли, что у меня знаний нет в этой области, просто в конце попрощались, но меня переспросили готов ли я работать фуллтайм офис. К чему бы это?🤔 Но в любом случае, очень токсичная атмосфера. И что мне еще непонятно, сама вакансия на джуна, но требуется 3 года релевантного опыта. По мне это жесть какая-то.

Если тут есть сисадмины и девопсы, хотелось бы узнать Ваше мнение по поводу данной вакансии.

🚨Мой совет начинающим и вкатывающимся IT-спецам на 2025 год - чаще посещайте тематические мероприятия! 🚨

Что может быть круче для начинающего спеца по Data Science, Data Engineering и Data Analytics, чем нетворкинг, где можно встретить более опытных коллег, которые помогут на старте пути, или даже потенциальных работодателей?

💡Друзья подсказали отличный телеграмм канал — IT-мероприятия России, где уже собрали все самые топовые события в одном месте: анонсы форумов, конференций, митапов, вебинаров, хакатонов, олимпиад.

Там запросто можно познакомиться с тимлидами напрямую, минуя HR-ов и бесконечные собеседования. Кроме того, там много мероприятий по разработке, информационной безопасности и другим отраслям. Думаю, каждому из вас будет интересно.

➡️ подписываемся и сохраняем: IT-мероприятия России / ITMeeting / IT events

#соБЕСики

🔖Вакансия: Business Data Engineer / Архитектор данных
🔖Компания: ПАО «Промсвязьбанк»
🔖Предполагаемая вилка: просил 130-150 на руки, по ощущениям ищут джун+\мидл на вилку 180-250
🔖Месяц прохождения собеседования: Февраль 2025
🔖Формат работы: Полный офис
🔖Требования вакансии:

⏺Знание SQL (один из PostgreSQL, MS, Oracle), опыт оптимизации запросов;
⏺Опыт разработки кода загрузки и трансформации данных;
⏺Знание MPP технологии, типовой инфраструктуры DWH;
⏺Опыт подготовки документации (БТ, ФТ, ТЗ);

🔖Стек:

MSSQL, GreenPlum, Clickhouse, SSAS, Super Set, Loginom.

🔖Этапы собеседований:

HR➡️ Тех.собеседование(TeamLead, Senior)

🔖Процесс прохождения:

Собеседование началось с того, что руководитель рассказал, что им требуется Инженер Данных на подмену нынешнему. Работа с ненормированным рабочим днём(+ 3 дня к отпуску), но с его слов- "Работа с 9 до 18, задерживать никого не люблю". Испытательный срок оплачивается (3 месяца). И поговорили о моем опыте и резюме. Почему-то он в него смотрел и спрашивал-вписан ли мой учебный опыт в трудовую🤷‍♂️. Где мне пришлось объяснять что и как. Дальше мы перешли к техническим вопросам с сеньором, а руководитель отключился.

Во время тех.собеса было дано решить 3 задачи(по ним будут отдельные видео на Ютубе в виде Shorts'ов, но сделаю, когда соберусь окончательно с мыслями, пока ленюсь🏖), все 2 задачи узнал с leetcode, 3-я была для меня незнакомая, но думаю тоже оттуда. Он сначала просил объяснить, как буду решать, дальше нужно было написать код. Задачи были простые. Если допускал ошибку в написании конструкций - не гасил, сказал, что если не помнишь, как правильно пишется, ничего страшно, так как это всё гуглится 1 секунду, важны были именно рассуждения. По ходу решения задач были дополнительные теоретические вопросы, а между задачами он рассказывал, чем придется заниматься.(60% задач — поддержка песочницы, 40% задач — миграция с MSSQL на GreenPlum, ClickHouse). Как таковых теоретических вопросов не было, был вопрос - "Расскажи всё, что знаешь о базах данных", где я начал перечислять всё, что знал, когда учился на ДЕ.(Как хранятся данные, патриции, дистрибуция, уровни изоляции, версионность, блокировки, логическая и физическая репликация, грубо говоря смотри RoadMap)

🔖Вопросы технического собеседования:

⏺Чем отличается DENSE_RANK от RANK?
⏺Расскажи какие слои есть в хранилище данных?
⏺Чем в хранилище ODS слой отличается от DDS слоя?
⏺Расскажи всё, что знаешь об индексах?
⏺Чем колоночные БД отличаются от строковых?

🔖Время прохождения собеседования: 1,5 часа.(30минут с руководителем + 1 час техсобес)

🔖Итоговое мнение:

Само описание вакансии странновато, но сам собес был абсолютно адекватным, прям не нужны были сверхзнания, но искали людей, которые умеют решать задачки. Нормально и адекватно поговорили. Единственно, что меня смутило в этой вакансии — это ненормированный рабочий день (насколько можно верить руководителю, что я не буду перерабатывать) + только фуллофис + нужно пройти полиграф для трудоустройства. А так вообще всё адекватно, сеньор не валил, и нормально пообщались.

Жду обратки, даже интересно, что скажут😅

Ответ не дал себя долго ждать. 😳

Говорили, что придут через неделю, а в итоге на следующий день написали, чтобы я отправлялся проходить следующие этапы(СБ и полиграф).😖

Я нашел работу по резюме без РЕЛЕВАНТНОГО опыта(только учебный) в течении полутора месяцев.😇

И даже не знаю, продолжать ли мне цикл данных видосов🤔, так как их цель была пройти HR-скрининг и попасть на техсобес с нулевым резюме, а в итоге я перевыполнил план и получил оффер.🇷🇺

Вывод: в нынешних реалиях на 2025 год, если у Вас нет реального DEшного опыта, пишите учебный, оформляйте Ваше резюме — структурировано, ставьте на него 2 года опыта, и Вас обязательно позовут на собеседование! 😎

А я, как и этот котик👋, желаю удачи в обучении и поисках!🧑‍🎓

❓Топ вопросов на собеседовании по Базам Данных - Часть 1

Легенда вернулась❗️

Всем проходящим собеседования в помощь. Тема конечно скучновата, но постарался разбавить ее красивыми схемами. В любом случае буду рад лайкам, комментам и всему подобному, что продвигает видосы!

Всё, что нужно для успешного прохождения собеседования на Инженера данных тут.

😘 Ссылка на видео.
😵 Презентация. (Могли поехать шрифты, но думаю ничего страшного)

Бот для просмотра YouTube
@NamelessNetwork_bot

Промокод: DE
(FREE 2 недели)

Так же НОВИНКА, в боте можно приобрести роутер со встроенным "ускорителем" YouTube на всех домашних устройствах по единой подписке.

😡Как же бесит....😡

Постоянно забываю😨, как сделать виртуальную среду в Python. Поэтому напишу пост, чтобы больше не забывать, так как делать тут нечего. Еще я с сегодняшнего дня обладатель Mac, да в целом и на Винде делал все это через Git Bash, поэтому команды будут именно под них.

Объяснения для таких же тупых и страдающих деменцией, как Я🫠:

Команда 1 — создание виртуального окружения:

./Intrpritator/3_11/python  -m venv .venv

⏺ <./Intrpritator/3_11/python> — Путь к нужной версии - интерпретатор. Можно просто указать python, если у вас используется интерпретатор по умолчанию.
⏺ <.venv> — каталог с виртуальным окружением. Поддерживает относительные и полные пути.

Команда 2 — подключаемся к окружению:

source ./.venv/bin/activate

ВСЁ, ябошим👨‍💻! Прокидываем переменные среды, устанавливаем нужные библиотеки и всё такое🧑‍🎓....

И это я забываю каждый раз, когда сталкиваюсь с этой темой.😨

С этой темой придется сталкиваться на проектах. Особенно, если у вас есть несколько репозиториев, и на одном используется 11 версия, на втором 9, а хер знает почему, но не Вы это делали, но Вам это поддерживать.

Всем добра, а я пойду глицинчика пропью🥲, чтобы деменцию не ловить.

Приятно получать такие сообщения от всех кто реально смотрит RoadMap и тем более им вдохновляется, как Сергей. 🧑‍🎓

Он сделал крутую тему💪, до которой у меня и Жени не доходили руки😨. Так еще и БЕСПЛАТНУЮ!!!!! Он замутил офигенный проект в виде песочницы из разных ДЕшных инструментов. Ну что может еще вам не хватать, чтобы вкатиться в ДЕ?😡

Да штука требовательная🍗, но за то какая👨‍💻! Описание прям огонь, просто для таких же тупых, как я.

Переходите, скачивайте и делитесь вашим мнением. А Сергею желаю двигаться только вперед и расширять свою песочницу!👍

Ребят, хочу извиниться, вообще не хватает времени на то, чтобы клепать посты⛔️.
Откладывал проблемы с переездом до последнего, и в итоге прошлый Я кайфовал от беззаботной жизни🏖, а нынешний Я страдаю🤯, так как уже 2 недели после работы, перевожу вещи и готовлю к сдаче служебное помещение.

Сейчас нужно менять прописку, проводить интернет, устраивать ребёнка в садик, закрывать ИП и переоформляться по ТК и многое другое.😨😨😨

Многие вещи за начало марта я уже сделал, но осталась ещё куча всякой херни, которую я отложил на потом.🥲

Перемены в жизни - это конечно хорошо, но ценник у них слишком высокий. А чтобы его уменьшить — не откладывайте на завтра, что можете сделать сегодня.🥶

Всем добра, не теряйте, на этой неделе я обязательно подведу итоги своего эксперимента — "как с нуля вкатиться в IT" за февраль. Так что, до скорого, всё будет но не сразу!💪