Накрутчики! Мошенники!

Нет опыта в СТДР? На собес не позовем.

Компании начали спрашивать еще перед собесом справку СТДР.
Это справка — она же выписка из госуслуг (кстати, кто думает, что — это значит, что я пишу с чатом гпт.... на маке нажимаете два раза на дефис и у вас нормальное ТИРЕ).

Помнится, что некоторые рекрутеры считают длинным ТИРЕ признаком нейронки. ВОТ вам еще — — — ... я нейросеть ага.

Вернемся к нашему цирку под названием айти, где естественно клоун только я. А все остальные капитальные красавчики.

Хотите, чтобы не крутили» опыт? Тогда давайте снижать требования и брать людей без опыта. Открывать стажировки. Тогда никому не придётся придумывать 2–3 года коммерции.

Если компании хотят нанимать сеньоров — откуда они возьмутся, если сегодня не брать джунов?
Да, он уйдёт из вашей компании. Но потом к вам придёт сеньор, который когда-то в другой компании был джуном.

Если сейчас жёстко оставить на рынке только тех, кто официально «сеньор по СТДР», то очень быстро специалистов просто не останется. Либо все трудоустроены, либо их физически нет.

Придумывать бюрократию можно бесконечно.
«Накрутка» опыта появилась, потому что без опыта не берут — а получить его негде.

Рекрутеры требуют СТДР. Их не волнует ваши проекты и другие заслуги.

- Коммиты в open source
- Медали из универа
- Хакатоны

Все это уже не работает. У вас в стдр нет опыта, о чем может идти речь? У вас нет коммерческого опыта.
Нетворкинг? Это когда тебя взял брат, сват, друг. Для большинства людей это не воспроизводимая история. Это как выиграть в лотерею — должны сойтись все звёзды.

Иногда люди говорят: Вот я попал в IT без накрутки, а вы скатины обманывайте всех.
Только проблема в том, что такие люди попали в IT тогда, когда тебя брали просто за умение компьютер включать и не было такого ажиотажа.

Но вы возразите мне: "ВСЕ ИДУТ В IT! КУРСЫ ВСЕМ НАПЕЛИ ПРО ВЫСОКИЕ ЗАРПЛАТЫ И УСЛОВИЯ! НЕ НАДО СЮДА ИДТИ, ТВАРИ!"

А я вам отвечу: "Альтернативной профессии я пока не знаю, где можно получать высокую зарплату и сидеть на удаленке. Все примеры, как сын маминой подруги ведет бизнес или продает мебель, не вставая с дивана, являются исключениями. Везде есть богачи, но это не подчиняется системе конкретных действий"

Люди идут в ту деятельность, которая даст им деньги и комфортные условия. Какое вообще может быть дело кому-то о причинах перехода в профессию.

По поводу стажировок. Я знаю, что они иногда появляются и это конечно хорошо. Мы не говорим о том, что там немного платят. Но там и берут без опыта. Т.е. можно честно нормально залетать. Кстати, я говорю про те стажировки, которые для НЕ СТУДЕНТОВ. Вообще-то существуют люди, которые вкатываются в профессию старше студентов. И это нормально. Я сам такой.

Но их все еще не много.

Вывод: Есть опыт? Отвечаем да. Просят скинуть СТДР? Скидываем. Просят скинуть договоры, скидываем. Если им на той стороне что-то не понравится, просто скипаем компанию. Вдруг они вообще не смотрят и не сверяют и берут вас на понт. Короче фраза fake it till you make it.

Почему наш Roadmap переехал?

Потому что Мы как Цирк дю Солей

Потому что захотелось адаптацию по мобилку, темную-светлую тему и кастомизацию по кнопкам и так далее. Короче весь фронтенд вайб..

И помог нам это сделать фронтенд разработчик Эрик @storm_de!

Кстати у него еще есть свои каналы:
вакансии для дата инженеров @data_engineer_jobs

Эрик сделал нам наш сайт и Roadmap для Дата Инженеров
roadmappers.ru

ссылку на roadmap для Дата Инженера можно получить тут - @bootcampych_bot

Когда твое резюме никто не смотрит на HH и…
____________
Записывайся на BootCamp для дата инженера тут - @bootcampych_bot

Короче вот, что я подумал.

Создадим везде каналы и чаты. В RoamdapDE и в телеге на главной будут ссылки.

Вот кто куда захочет, тот туда и перейдет. Если на какой-то площадке будет мертво, то она и умрет сама своей смертью.

📊 Мне друг подкинул интересную задачу

Объединение ДАМПОВ ДАННЫХ Discogs (Releases + Labels)

В чем сложность?
Есть два датасета: релизы и лейблы (Оба в формате XML).

Один весит 60Гб. Другой 400Мб.
Локально обработать 400Мб не проблема — это изи. А вот распарсить 60Гб и вытянуть оттуда только нужны период — хард задача.

Что нужно сделать:
1. Взять данные по релизам за последние 1.5–2 года
2. Сделать JOIN двух таблиц по названию лейбла (или по id)

В чем смысл?
В таблице releases (60Гб) надо взять названия лейблов, которые делали релизы за последние 2 года. Склеить их со справочной информацией из labels. Джойнить по id или по названию (выбрать ключ самостоятельно).

Датасеты (XML):
• Labels: https://data.discogs.com/?download=data%2F2026%2Fdiscogs_20260301_labels.xml.gz
• Releases: https://data.discogs.com/?download=data%2F2026%2Fdiscogs_20260301_releases.xml.gz

(Также есть семпл релизов во вложении — можно использовать для первичной проверки)

Я планирую сегодня попробовать это все локально обработать. Спарк с моими 8-ми ядрами за минут 30-40 проходит. Но проблема в том, что трудно выцепить именно данные за определенный промежуток. Вот думаю.. возможно можно как-то обойти..

Пример чтения XML через PySpark:

import os
from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("SparkExample") \
    .config(
        "spark.jars.packages",
        "com.databricks:spark-xml_2.12:0.18.0"
    ) \
    .getOrCreate()

from pyspark.sql.functions import max

df = (
    spark.read
        .format("xml")
        .option("rowTag", "label")
        .load("discogs_20260301_labels.xml")
)

df.show()

Кто че думает? Какими инструментами бы обработали?

✅Update: витрину построили! Добавлю эту задачу в BootCamp!

Data Science и Data Engineering: какое направление выбрать в 2026 году?

🎧 1 апреля пройдет День открытых дверей онлайн-магистратуры НИЯУ МИФИ «Специалист по работе с данными и ИИ» в партнёрстве с Яндекс Практикумом.

На встрече обсудят:

💙 как рост ИИ трансформируют рынок труда
💙 4 трека для развития: ML, CV, NLP и Data Engineering
💙 какие задачи усложняются и где усиливается конкуренция

И расскажут, как за 2 года освоить фундаментальную базу, собрать портфолио из проектов и получить диплом магистра без отрыва от работы.

Подключайтесь онлайн 1 апреля в 19:00 мск.

🏃‍♀️ Записаться на ДОД

Как вывести себя в ТОП?

Все очень тупо.
1. В резюме в должностях пишем Data Engineer | Инженер Данных

В описании опыта больше слов с Data
Data WareHouse, Data Lake, Data Quality и так далее

В о себе тоже пишем какую-нибудь чушь со словами Data

2. Ставим Активно ищет работу

3. Образование ставим Высшее (не бакалавр или магистр), лучшее общую формулировку поставить

4. Подтвержденные навыки тоже будут вас выкидывать наверх. Я попробовал пройти sql и python с чатом гпт. В плане просто телефоном показывал экран. Даже не читал задания. В итоге чат гпт дает половину правильных ответов. Что равно тупо кликать наугад. Лучше проходить с невидимым ассистентом для собесов. Но в целом вас по ключевым словам и так выводит в топ.

ВСЕ. ЗАНАВЕС

БИГ ДАТА ВСЁ! СПАРК ВСЁ!

В ЛинкеДЫНЕ увидел интересный пост. Решил тут его запостить с указанием автора.
А ведь реально, зачем иногда запускать спарк, когда можно все крутить другими инструментами, менее требовательными к настройке и железу.

Начало поста:

⚡️ Data Engineer 2026: Хватит использовать кувалду для гвоздей. Почему Spark часто избыточен.

"Spark или Polars?".
Решил провести тест на реальных данных — 1 ТБ логов (соединения, аггрегации, фильтры).

Условия:

Spark: Кластер EMR (3 ноды, суммарно 48 ядер, 128 ГБ RAM). Время включает поднятие сессий и настройку.

Polars + DuckDB: Ноутбук с 64 ГБ RAM. Никакого кластера.

Результаты меня самого удивили:

Spark (кластер): ~20 минут чистой обработки + 5 минут на инициализацию. Итог: 25 минут.

Polars + DuckDB (на компе):

Обработка пачками по 100 ГБ: 7 минут (и можно параллелить).

Однопроходная обработка всего 1 ТБ: 11 минут.

Почему так? Данные не врут, и они совпадают с последними исследованиями :

Скорость: На данных до 1-2 ТБ современные векторизованные движки (Polars, DuckDB) просто быстрее JVM-стека Spark из-за отсутствия накладных расходов на сериализацию и shuffle .

Память: Polars в ленивом режиме реально жрет на 60-70% меньше памяти, чем Spark на аналогичных операциях. Это доказано в тестах MDPI . Данные не хранятся в памяти, а текут через процесс (streaming).

Удобство: Не надо настраивать кластер. Просто pip install.

Но давайте без хайпа. Где правда?

✅ Polars + DuckDB идеальны, когда:

Ваши данные "помещаются" на один хороший сервер (до 5-10 ТБ).

Вы ненавидите возню с конфигами Spark.

У вас 80% ETL-задач — фильтрация, аггрегация, джойны (но не 100-столовые монстры).

❌ Spark все еще рулит, если:

У вас петабайты и тысячи ядер.

Нужна единая платформа с глобальным каталогом данных (Unity Catalog и т.п.).

Требуется сложный стриминг exactly-once, который уже обкатан годами .

Мой вывод: Для 90% дата-инженеров, работающих с "терабайтами", Spark — это оверкилл. Мы платим за сложность инфраструктуры там, где можно обойтись одним мощным инстансом и умным кодом.

Конец поста
Источник

Мое мнение: Вообще согласен. Но до реальности это может так и не дойти, либо дойдет очень и очень не скоро. Сколько кода уже написано и переписывать его на новые инструменты не целесообразно - это ведь деньги. И очень непонятно, как объяснить бизнесу, что надо сейчас АСТАНАВИТЬСЯ! и все переделывать под поларс и duckDB. Но с другой стороны запуск спарка, когда у тебя есть кластера - не проблема. Ну да.. крутим этими кластерами не ТБ, а даже меньше. А что если в какой-то момент надо будет крутить больше.. Будем срочно перекатываться?

Да и на запуск спарка я бы не сказал, что это проблема. Да, инициализация бывает долгая, пока спарк стартанет. Ну подождать 5 минут можно.. Хотя если ресурсы есть, то за 10 секунд все собирает.

Короче это холиварная тема. Согласен, что некоторые инструменты просто не нужны в компании, но кто даст время не пересборку всех кубер операторов, переписывание и переделку инфры?

В мелких компаниях я бы рассмотрел polars + duckDB точно.. Там еще и рядом starrocks же есть. Вообще всеми руками за!

Roadmap обновляется быстрее, чем вы успеваете проходить!

Закинули свежие задачи по SQL и Python — всё с реальных собесов.

Плюс добавили песочницу для SQL прямо в браузере:
никаких установок, просто заходишь и решаешь.

Раздел: «Вопросы с собеседований → SQL задачи»

Получить Roadmap —> @bootcampych_bot