XLTable - OLAP Cервер для нового стека данных
Работайте с ClickHouse, BigQuery, Snowflake из сводной таблицы Excel.

Предоставьте пользователям возможность самостоятельно работать с данными, с помощью знакомого инструмента.

📈Ключевые возможности XLTable:
• Аналог MS OLAP (SSAS) для больших данных
• Интеграция с MS Excel по протоколу XMLA
• Поддержка ClickHouse, BigQuery, Snowflake
• Скоро: YDB, Greenplum
• Множество групп мер, иерархий и измерений в одном кубе
• Гибкие настройки кэширования
• Развёртывание внутри вашей инфраструктуры или в облаке

🔒Безопасность:
• Интеграция с LDAP
• Разграничение доступа на уровне мер, измерений и их членов

⚙️Производительность:
• Безлимитное количество мер и измерений
• Работа из Excel c миллиардами строк данных
• Все расчеты производятся на уровне ClickHouse
• Отличные возможности для масштабирования

Хочешь получить бесплатную пробную версию на 30 дней?

👉🏻Напиши «OLAP» - покажем демо и поможем с настройкой

Контакт: https://t.me/vorobiova_anastasia
Сайт с информацией о продукте: https://xltable.com/

Мне писать объяснительную?

Бывают разные комменты на ютубе, но некоторыми хочется делиться.

Человеку непонятно, НА КАКОМ ОСНОВАНИИ на превью видео про ДАТА ИНЖЕНЕРОВ изображен АВТОМОБИЛЬ, кстати НЕМЕЦКОЙ МАРКИ!

Все, что можно поделать в этой ситуации — ЗАПРЕТИТЬ!

Вот реально, кого блин волнует это вообще. Ну захотел я так. НЕТ! ТЫ ДОЛЖЕН БЫЛ СДЕЛАТЬ УМЕРЕННУЮ ОБЛОЖКУ. НЕЛЬЗЯ ВЫДЕЛЯТЬСЯ.

коммент тут

Как ответить на собесе, если не знаешь?

На мой взгляд так: "Не приходилось работать, не было необходимости. Могу рассказать только то, что знаю об этом."

Все. Иначе если начинать выдумывать, мы себя закапываем, потому что начинается уже смешивание всего со всем. Либо вообще сказать, что минимально работали с этим инструментом или технологией и сильно не погружены в тему.

Знаете, вот приходим мы в компанию, вас там начинают гонять по тому, как выделяется память, как внутри компа фиксики бегают, как связана теория струн с перебалансировкой Кафки. А потом нам дают задачу кубики перекладывать. Я образно, безусловно. Ну не всегда вопросы с собесов совпадают с реальными задачами. Зачем спрашивать про индексы в постгресе, если в команде их никто не использует и может быть даже постгреса нет))

Или зачем давать задачи по алгосам, если сто процентов все разрабы будут писать код через Cursor, Codex или Copilot — ВОТ РАНЬШЕ БЫЛО ЛУЧШЕ! ПИСАЛИ САМИ РУКАМИ! Хотя стоп, если вы забыли, то профессор Савельев (он там за мозг шарит) вообще в одном из интервью сказал, что ПИТОН — это вообще не язык программирования...Вот ассемблер да.

Если что, я могу в комменты скинуть этот видос, я не придумываю. Каждые 5 лет люди стареют и не желают принимать новые технологии и еще свой возраст. Ой, это вообще вечная тема...

Мне нравится, когда на собесах происходит так:
- Привет, сейчас мы расскажем о наших задачах и архитектуре, а ты постарайся потом о себе поведать так, чтобы это максимально пересекалось с нашим стеком.

Все. Никаких теорем, определений и так далее. Услышал, что у них Greenplum, сразу перестраивай свой рассказ под него. Можно сказать о том, какие задачи были с ним и сразу показать глубину знаний. Причем необязательно шарить за него прям до исходного кода. Команде может достаточно понимать за партиции, настройки дистрибуции, да и внешние таблицы. В целом может им это уже ок. Не всем же нужен ОЛИМПИАДНИК!

По поводу Кафки.
- Скажите, пожалуйста, как перебалансировать Кафку
- Про балансировку не подскажу, не сталкивался, не было такой необходимости
- Ну все же, вот у вас есть несколько партиций в Кафке
- Послушайте, я же сказал, что не сталкивался, поэтому не смогу ответить

Я принципиально отказываюсь даже разгонять логически, потому что это тупо додумывание. Причем совершенно точно не в ту сторону. И мне потом собеседующий поставит не один минус, а 5 минусов. Очевидно, если не шаришь, то намешаешь вообще все понятия и термины.

Поэтому я стал просто отказывать от вопросов, если не знаю. И честно об этом говорю. А если знаю только какие-то основы, то могу предложить просто рассказать все, с чем сталкивался с этим инструментом.

Я думаю, что эта проблема с тем, чтобы ответить на все вопросы идет из универа, где на экзамене ты хочешь безупречно ответить на все вопросы. Но на мой взгляд на собесах лучше придерживаться тактики сдерживания. А то скажешь лишнее слово и тебе накинут еще 100 вопросов по этой ерунде, которую ты случайно выкинул.

Вот знаете, я несколько раз смотрел видосы по индексам, по кластеризованным индексам, как работает внутри все это и благополучно уже все забыл. А ПОЧЕМУ? Потому что я так ни разу и не столкнулся с ними в задачах. И вот я буду сейчас выдумывать, что такое GIST индекс или как работает некластеризванный индекс. Да я не помню уже че это такое. Ну есть и есть.

Инфа, которую мы не используем явно стирается, как ненужная. А видос про то, что питон это ерунда, а не программирование, сейчас скину)

Титаник не умеет читать Iceberg

Ничего не понятно, но очень интересно.

Что имеем?
Есть PowerBI. Да, это программа для дашбордов. Там можно смотреть метрики, строить графики. PowerBI подключается к вашей БД —> дальше к табличке —> SQL запрос —> график! И также есть S3 (тут храним данные).

Данные у нас грузятся каждый день за 7 дней назад (Каждый день грузим неделю). Почему? Потому, что они могут долетать обновленные + иногда нужно сделать ручной запуск РЕТРО (прогрузить конкретный диапазон дат из прошлого)

Что требуется?
PowerBI должен обращаться к этим данным и строить по ним дашборд.

Как будем решать?
Во-первых мы БИГДАТА, значит мы наверняка данные партицируем (разбиваем по папкам по бизнес дате). Да, это круто. Потом можно удалять конкретные партиции-папки в момент, когда грузим 7 дней назад. Нам же надо обновлять данные за прошлый период. Но PowerBI по какой-то причине не может читать в S3 партиции. Ну вот не получается и все! Только если все лежит в одной ПАПКЕ (Душнилы: это не папки, а объекты..так нельзя говорить...СТАЛИНА НА ВАС НЕТ)

Ну ок, тогда не будем партицировать. Складываем все в одну папку. Но как мы будем обновлять наши данные, мы же получается просто APPEND в одно место и оно начинает дублироваться!

Давайте применим Delta таблицы! Это типа штука, которая позволяется удалять данные в S3. Типа пишешь DELETE и оно прям удаляет. Но у меня не получается, потому что версия Spark Scala и Delta не подходят друг к другу. Короче спарк я обновить сам не могу, а версию Delta мне тоже подходящую не найти.

Давайте применим Iceberg! У меня получилось сделать DELETE! Все четко удалилось из .parquet. Напомню, что из файла формата parquet как бы удалить нельзя ничего. Его можно либо дропнуть полностью и перезаписать, либо дозаписать рядом. А Iceberg — это типа надстройка, которая позволяет DELETE, UPDATE, MERGE + еще можно ходить по разным версиям таблиц, типа как в прошлое!

Вроде все круто! Но теперь PowerBI не умеет читать Iceberg. Короче у нас нет этого коннектора.

Че теперь делать?

⚠️ Делаем 3 таблицы:
source_table - это инкремент (например 7 дней или ретро. Каждый раз overwrite)
tmp_table - это временная таблица (в нее будут стекать финальные данные)
target_table - это таблица витрина, с которой читает PowerBI

Прилетел инкремент в source_table, дальше узнаем в нем min и max бизнес дат. Потому читаем target_table и фильтруем из него все данные, кроме найденных min и max. Дальше делаем source_table.union(filtered_target_table) и записываем в tmp_table.

Последний шаг. Удаляем target_table и переименовываем tmp_table в target_table.

В чем плохо?
Каждый раз мы будем тянуть все больше и больше данных, перетаскивая их из одной таблицы в другую + сама табличка растет и не партицированая. Но пока решение такое и в целом рабочее.

Че думаете?

Какой график работы рассматриваете?

Конечно же ОФИС!

Боже, храни удаленку

🚫 Чёрные списки кандидатов в IT — тупиковая идея

Люди спрашивают: «А что если меня занесут в черный список?!»

Типа накрутил опыт или плохо ответил на собесе и на тебя поставили черную метку.

Давайте разберемся, почему сегодня черный список спасет Тим Лида от обманщика, но уже завтра станет предметом его шантажа.

Любые черные списки, где можно идентифицировать человека, являются источниками перс данных. Тут сразу 152 ФЗ, статья 88 ТК РФ. Коротко это о том, что нельзя хранить, обрабатывать или передавать перс данные третьим лицам без согласия человека. Иначе штраф, исправительные работы и далее по списку.

Плюс ко всему, если делается какой-то общий сервис неугодных, то он становится оператором перс данных. Дальше должны быть выполнены условия по хранению этих данных, безопасности и прочее. Короче говоря, там бюрократии еще больше, чем данных.

Теперь прикинем минусы таких BLACK LIST:

🔹Инструмент субъективизма.
Груб на собесе, сомнительное резюме, странный цвет глаз. Либо нужны правила, по которым человек может быть внесен или это будет чистая субъективщина.

🔹 Сегодня убили джуна, завтра не нашли сеньора
Человек плохо прошел собес, списал или накосячил - на него ставят черную метку. Через 2-3-100 лет он(а) вырастает в хорошего спеца для рынка, но компания уже не может взять его, так как черный список. Опять же, нужны правила выхода из черного списка. Это уже какой-то срок давности уголовного дела.

🔹 Шантаж
Захочешь уволиться раньше времени, мы тебя в черный список занесем! Ходишь параллельно на собесы, в черный список!

🔹 Коррупция
Надо человечка одного из черного списка убрать. Вопрос как будем решать: тихо мирно по телефону или моих псов подогнать? И наоборот. Надо человечка одного закинуть в бан лист, чтобы уже никогда не смог выбраться. Сколько будет стоить данный вопрос.

Ну т.е. простое эмоциональное желание подгадить другим людям, придумывая репрессивные методы, создает огромные риски вообще для всех. Плюс это еще одно увеличение очередных фильтров. Года опыта, возраст, а теперь еще и черный список.

В итоге по-настоящему идеальный кандидат у нас будет существовать только в книжке, как и какое-нибудь идеальное DWH.

Накрутчики! Мошенники!

Нет опыта в СТДР? На собес не позовем.

Компании начали спрашивать еще перед собесом справку СТДР.
Это справка — она же выписка из госуслуг (кстати, кто думает, что — это значит, что я пишу с чатом гпт.... на маке нажимаете два раза на дефис и у вас нормальное ТИРЕ).

Помнится, что некоторые рекрутеры считают длинным ТИРЕ признаком нейронки. ВОТ вам еще — — — ... я нейросеть ага.

Вернемся к нашему цирку под названием айти, где естественно клоун только я. А все остальные капитальные красавчики.

Хотите, чтобы не крутили» опыт? Тогда давайте снижать требования и брать людей без опыта. Открывать стажировки. Тогда никому не придётся придумывать 2–3 года коммерции.

Если компании хотят нанимать сеньоров — откуда они возьмутся, если сегодня не брать джунов?
Да, он уйдёт из вашей компании. Но потом к вам придёт сеньор, который когда-то в другой компании был джуном.

Если сейчас жёстко оставить на рынке только тех, кто официально «сеньор по СТДР», то очень быстро специалистов просто не останется. Либо все трудоустроены, либо их физически нет.

Придумывать бюрократию можно бесконечно.
«Накрутка» опыта появилась, потому что без опыта не берут — а получить его негде.

Рекрутеры требуют СТДР. Их не волнует ваши проекты и другие заслуги.

- Коммиты в open source
- Медали из универа
- Хакатоны

Все это уже не работает. У вас в стдр нет опыта, о чем может идти речь? У вас нет коммерческого опыта.
Нетворкинг? Это когда тебя взял брат, сват, друг. Для большинства людей это не воспроизводимая история. Это как выиграть в лотерею — должны сойтись все звёзды.

Иногда люди говорят: Вот я попал в IT без накрутки, а вы скатины обманывайте всех.
Только проблема в том, что такие люди попали в IT тогда, когда тебя брали просто за умение компьютер включать и не было такого ажиотажа.

Но вы возразите мне: "ВСЕ ИДУТ В IT! КУРСЫ ВСЕМ НАПЕЛИ ПРО ВЫСОКИЕ ЗАРПЛАТЫ И УСЛОВИЯ! НЕ НАДО СЮДА ИДТИ, ТВАРИ!"

А я вам отвечу: "Альтернативной профессии я пока не знаю, где можно получать высокую зарплату и сидеть на удаленке. Все примеры, как сын маминой подруги ведет бизнес или продает мебель, не вставая с дивана, являются исключениями. Везде есть богачи, но это не подчиняется системе конкретных действий"

Люди идут в ту деятельность, которая даст им деньги и комфортные условия. Какое вообще может быть дело кому-то о причинах перехода в профессию.

По поводу стажировок. Я знаю, что они иногда появляются и это конечно хорошо. Мы не говорим о том, что там немного платят. Но там и берут без опыта. Т.е. можно честно нормально залетать. Кстати, я говорю про те стажировки, которые для НЕ СТУДЕНТОВ. Вообще-то существуют люди, которые вкатываются в профессию старше студентов. И это нормально. Я сам такой.

Но их все еще не много.

Вывод: Есть опыт? Отвечаем да. Просят скинуть СТДР? Скидываем. Просят скинуть договоры, скидываем. Если им на той стороне что-то не понравится, просто скипаем компанию. Вдруг они вообще не смотрят и не сверяют и берут вас на понт. Короче фраза fake it till you make it.

Почему наш Roadmap переехал?

Потому что Мы как Цирк дю Солей

Потому что захотелось адаптацию по мобилку, темную-светлую тему и кастомизацию по кнопкам и так далее. Короче весь фронтенд вайб..

И помог нам это сделать фронтенд разработчик Эрик @storm_de!

Кстати у него еще есть свои каналы:
вакансии для дата инженеров @data_engineer_jobs

Эрик сделал нам наш сайт и Roadmap для Дата Инженеров
roadmappers.ru

ссылку на roadmap для Дата Инженера можно получить тут - @bootcampych_bot