Архитектор Данных
1.91K subscribers
346 photos
26 videos
6 files
260 links
Алексей, архитектор данных

Большие данные и облака.

Для связи @alexbelozersky
Download Telegram
Лежим в Airflow потому что на нем натянут KubrrnetesExecutor, а куберам плохо. Был бы он развернут в виртуалке, все бы замечательно работало на LocalExecutor-ах.

Таски по большей части DbtRunTestOpetator, ну может кое-где легаси пандасы небольшие остались.

И вот мы чтобы пнуть DBT Selector тянемся в кубер за подом. А кубер при авариях падает первым и поднимается последним, потому что чем сложнее система тем более она хрупкая.

Не переинжиниривайте на ровном месте, дамы и господа.
💯811
Очень очень хорошая идея держать кронтаб, который в режиме graceful degradation при недоступности куберов, аэрфлоу и других сложных сервисов, обновит хотя бы базовые отчетные витрины. Вам зачтется.

Переливки простых данных баш скриптами + последовательные dbt run.

И git pull ветки master свежий иметь.

Мотаем на ус, дни когда работает Яндекс.Дрон, даны нам для этого.
👍5🔥31
Продолжаем хроники

Ночью моя небольшая но гордая платформа данных легла полностью

🫥🫥🫥

В предыдущих сериях я горевал про сложные и хрупкие эксекуторы в АФ. Сейчас проблемы будут другого рода. Нет ни АФ ни вообще никаких эксекуторов.

КХД, витрин и отчетов тоже нет, ну и ладно, кому они нужны, когда основное приложение мучительно борется за жизнь, тестируя в проде механизмы мультиклауда и DR.
Please open Telegram to view this post
VIEW IN TELEGRAM
😢6😱2❤1👾1
Труба (
🤯8👾2😁1
Трейдерское

Яндекс - ЦОД в Калуге, Владимире, Ярославле, Рязани.

ВК - ЦОД на Коровинском шоссе, Медведково, Гознаке, Угрешская (этот вообще рядом со сборным пунктом военкоматов Москвы), Пахра рядом с Домодедово.

Не знаю, есть ли более безумная позиция чем шорт Яндекса и лонг ВК, но география ее диктует.

Ранее в разделе трейдерское

#трейдерское

————————————-
Архитектор Данных
5❤2🤔1👾1
Сегодня минус

Магнит, Ламода, Вкусноточка, Додо, много еще ритейла, мое КХД на 10 ТБайт и облачный рынок России.
😁8😱7😢4👾2
Кое-кому выбило главного конкурента по основному продукту

Кому война, кому …
😁11💯7🤬3😢1
Я тут написал несколько простыней по поводу ситуации с Яндексом

Про себя и как команда даты должна реагировать на сбои в инфре. Про последствия для Яндекса и российского рынка облаков и инфры. Про рыночные эффекты. Да и процитировать человек умных 10 хочется.

Но потом пальчики устали

Давайте сегодня стрим в 21:00 или около того.

25 сердечек этому посту и стримим 💓
Please open Telegram to view this post
VIEW IN TELEGRAM
❤62😁2
Поисковые роботы яндекса падали до нуля и сейчас работают примерно на 20% от объема
🤯101
Live stream scheduled for
Открытый вебинар

Уже в этот четверг проведем открытый вебинар по агентским возможностям в данных на примере небольшого КХД в Clickhouse

Вместе с вами будем разбираться

➖ Как совместить мощь агентов и локальные датасеты в вашей СУБД

➖ Как научить агентов видеть ваши датасеты и разбираться в них - также как постепенно разбирается новый аналитик в вашей команде

➖ Какие нововведения появились для агентов в Clickhouse 26.x и правда ли это лучшая СУБД для агентов.

➖ Что полезного можно найти в опенсорсе

И вместе порассуждаем

❓ А как убедиться и убедить бизнес-заказчика, что агент говорит ему правду? Или по крайней мере примерно то же, что сказал бы человек-аналитик

—————————-

Для кого: Для аналитиков и инженеров данных, которые хотят оптимизировать свою работу с помощью агентов.

Четверг - 15 октября, вечер

Ссылка будет в канале
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥15❤11