Архитектор Данных
1.91K subscribers
345 photos
26 videos
6 files
260 links
Алексей, архитектор данных

Большие данные и облака.

Для связи @alexbelozersky
Download Telegram
На день Учителя

Недавно в архиве нашел фото, где два полковника стоят в почетном карауле у мемориальной доски директору их школы. На фото полковникам лет 60-70, один из них - мой дед. Потому что Учитель.

Тренеры по гимнастике моих девочек младше меня примерно вдвое, но к ним обращаешься по имени-отчеству. Потому что Учитель.

Мне в свое время повезло встретить людей, кого можно назвать Учитель (сенсей - самое уважительное обращение в Японии). Человек, который мог бы сказать толпе отбитых от гормонов малолеток перестать что-то делать, и они бы перестали. Потому что Учитель, сказал: это неправильно.

Половина преподавателей в университетах приходили к нам не потому что им платят зарплату. Зарплаты там смешные.

Пытаюсь и я когда-нибудь стать чем-то похожим. Пока правда, руками надо что-то делать, другая фаза.
👍8❤5🔥2
Моя дата инфра частично лежит вслед за Яндекс облаком.

А у вас как дела? 👉
Please open Telegram to view this post
VIEW IN TELEGRAM
💯8😨6
Лежим в Airflow потому что на нем натянут KubrrnetesExecutor, а куберам плохо. Был бы он развернут в виртуалке, все бы замечательно работало на LocalExecutor-ах.

Таски по большей части DbtRunTestOpetator, ну может кое-где легаси пандасы небольшие остались.

И вот мы чтобы пнуть DBT Selector тянемся в кубер за подом. А кубер при авариях падает первым и поднимается последним, потому что чем сложнее система тем более она хрупкая.

Не переинжиниривайте на ровном месте, дамы и господа.
💯811
Очень очень хорошая идея держать кронтаб, который в режиме graceful degradation при недоступности куберов, аэрфлоу и других сложных сервисов, обновит хотя бы базовые отчетные витрины. Вам зачтется.

Переливки простых данных баш скриптами + последовательные dbt run.

И git pull ветки master свежий иметь.

Мотаем на ус, дни когда работает Яндекс.Дрон, даны нам для этого.
👍5🔥31
Продолжаем хроники

Ночью моя небольшая но гордая платформа данных легла полностью

🫥🫥🫥

В предыдущих сериях я горевал про сложные и хрупкие эксекуторы в АФ. Сейчас проблемы будут другого рода. Нет ни АФ ни вообще никаких эксекуторов.

КХД, витрин и отчетов тоже нет, ну и ладно, кому они нужны, когда основное приложение мучительно борется за жизнь, тестируя в проде механизмы мультиклауда и DR.
Please open Telegram to view this post
VIEW IN TELEGRAM
😢6😱2❤1👾1
Труба (
🤯8👾2😁1
Трейдерское

Яндекс - ЦОД в Калуге, Владимире, Ярославле, Рязани.

ВК - ЦОД на Коровинском шоссе, Медведково, Гознаке, Угрешская (этот вообще рядом со сборным пунктом военкоматов Москвы), Пахра рядом с Домодедово.

Не знаю, есть ли более безумная позиция чем шорт Яндекса и лонг ВК, но география ее диктует.

Ранее в разделе трейдерское

#трейдерское

————————————-
Архитектор Данных
5❤2🤔1👾1
Сегодня минус

Магнит, Ламода, Вкусноточка, Додо, много еще ритейла, мое КХД на 10 ТБайт и облачный рынок России.
😁8😱7😢4👾2
Кое-кому выбило главного конкурента по основному продукту

Кому война, кому …
😁11💯6🤬3😢1
Я тут написал несколько простыней по поводу ситуации с Яндексом

Про себя и как команда даты должна реагировать на сбои в инфре. Про последствия для Яндекса и российского рынка облаков и инфры. Про рыночные эффекты. Да и процитировать человек умных 10 хочется.

Но потом пальчики устали

Давайте сегодня стрим в 21:00 или около того.

25 сердечек этому посту и стримим 💓
Please open Telegram to view this post
VIEW IN TELEGRAM
❤61😁2
Поисковые роботы яндекса падали до нуля и сейчас работают примерно на 20% от объема
🤯91
Live stream scheduled for