Обратный ETL через Superset и премудрости корп архитектуры

Словарь архитектора по-простому. Прямой ETL это когда аналитики забирают информацию с прода. Обратный ETL - когда прод забирает полезное из дата стека.

Открыл для себя что один из самый простых способов поставить данные из КХД на прод - через Superset API. Там есть несколько методов программно по HTTP выдрать датасет из-под чарта.

Опа!
https://superset.company.name/api/v1/chart/{chart_id}/data/ - и готово!

И это здорово, так как не порождает никаких доп процессов и систем. Суперсет-то все равно работает. Данные - обычный датасетик-витрина, легко создается и обмазывается теми же DBT тестами. Всяко лучше, чем городить силами дата офиса отдельные сервисы на FastAPI. Ноль лишних сущностей для команды данных.

И самый смех в том, что в условиях кровавого энтерпрайза эта конструкция легко протаскивантся через самые жесткие комитеты. Включая кибербезников.

Сами посудите

1️⃣ Данные идут из готовой системы, которая уже утверждена по высокому классу безопасности. А как по-другому, в BI в любом случае содержатся и перс данные и корп тайна.

2️⃣ Ролевая модель доступа - есть. Достаточно замороченная (для целей BI - слишком замороченная). Авторизация - есть, причем уже сынтегрированная с принятыми в вашей конторке SSO и LDAP-ами. Даже RLS можно сделать! Даже секьюрити аудит через логи суперсета можно устроить.

3️⃣ HTTP протокол, значит он легко убирается за доп слои безопасности, за любые балансировщики и фаерволлы, хоть NGFW с анализами паттернов доступа. Накинуть серты Минцифры - запросто! Его же легко замониторить, он понятен разработчикам на абсолютно любом стеке.

4️⃣ Готовый MCP сервер заказывали? А он там есть.

В итоге на первый взгляд - элемент дендрофекальной архитектры. А на деле - надежный энтерпрайзный паттерн интеграции.
🧐🧐🧐

Чему я научился в трейдинге

Я довольно много трейдил. По молодости криптой, в более зрелом состоянии - на российском рынке. И конечно же, много терял на этом.

И сейчас понимаю, что это довольно полезный опыт. Главное - он дает ментальную рамку, как действовать, когда случилось что-то плохое. Непредвиденно плохое.

Вот твоя большая поза залетела в убытки. Ты на такое не рассчитывал, ты, естественно, хотел, чтобы был большой плюс, иначе зачем ты бы в эту позу залез. Все просчитал, выверил. Но не так сталось как казалось.

В этот момент ты не:

🚫 Не уговариваешь позу измениться с минуса на плюс
🚫 Не думаешь, вот надо было по-другому поступать, вставать не в лонг, а наоборот в шорт.
🚫 Не винишь черных лебедей, не ищешь виноватых, Трампа и Путина. Это не их палец нажимал на кнопки в терминале.
🚫 Не винишь и себя (блин, какой же я идиот!)
🚫 Не вспоминаешь, как раньше-то было хорошо и сколько ты заработал в аналогичных ситуациях.

Вместо этого ты:

➕ Определяешь максимальный объем убытка и боли, который готов пережить. Это надо сделать ДО вхождения в позицию, но если раньше нет, то хотя бы сейчас. «Стоп-лосс»
➕ Максимально насколько возможно режешь убытки. «Зарезать лося» на трейдерском.
➕ Составляешь план минимизации долгосрочных последствий. Как и на чем будем отыгрываться. И будем ли, или вообще бросаем этот рынок и идем заниматься чем-то другим в другом месте.
➕ Делаешь выводы, какие именно неверные действия и какая неверная логика привела к тому, что ты наполучал горячих.
➕ Делаешь выводы с тем чтобы такое в твоей голове никогда не повторялось.

Казалось бы, что такого, вполне естественные алгоритмы, все мы стремимся действовать именно так. Не бином Ньютона и не открытая вдруг Америка.

Фишка в том, что для тебя как трейдера это становится рутиной. Что-то вроде второй кожи, дисциплиной, проверенной многократными тренировками.

Потом это начинает работать во всех жизненных ситуациях. В кризисе на работе. В том что нанялся не туда работать. В различных отношениях с людьми, когда доверился не тому человеку. Спокойно без эмоций режем лося, ставим себе зарубку на будущее и идем дальше.

Как жаль, что не все в мире можно так просто зарезать как лося в терминале. Найти другую приличную работу занимает время, закрыть невыгодный контракт не всегда возможно. А некоторый фарш назад вовсе не провернуть: потерянное здоровье, залетание в остроги, публичные пятна на биографии. Но даже там можно и полезно спокойно действовать на минимизацию последствий и убытков.

Отдельный навык - не словить звездочку в случае внезапного успеха. Отличить, когда это твоя заслуга в прибыли, а когда ты просто случайно угадал с таймингами покупки битка. Или когда просто случился общий прилив, который поднял все лодки (а твою поменьше остальных, кстати!). "Альфа и бета" на языке трейдеров.

П.С. Недавно подсчитал результат за 12 месяцев и он оказался +37%. Похвастаюсь немного. 🧐
Повторить не смогу.