По заявкам.

Разные движки воспринимают ролевую модель айсберг-лейкхауса по-разному. И с этим надо смириться и воспринимать как вариант нормы.

Поэтому учимся защищать данные даже в тех ситуациях, когда конкретный движок решит забить на правила.

Один из способов- начать работать с S3 ключами.

А как? А вот так.

1️⃣ команде пользователю данных выдаем ключ не на весь бакет, а более гранулярно. Пользуемся тем, что если default location у нас s3://ice-bucket/data, то объекты по умолчанию будут разложены по префиксам s3://ice-bucket/data/schema/table.

Вот и выписываем их гранулярно на схемы и таблицы. Эти же ключи раскладываем по ноутбукам, спаркам, трино каталогам, аэрфлоу и тд.

2️⃣ В айсберг таблице есть параметр location. Это корень обхода дерева метадаты айсберг и то куда айсберг складывает свой стафф. По умолчанию он берется из настроек коннектора и каталога.

Так вот, ничего не мешает этот локейшен точечно переопределить. Например на s3://ice-bucket/secret/ или s3://secret-bucket или (внезапно!) hdfs://path

И все будет работать до тех пор пока чтец обладает правами на предоставленных ему s3 ключах.

Причем во многих s3 реализациях нельзя на один ключ грантовать права в разных бакетах. Разнося таблицы по бакетам мы получаем гарантию, что команды из чистой зоны физически не смогут добраться до секретной зоны со своими ключами.

Вот так мы добавляем доп слой гарантированной безопасности, который будет работать на низком уровне даже если сервисы джейлбрейкнут Ranger или REST Catalog. (А они ведь могут!)

Не забудьте только навайбкодить сервис, который будет выпускать, отзывать, аудировать и раскладывать в конфиги и волты ваши s3 ключи! 😎

Обратный ETL через Superset и премудрости корп архитектуры

Словарь архитектора по-простому. Прямой ETL это когда аналитики забирают информацию с прода. Обратный ETL - когда прод забирает полезное из дата стека.

Открыл для себя что один из самый простых способов поставить данные из КХД на прод - через Superset API. Там есть несколько методов программно по HTTP выдрать датасет из-под чарта.

Опа!
https://superset.company.name/api/v1/chart/{chart_id}/data/ - и готово!

И это здорово, так как не порождает никаких доп процессов и систем. Суперсет-то все равно работает. Данные - обычный датасетик-витрина, легко создается и обмазывается теми же DBT тестами. Всяко лучше, чем городить силами дата офиса отдельные сервисы на FastAPI. Ноль лишних сущностей для команды данных.

И самый смех в том, что в условиях кровавого энтерпрайза эта конструкция легко протаскивантся через самые жесткие комитеты. Включая кибербезников.

Сами посудите

1️⃣ Данные идут из готовой системы, которая уже утверждена по высокому классу безопасности. А как по-другому, в BI в любом случае содержатся и перс данные и корп тайна.

2️⃣ Ролевая модель доступа - есть. Достаточно замороченная (для целей BI - слишком замороченная). Авторизация - есть, причем уже сынтегрированная с принятыми в вашей конторке SSO и LDAP-ами. Даже RLS можно сделать! Даже секьюрити аудит через логи суперсета можно устроить.

3️⃣ HTTP протокол, значит он легко убирается за доп слои безопасности, за любые балансировщики и фаерволлы, хоть NGFW с анализами паттернов доступа. Накинуть серты Минцифры - запросто! Его же легко замониторить, он понятен разработчикам на абсолютно любом стеке.

4️⃣ Готовый MCP сервер заказывали? А он там есть.

В итоге на первый взгляд - элемент дендрофекальной архитектры. А на деле - надежный энтерпрайзный паттерн интеграции.
🧐🧐🧐

Чему я научился в трейдинге

Я довольно много трейдил. По молодости криптой, в более зрелом состоянии - на российском рынке. И конечно же, много терял на этом.

И сейчас понимаю, что это довольно полезный опыт. Главное - он дает ментальную рамку, как действовать, когда случилось что-то плохое. Непредвиденно плохое.

Вот твоя большая поза залетела в убытки. Ты на такое не рассчитывал, ты, естественно, хотел, чтобы был большой плюс, иначе зачем ты бы в эту позу залез. Все просчитал, выверил. Но не так сталось как казалось.

В этот момент ты не:

🚫 Не уговариваешь позу измениться с минуса на плюс
🚫 Не думаешь, вот надо было по-другому поступать, вставать не в лонг, а наоборот в шорт.
🚫 Не винишь черных лебедей, не ищешь виноватых, Трампа и Путина. Это не их палец нажимал на кнопки в терминале.
🚫 Не винишь и себя (блин, какой же я идиот!)
🚫 Не вспоминаешь, как раньше-то было хорошо и сколько ты заработал в аналогичных ситуациях.

Вместо этого ты:

➕ Определяешь максимальный объем убытка и боли, который готов пережить. Это надо сделать ДО вхождения в позицию, но если раньше нет, то хотя бы сейчас. «Стоп-лосс»
➕ Максимально насколько возможно режешь убытки. «Зарезать лося» на трейдерском.
➕ Составляешь план минимизации долгосрочных последствий. Как и на чем будем отыгрываться. И будем ли, или вообще бросаем этот рынок и идем заниматься чем-то другим в другом месте.
➕ Делаешь выводы, какие именно неверные действия и какая неверная логика привела к тому, что ты наполучал горячих.
➕ Делаешь выводы с тем чтобы такое в твоей голове никогда не повторялось.

Казалось бы, что такого, вполне естественные алгоритмы, все мы стремимся действовать именно так. Не бином Ньютона и не открытая вдруг Америка.

Фишка в том, что для тебя как трейдера это становится рутиной. Что-то вроде второй кожи, дисциплиной, проверенной многократными тренировками.

Потом это начинает работать во всех жизненных ситуациях. В кризисе на работе. В том что нанялся не туда работать. В различных отношениях с людьми, когда доверился не тому человеку. Спокойно без эмоций режем лося, ставим себе зарубку на будущее и идем дальше.

Как жаль, что не все в мире можно так просто зарезать как лося в терминале. Найти другую приличную работу занимает время, закрыть невыгодный контракт не всегда возможно. А некоторый фарш назад вовсе не провернуть: потерянное здоровье, залетание в остроги, публичные пятна на биографии. Но даже там можно и полезно спокойно действовать на минимизацию последствий и убытков.

Отдельный навык - не словить звездочку в случае внезапного успеха. Отличить, когда это твоя заслуга в прибыли, а когда ты просто случайно угадал с таймингами покупки битка. Или когда просто случился общий прилив, который поднял все лодки (а твою поменьше остальных, кстати!). "Альфа и бета" на языке трейдеров.

П.С. Недавно подсчитал результат за 12 месяцев и он оказался +37%. Похвастаюсь немного. 🧐
Повторить не смогу.