За три года концепция Lakehouse прошла классический путь: от дикого хайпа и обещаний «единой архитектуры для всего» до суровых будней в продакшене.

Оказалось, что хранить данные на S3 дешево, а вот вычислять их там - удовольствие не из бюджетных.
Собрали в карточках концентрат нашего опыта о том, как мелкие файлы убивают производительность и нервы инженеров.

🔮 За подробными цифрами, более глубокими наблюдениями и разбором архитектуры - ныряйте в полную статью по ссылке.

🎓 Подарок для студентов ИнженеркаТех

Наши коллеги из SubQuery дают вам 9 месяцев бесплатного доступа к платформе для работы с dbt 🚀

SubQuery — это среда для аналитиков и data-инженеров, где можно работать с dbt без лишней инфраструктуры: запуски, ветки, публикации, граф моделей, логирование и командная работа — всё в одном месте.

Для студентов это отличная возможность попробовать dbt в полноценной среде — как альтернативу dbt Cloud.

Что входит в студенческий тариф:
— до 50 человек в команде
— 5 редакторов
— до 3 проектов
— до 1000 запусков

Этого достаточно, чтобы спокойно пройти курс и собрать собственный dbt-проект.

👉 Чтобы получить доступ:
- подпишитесь на канал SubQuery
- напишите на почту join@subquery.ru c темой письма ИНЖЕНЕРКА

Учитесь — и сразу применяйте знания на практике 💚

Помнишь свой первый пароль, когда только-только появился онлайн-банкинг?

Дай угадаю - 123456? Или, может, qwerty?

С первых крупнейших утечек эпохи бума интернета (привет, Yahoo и их 3 миллиарда слитых аккаунтов!) многие так и не осознали, насколько важно ставить надежный пароль. А те, кто осознал, упустили другой пугающий факт: сегодня даже самый качественный и сложный пароль не спасает от взлома.

Сегодня 23 февраля. И пока все отмечают день мужика и защитника, мы решили поговорить о защите другого рода - вашей цифровой крепости. Ведь от простого набора символов теперь зависит, насколько спокойно ты будешь спать ночью.

Недавно мы на практике столкнулись с технологией Passkeys (ключами доступа). И в честь праздника решили разобраться, как мы докатились до жизни такой и с чего вообще начиналась эта гонка вооружений.

🤬 Как ломалась наша защита:

1960-е: Наивность. Самый первый пароль придумали вообще не от хакеров. Инженеры просто хотели, чтобы коллеги случайно не удалили файлы друг друга на общем компьютере. Взломали эту систему почти сразу: одному студенту не хватило времени за компом, и он просто распечатал системный файл со всеми чужими паролями на принтере.

2000-е: Промышленные катастрофы. Интернет взлетел, миллионы людей в сети. Но компании хранили наши пароли прямо в открытом виде. Хакеры вскрывали базы (как было с сервисом RockYou) и с ужасом понимали, что половина планеты защищает свои деньги словом password.

2010-е: Иллюзия контроля. Индустрия запаниковала и ввела СМС-коды и Push-уведомления. Кажется, теперь-то мы спасены? Нет. В 2022 году хакеры сломали мега-корпорацию Uber гениально просто. Они купили пароль сотрудника в дарквебе и закидали его телефон пушами: «Разрешить вход?». Через полчаса непрерывного спама мужик просто устал, психанул и нажал «Да». Человеческая психика стала главной уязвимостью.

😏 Наши дни

Индустрия осознала горькую правду:

любая система защиты, где человек должен что-то помнить или передавать по сети, обречена.

Встречайте Passkeys. Больше никаких паролей на серверах. Ваш телефон создает уникальную математическую пару ключей. Открытый ключ улетает на сайт, а закрытый - намертво вшивается в чип вашего смартфона и никогда его не покидает.

Взламывать базы данных теперь бесполезно. Там лежат только половину ключа. А чтобы залогиниться, достаточно просто приложить палец к сканеру или посмотреть в камеру. Даже если мошенник подсунет вам идеальную копию сайта банка, система просто не сработает - чип распознает подделку домена.

🛡С праздником! Берегите свои данные.

_________________________________________

😐А как защищать данные для шифрования файлов в репозитории, сканирования утечек и организации внешнего хранения секретов, можно узнать в нашем хендбуке DevSecOps: защита данных в Git и Kubernetes на примере YandexCloud