Как прошла SmartData 2026?

Я вот перечитываю свои впечатления от прошлого года и понимаю, что в этом году было совсем не так🥲 Вижу, что писала про

Текущее состояние рынка даты
Presto/Trino + K8s + S3, Iceberg, StarRocks, Polars - движется сюда

А в этом году не было ни одного доклада про StarRocks или Polars

📚 Доклады

Конфу объединили с DS/ML, поэтому значительная часть докладов сразу отсеклась. Часть была супер нишевой: про китайский CubeFS, внутрянку pgvector, утечки памяти на контроллерах😫

Поэтому лично мне понравились всего 2 доклада:

1️⃣"Витрины данных на Data Lakehouse: маленькая история про большой переезд с Greenplum", Лемана Тех

Очень крутой чел рассказал про миграцию с Greenplum на dbt с yaml дагогенерацией, сэндбоксы, настройку ролевки, мониторинга, обслуживания. Пока они перенесли совсем немного и такое ощущение, что с многими проблемами просто не столкнулись

Вывод такой: витрины собираются дольше, функционала компонентов DLH не хватает, проблем и вопросов больше, чем решений и ответов

2️⃣"Контракты данных: когда схема становится договором", Uzum Market

Практически весь доклад мне казалось, что они живут в сказочном мире с единорогами и розовыми пони, настолько так все классно работает. На самом деле очень прикольно: сначала заводятся контракты данных, потом генерятся DDL, конфиги развертывания, автоматически разворачиваются кафка-топики, выставляются MR. DQ, Lineage - тоже все есть

На дискуссия была жесткая заруба по поводу ломающих изменений в контракте

Мне от спикера так понравились две фразы, пусть они тут останутся:

россыпь SDK
data quality ассорти

❓ Что по AI?

Опишите красиво ваши метрики и данные, сделайте семантический слой - и будет классный контекст для ваших агентов (база)

📍 Новости и ссылочки

Статья: How Anthropic enables self-service data analytics with Claude
Дэш из доклада про ADBC (Arrow Database Connectivity)
Яндекс вписался в разработку китайского Greenplum - Cloudberry, в который они добавили поддержку Iceberg
Одни ребята переехали на StarRocks уже в 2023 году
В Магните в июне были сокращения
Мысль - сейчас многие делают статичные AI-дэши, а что если навайбкодить BI, который реальными запросами ходит в данные?
21.10.2026 выходит DuckDB 2.0
AWS купили DuckLabs

@data_engineerette

Сходила на ТехноДень

Это бесплатная конфа от Selectel, прошла в кластере «Ломоносов». Народу было прям много - полный зал «Молекула» + полный зал «Атом» + люди возле стендов

Я пошла, потому что мне понравился пул докладов. Все доклады были разделены на 4 стрима: AI, Infra, Security и Data. Ну, вы понимаете, где я проторчала😁

Что послушала из докладов:

1️⃣Lakehouse от Столото
Прикольный доклад прямо с циферками затрат. DLH - все по классике. Используют каталог CedrusData и сказали, что в нем есть крутые оптимизации

2️⃣Новая дата платформа от Точка Банка
Как вы помните/знаете, они сидели на Oracle и Pentaho. Я несколько раз смотрела открытые вакансии на DE, и меня сильно смущал такой стек😁 Теперь они рассказали, как переехали на GP от вендора в первый раз в одном облаке, потом во второй раз в другом облаке, потом в третий раз на серверах Selectel😲

3️⃣Аудиоаналитика в облаке от Fix Price
Они записывают аудио на кассах, транскрибируют и потом анализируют CR в покупку пакета и прочие метрики

Я так поняла, что все приглашенные компании - это именно пользователи их продуктов

Selectel тоже пошел в DLH и делает такую же платформу из S3, Trino, HMS, Iceberg, как и все другие🙄 Хотя еще 1-2 года назад не планировал. Пока ощущение, что сыровато и нет необходимых компонентов

Они также рассказали про крутую штуку aish - это агент для администрирования. Поставляется на их собственной SelectOS и умеет решать именно инфровые проблемы, на стендах можно было с ним поиграться

Плюс очень понравилась фраза на главном докладе:

Мы экономим ваши будущие деньги😄

🍜 Во время фуршета познакомилась с каким-то CoFounder из юр компании. Он рассказал, что они на сервисах Selectel используют иишку для генерации и проверки договоров, поиска по судебным кейсам. В общем, занятное применение, а то я не в курсе про жизнь вне айти😅

Если что, трансляции можно глянуть на сайте: https://techday.selectel.ru/

P.S. У вас не сформировалось в последнее время стойкое ощущение, что пора идти в Data Quality и Data Governance? Данные наверняка всегда будут косячные, и в этих областях нужен будет человек, который сможет нормально за все пояснить

@data_engineerette