Кто уже использует Iceberg v3?

Недавно наткнулась на Apache Iceberg Compatibility Matrix. В этой табличке можно посмотреть поддержку фичей в разрезе движков. И нет ни одного, который бы поддерживал все - ну, а как иначе🫠

Фичи протегированы версиями, и можно наглядно посмотреть конкретно v3. В стабильном виде эта спека появилась в мае этого года в релизе 1.11, и там есть:

➡️бинарные delete-векторы
➡️новый тип VARIANT
➡️точность timestamp до наносекунд
➡️поддержка default values
➡️гео типы

А в релизе 1.12 от 30.09 уже пошла подготовка к v4! И там добавили относительные пути!!😝

Теперь вместо s3://bucket/path-to-table/data/file.parquet в манифестах будет записано просто data/file.parquet

Ну вот надо было изначально все усложнять, чтобы потом с блеском решить глобальную проблему?😑

В той же v4 конкретно будет переделываться структура меты на адаптивное дерево с root манифестом. Умный доклад можно посмотреть тут

@data_engineerette

Сейчас хайпует вот этот клип про AI в жизни компаний, сгенерированный AI

Туда вложено очень много пасхалок, как агент со временем завоевывает компанию. Скорее всего, придется пересмотреть не раз, чтобы все уловить

Танцуем и плачем
💃

@data_engineerette

ИИ в аналитике — на Матемаркетинге’26

26–27 ноября в Москве в девятый раз пройдёт техническая конференция для аналитиков, performance-маркетологов и продакт-менеджеров

Я посмотрела программу и тоже захотела пойти — там есть занятные темы про безопасность в контексте AI, семантические слои, HR-трек, кейсы от Авито

Немного циферок:
📍онлайн-день — 17 ноября
📍более 2000 участников
📍100+ докладов и мастер-классов
📍партнеры — VK, Avito Tech, Сбер, Magnit Tech, ИТ-холдинг Т1, UIS, Лемана Тех, UX Rocket и другие

Среди спикеров:
📍Валерий Бабушкин (ВР): как прогресс мультимодальных моделей влияет на профессию DS/DA/ML
📍Роман Бунин (Nebius): как измерить внедрение ИИ в большой компании
📍Денис Пехтерев (Т-Банк): ИИ-операционная система руководителя из 17 ролей и 13 процедур
📍Радослав Нейчев (МФТИ): рабочие сценарии для агентов на открытом стеке, без платных подписок
📍Сергей Бажин (ИТ-холдинг Т1): агентный кодинг на десятки тысяч строк без ручной проверки

Отдельный блок программы посвящён доверию к результатам ИИ. Участники разберут, как тестировать ИИ-фичи с непредсказуемыми ответами, проверять работу агентов, выполняющих аналитические задачи, и готовить для них контекст

Между докладами — нетворкинг, карьерные консультации и активности на стендах партнёров.

📍Место: Москва, кластер «Ломоносов» МГУ, Раменский бульвар, 1.

📝Программа: Матемаркетинг-2026

🎫Билеты и регистрация

Диалог с ИИ

Я в последнее время заметила, что мое общение с клодом/кодексом часто сводится к сдаче экзамена😅

➖это зачем
➖а вот это
➖объясни
➖почему так
➖как оно будет работать
➖почему это не добавил
➖а это зачем добавил
➖а что будет, если…

Это я такая?😅 Вы обычно выпытываете логику того, что он нагенерил? Или просто мержите и даже не читаете?

@data_engineerette