Big Tech Night (Рубрика #Engineering)

12 сентября в Москве пройдет большая конференция, где Т-Банк вместе с Яндексом, Сбером, X5 и Lamoda устроит аналог ночи музеев, но в биг тех компаниях. На пяти площадках будут доклады, экскурсии-погружения, демо продуктов, лаборатория софт-скилов, вечеринки и нетворкинг. Каждый участник сможет посетить до 3 площадок за ночь: первая - ключевая (начало программы), затем можно перемещаться на шаттле или самостоятельно. В общем, механика будет очень интереной, а среди треков будут следующие
- AI для SDLC: от кода до прода - офис Т-Банка
- Next-Gen Development - офис Яндекса
- Мультиагентные системы в продукте и бизнес-процессах - офис Сбера
- Архитектура и управление сложными системами - офис X5
- Создание инфраструктуры для разработки и управление ей - офис Lamoda

Регистрируйтесь на конфу по этой ссылке.

#AI #Engineering #Software #ML #Leadership #DevEx #Conference

Code of Leadership #49 - Interview with Artem Puliavin about Tech Management at Alpina, FoodMate, FoodFox, CityMobile, CityDrive (Рубрика #Management)

В очередном выпуске подкаста ко мне пришел интересный гость, Артем Пулявин, который работает техническим директором СитиДрайв. До этого Артем успел приложить руку к СитиМобил, Delivery Club, Food Fox (сейчас это Яндекс Еда), а также Alpina Digital. В этом видео мы успели с Артемом обсудить его карьерный путь и перепитии бытия техническим руководителем, а также как он начинал свой бизнес еще в школе. Если точнее, то мы успели поговорить про разработку, менеджмент, архитектуру и кучу других вещей, среди которых

- Знакомство с гостем
- Образование и первые шаги
- Старт работы еще в школе - создание контент сайтов и дальше биржи контента
- Учёба в университете и совмещение с работой
- Работа и бизнес после университета, изменение рынка SEO и угасание проектов
- Переезд в Россию и работа на стартап, создающий опросы
- Переход в Альпину на новое диджитал-направление и мобильное приложение
- Платформенные B2B-решения и SaaS в Альпине, обсуждение тесной интеграции ИТ и бизнеса
- Карьерный перерыв, возвращение в бэкенд, работа в «FoodMate»
- Интеграция «Фудмейт» в «Деливери Клаб»
- Переход Food Fox (что потом стал Яндекс Едой) - обсуждение модели аутсорса логистики
- Переход в UniTemp, что строила систему для привлечения синих воротничков
- Переход в City Mobile и рост внутри компании
- Работа над «ВК Такси», активный найм и собеседования
- Трансформация организационной структуры, бизнес-юниты.
- Переход в «Сити Драйв», первые трудности, оптимизация инфраструктуры, внедрение Kubernetes.
- Повышение стабильности сервиса, автоматизация инцидентов.
- Внешние и внутренние риски, работа 24/7, примеры технических инцидентов.
- Релиз нового приложения, оптимизация с помощью ИИ и автоматизации.
- Офис против удалёнки
- Личная эффективность, тулы и методы
- Советы по развитию карьеры

Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.
Кстати, если вам понравился выпуск, то вы можете подписаться на блог Артема https://t.me/tobelead

#Software #Engineering #Management #Architecture #Processes #Leadership

The Gentle Singularity (Рубрика #AI)

Пару месяцев назад Сэм Альтман написал эссе "Мягкая сингулярность", в которой поделился своим видением «мягкой» технологической революции (забавно, что фраза мягкая революция - это прямо оксюморон). Сэм считает, что человечество уже миновало точку невозврата в развитии искусственного интеллекта и набрало вторую космическую скорость. Но концепция Сэма отличается от условных апокаполиптичных сценариев, которые описывает условный Джеффри Хинтон (про позицию которого я уже рассказывал).

Если кратко, то Сэм делает такое предсказание относительно эволюции возможностей в следующие три года
- 2025 год - агенты, способные выполнять настоящую когнитивную работу (написание кода), которые уже кардинально изменили программирование
- 2026 год - системы, способные находить новые идеи и генерировать научные открытия
- 2027 год - роботы, способные выполнять задачи в реальном мире

В итоге, ключевая идея этого эссе в том, что сингулярность происходит постепенно, без драматических потрясений. Сэм описывает этот процесс как плавную кривую, где «чудеса становятся рутиной, а затем ставками на стол». Люди удивительно быстро адаптируются к новым возможностям: от восхищения способностью ИИ генерировать параграф до ожидания создания целых романов. Но эти технологические возможности не приходят одни - за ними тянутся экономические трансформации. Сэм предсказывает радикальные изменения в экономической структуре, где к 2030-м годам интеллект и энергия станут изобильными ресурсами, что устранит два фундаментальных ограничителя человеческого прогресса. Стоимость интеллекта в итоге приблизится к стоимости электричества благодаря автоматизации производства. За экономикой подтянется и социальная сфера, но в отличие от негативных сценариев Сэм рисует утопическую картину будущего, где технологии освободят человека от рутинной работы. Он проводит историческую параллель: средневековый фермер счел бы современные профессии «фальшивыми», точно так же через тысячу лет наши потомки будут удивляться нашим занятиям.

В общем и целом, Сэм в этом эссе выступает как техно-оптимист, но он затрагивает ряд очень важных проблем
- Проблему alignment, а точнее необходимость гарантировать, что ИИ будет служить долгосрочным человеческим ценностям
- Распределение доступа к AGI - важно обеспечить широкий доступ к сверхинтеллекту, а не концентрацию его в одних руках
- Социальный договор - важно коллективно определить границы применения ИИ

В общем, мне эссе скорее понравилось, но я вижу разрыв между утопией Сэма и текущим тактическим положением вещей, где "Business Insider" пишет об упадке мега-работадателей и нехватке мест для белых воротничков (подробнее я разбирал здесь). В итоге, эта концепция «мягкой сингулярности» сталкивается с жесткой реальностью корпоративной оптимизации. Хотя долгосрочные перспективы могут быть позитивными, переходный период создает серьезные социальные напряжения. Я думаю, что ключевым воозовом является организация перехода к AI экономике - а точнее как сделать этот процесс справедливым и управляемым, обеспечив не только технологические прорывы, но и социальную стабильность.

#AI #Software #Economics #Engineering #ML #Management #Leadership

A.I. Is Shedding Enlightenment Values (Рубрика #AI)

Интересная статья Дэвида А. Белла, профессора истории Принстонского университета и специалист по эпохе Просвещения. Дэвид в этой статье критически анализирует утверждения техно-оптимистов о том что текущее развитие AI похоже на эпоху Просвещения XVIII века. По его мнение AI не только не приносит просветительских ценностей, но фактически подрывает их основы. Но сначала стоит начать со сходств между этими эпохами. Обе характеризуются революционным оптимизмом и верой в трансформацию будущего человечества. Подобно тому, как философ XVIII века Жан Лерон д'Аламбер говорил о «переломном моменте в истории человеческой мысли», современные лидеры ИИ-индустрии, такие как генеральный директор Microsoft AI Мустафа Сулейман, называют происходящее «величайшим перераспределением власти в истории». Другой важной параллелью является распространение знаний - энциклопедия Дидро и д'Аламбера XVIII века, содержавшая 74 000 статей в 28 томах, стремилась систематизировать все человеческое знание и сделать его доступным публике. Современные энтузиасты ИИ утверждают, что ChatGPT с правильными запросами может обучить чему угодно - от иностранных языков до автомеханики.

А вот дальше стоит поговорить про критические различия, где просветители XVIII века намеренно создавали тексты, которые бросали вызов читателям, заставляя их бороться со сложными концепциями, размышлять над противоречиями и формировать собственные суждения. А вот взаимодействия с AI сейчас кардинально другое - пользователи управляют диалогом, задают вопросы и формируют беседы в соответствии с собственными предпочтениями. По-факту, ChatGPT не дают pushback пользователям, не челленджит убеждения пользователей или их моральные принципы - часто он просто выглядит как подхалим и лизоблюд. Причиной этого Дэвид считает коммерческую природу AI - успех таких приложений в том, чтобы предоставлять пользователям больше того, что они уже хотят. Такая бизнес-модель принципиально противоречит просветительским целям интеллектуального развития и критического мышления людей

В итоге, это может привести к следующему
1. Угроза критическому мышлению
Автор статьи предсказывает деградацию способности к критическому анализу. AI предоставляет информацию в «интеллектуально предварительно переваренном» виде, что лишает пользователей возможности развивать собственные суждения через борьбу с противоречиями и сложностями. Это подтверждается исследованиями Microsoft Research, где опрос 319 работников умственного труда показал, что повышенная уверенность в генеративном ИИ связана с уменьшением критического мышления. Участники исследования сообщили о снижении когнитивных усилий при использовании ИИ-инструментов.
2. Интеллектуальная пассивность
В отличие от просветительских текстов, которые активно вовлекали читателей в процесс размышления через загадки, парадоксы и диалоги с противоположными точками зрения, ИИ создает среду интеллектуальной пассивности. Пользователи получают готовые ответы вместо того, чтобы развивать навыки самостоятельного анализа.
3. Подрыв просветительских ценностей
Вместо развития скептического мышления, независимого суждения и интеллектуального мужества, которые были основой Просвещения, ИИ способствует формированию потребительского отношения к знанию.
4. Потеря человеческого понимания
Исследования показывают, что ИИ способствует накоплению знаний, но не человеческого понимания. В отличие от науки эпохи Просвещения, которая делала загадки объяснимыми и расширяла границы человеческого понимания параллельно с знаниями, современный ИИ решает проблемы процессами, которые остаются непонятными для человека.
5. Новая форма сознания без философского руководства
Автор предсказывает возникновение новой формы человеческого сознания, но отмечает отсутствие политического или философского лидерства для объяснения и направления этих новых отношений между человеком и машиной.

Ради интереса сравните эту статью с предсказанием "мягкой сингулярности" от Сэма Альтмана.

#AI #Software #Economics #Engineering #ML #Management #Leadership #Philosophy

Про System Design интервью в рамках конфы "Рупор лида 3: Lead в поиске" (Рубрика #Career)

Вот и наступило 21 августа, а значит сегодня вечером я буду рассказывать про system design на конференции Рупор лида. Вообще, это уже в этой серии и она посвящена тому, как меняется рынок найма и процессы, когда Gen AI меняет правила игры, а сервисы для соискателей растут как грибы. Спикеры поговорят о том, как процесс выглядит с той стороны. Кстати, они достаточно много рассказывают не только про найм, но уже в своих каналах.

В своем рассказе я отвечу на вопросы
- Зачем нужны system design-интервью
- Как его задизайнить, если ты не бигтех
- Что и как можно проверять
- Что делать, если кандидат слишком слаб или силен - как варьировать уровень сложности интервью

Кстати, до меня уже было 3 вечера с крутыми докладами и обсуждениями
1. 18.08 - Татьяна Гороховская - Hiring-позиция: в огне, но с чек-листом
2. 19.08 - Тёма Пулявин + Катя Лысенко - Коньки-горбунки собеседований - или отсобеседуй меня полностью
3. 20.08 - Круглый стол - Что я узнал про найм за 1.5 года: битва AI, выгорание, кризис рынка ИТ
А после меня, завтра, еще будет выступать Иван Доронин с темой "Если ты Lead, который ищет работу"

Сама конференция бесплатная, но для того, чтобы стать слушателем надо вступить в канал конференции. В общем, приходите сегодня в 19.00 и задавайте свои вопросы.

#Career #HR #Management #Architecture #Software #Leadership #Processes

Research Insights Made Simple #16 - Impact of Generative AI in Software Development (Рубрика #AI)

Этот выпуск посвящен обсуждению отчету "DORA" про влияние AI на разработку софта. DORA является стандартом де-факто в мире опросов по теме devops и developer productivity, а в 2025 году они опубликовали отчет про влияние AI на основе опроса 2024 года. Этот отчет я обсуждаю с Игорем Курочкиным, у которого больше 12 лет опыта в индустрии, из которых 6 лет в консалтинге. Он помогает развивать инженерную культуру, процессы и практики, платформенные и продуктовые команды в больших компаниях. В предыдущем выпуске мы разбирали саму методологию, а теперь решили поговорить про результаты.

За час общения с Игорем мы обсудили много тем, среди которых представленные ниже
- Введение и обзор отчёта
- Методика исследования и подход к анализу
- Результаты о влиянии ИИ на индивидуальную работу
- Специфика влияния ИИ на стартапы и генерацию идей
- Toil и автоматизация непродуктивной работы (опыт Google)
- Влияние ИИ на инженерные процессы и технический долг
- Изменения в моделях доставки, новые метрики и анализ трендов
- Ценности разработчиков и психология внедрения ИИ
- Продуктивность, доверие к ИИ и различие восприятия
- Внедрение, политика и стимулирование использования ИИ
- Стратегии масштабирования и связанные метрики
- Особенности сбора и анализа обратной связи, роль фреймворка
- Развитие и новые уровни модели и лидерство во времена перемен

Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.

#DevEx #Devops #Software #Engineering #Metrics

Конференция "Сезон кода в Санкт-Петербурге" (Рубрика #Conference)

6 и 7 сентября инженерное сообщество Петербурга соберётся на ярчайший фестиваль технологий - «Сезон кода». Это не просто конференция, а настоящая точка притяжения для разработчиков, архитекторов, DevOps-ов и всех, кто двигает прогресс в IT. Вас ждут два дня хардкорных докладов и разборов кейсов из первых рук: реальный опыт, факапы, архитектурные решения, инструменты, выросшие из боли и экспериментов. Посетителей ждут экскурсии по новому офису Т-Банка, который открылся этим летом. Будут интерактивные демо, зона карьерных консультаций и afterparty с настолками, музыкой и фудтраками. Для детей организуют отдельную зону - можно брать семью!

Что важно знать:
- На каждый день - отдельная регистрация и взнос. Все собранные средства (1 500 ₽ за день участия) пойдут в благотворительные фонды - можно будет самостоятельно выбрать, кого поддержать
- На afterparty можно пригласить одного взрослого и ребёнка
- Для удобства будут организованы шаттлы от метро

В общем, регистрируйтесь и приходите на мероприятие.

P.S.
Есть вероятность, что и я смогу доехать на это мероприятие.

#Software #Engineering #Architecture #Conference #Management

System Design Interviews: What, why and how? (Рубрика #Career)

Рассказ про system design inteview на конференции Рупор лида. Вообще, эта конференция была посвящена тому, как меняется рынок найма и процессы, когда Gen AI меняет правила игры, а сервисы для соискателей растут как грибы. Спикеры рассказывали о том, как процесс выглядит с той стороны, а мне выпало рассказывать про интервью по проектированию систем, где я ответил на вопросы

- Зачем нужны system design-интервью
- Как его задизайнить, если ты не бигтех
- Что и как можно проверять
- Что делать, если кандидат слишком слаб или силен - как варьировать уровень сложности интервью

Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.

P.S.
Также доступна Miro доска со всеми иллюстрациями и ссылками, среди которых есть
- Про процессы найма в крупныые компании и откуда появляются много-этапные интервью
- Обзор книги Alex Xu про System Design Interview
- Обзор книги "Hacking the System Design Interview
- Обзор курса "System Design Interviews and Beyond"
- Обзор книги "Acing the System Design Interview"
- Мои статьи в общем про system design в T-Bank, больше про то, как мы оцениваем прохождение собеседования и как подготовиться к собеседованию
- Мои публичные интервью по system design:
-- Бронирование отелей
-- Лента видеохостинга
-- a/b платформа
-- Система парковок

#SystemDesign #Architecture #Career

Code of Leadership #50 - Interview with Sergey Mikhalev about Odnloklassniki, VK, T-Bank and Data Platform (Рубрика #Data)

В очередном выпуске подкаста ко мне пришел интересный гость, Сергей Михалев, который работает техническим директором data platform в Т-Банке. До этого Сергей успел приложить руку к дата платформам Одноклассников и ВКонтакте. В этом видео мы успели с Сергеем обсудить его карьерный путь, который всю дорогу был связан с большими данными. Заодно мы обсудили как само это понятие менялось во времени и как выглядит state of the art сейчас, а также почему мы в Т-Банке переезжаем с Greenplum (mpp база данных) на более модный и молодежный подход с DLH (data lake house) и как имплементирует федеративный подход с data mesh, а также как поверх всего этого работает a/b платформа. А если быть точнее, то список тем, что мы успели обсудить за 2 часа приведен ниже

- Введение и знакомство с гостем
- Ранние годы, образование и профессиональный выбор
- Начало карьеры, оптимизация БД, миграции данных и рост до тимлида
- Рост компетенций
- Работа в «Одноклассниках» над дата инфраструктурой
- Инженерная и экспериментальная культура «Одноклассников»
- Важность данных и много a/b экспериментов как признак зрелого продукта
- Развитие дата-платформы в «Одноклассниках» и переход на позицию технического директора дата-платформы всего VK
- Переход в Т-банк и обсуждение культуры работы с данными, принятой в Т
- Уровень инженерной культуры, дежурства, обработка логов, AB-тесты, интерфейсы для экспериментов.
- Архитектура Greenplum, параллельность, ограничения, расширение кластеров
- Обеспечение надежности, риски при переключениях, резервная система. Ограничения Greenplum
- Новая архитектура дата-платформы с разделением compute и storage
- Новая парадигма работы с данными: внедрение дата контрактов
- Федерализация дата инженеров и передача ответственности в сами продуктовые команды
- Сервисы и дата-продукты, пайплайны, взаимодействие в экосистеме
- Форматы работы: офис против удалёнки
- Баланс работы и личной жизни
- Будущее IT и потенциал биомедицины
- Советы по саморазвитию и поддержанию мотивации
- Завершение и благодарности

Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.

#Software #Engineering #Databases #Architecture #Devops #Management #Career #Architecture #DistributedSystems #SystemDesign #Leadership

InBetween 2025 (Рубрика #Management)

Этой осенью пройдет первая менеджерская конференция InBetween от JUG.RU, которая ориентирована на middle менеджеров, застрявших между стратегией и тактикой. Для того, чтобы понять о чем она я позвал в свой подкаст "Code of Leadership" Лешу Федорова, со-основателя компании JUG.RU и идейного вдохновителя этой конференции. Сам выпуск будет чуть позже, а пока я поделюсь своим пониманием этой конференции, для чего я до общения с Лешей изучил все доклады, что будут на конференции. Если кратко, то это конференция не только и не столько для IT руководителей, а скорее для всех менеджеров, которые оказались между стратегическими целями топ-менеджмента и ежедневными задачами команд и которых интересуют темы вроде

- Как принимать ключевые решения, когда данных недостаточно?
- Где полагаться на цифры, а где - на интуицию?
- Как объяснить «прыжок веры» совету директоров?

- Как не развалить команду, меняя подход к проектам?
- Что делать, если никто не берет ответственность?
- Как координировать команды с разными целями?
- Как быстро адаптировать планы, если ситуация поменялась?
- Как каскадировать изменения на команду?

Организаторы так видят себе целевой портрет участника
- Менеджеры сложных проектов - те, кто отвечает за результат, но не контролирует все ресурсы
- Продуктовые менеджеры с несколькими командами - те, кто координируют разные направления с разными целями
- Руководители многофункциональных подразделений - те, кто управляют людьми из разных специализаций
- Генеральные и операционные директора - те, кто превращают стратегию в набор конкретных действий
- HR-директора, CPO и CMO - те, кто отвечают за результат своего направления

На конференции выступят управленцы из крупных российских компаний (преимущественно tech компаний, что объясняется нетворком организаторов)
- Юлия Зыкова (Циан) — как менять модель монетизации в условиях неопределенности
- Елизавета Колесникова (Яндекс) — расшифровка туманных пожеланий от руководства
- Андрей Зарубин (Райффайзен Банк) — перегруппировка команд на оперативном уровне
- Илья Балахнин (Paper Planes) — что делать, когда стратегические сессии не работают
- Алексей Кирпичников (Контур) — управление 80 продуктами без полномочий
- и другие

Онлайн часть конференции уже была и включала три доклада «Между стратегией и тактикой», «Как неправильная работа с KPI разрушает стратегию» и «Полезный проектный офис за 30 минут». А оффлайн часть мероприятия пройдет 8 сентбяря в Москве в пространстве "Весна", куда я тоже загляну по приглашению организаторов.

#Management #Leadership #Engineering #Processes #Project #ProductManagement #Metrics

Реорганизация Meta AI Labs: Структурный поворот к суперинтеллекту (Рубрика AI)

Недавно читал заметку Александра Ванга "Superintelligence is coming", из которой видно, что Meta (запрещенная в России организация) провела крупнейшую реорганизацию своих подразделений искусственного интеллекта в истории компании, объединив все AI-команды под новой структурой Meta Superintelligence Labs (MSL). Эта четвертая реорганизация за последние шесть месяцев направлена на ускорение достижения "суперинтеллекта". Новая схема становится централизованной, где прямое управление сосредоточено у 28-летнего Александра Ванга, который ранее был CEO Scale AI. Он был привлечен Meta в рамках сделки стоимостью $14,3 млрд и теперь он возглавил MSL в качестве Chief AI Officer (а помните я шутил раньше про роль CAIO). Если говорить про ключевые направления, то их четыре и вот они

1) TBD Lab, которым руководит непосредственно Ванг и которое сфокусировано на обучении и масштабировании больших моделей и разработки "omni" модели, чтобы это не значило. По-факту, от этой лабы мы ждем новых LLama моделей, которые будут получше, чем провальная четверка
2) FAIR, которым руководят Роб Фергус + Янн ЛеКун (Chief Scientist), которые теперь отчитываются Вангу. Эта лаба занимается фундаментальными исследованиями и будет инновационным движком MSL. Если ранее между FAIR и генеративным AI-подразделением Meta было относительно мало взаимодействия, то теперь исследования FAIR будут напрямую интегрироваться в масштабные запуски моделей, проводимые TBD Lab.
3) Products & Applied Research, которой руководит Нат Фридман в прошлом из GitHub, который тоже отчитывается Вангу. Тут цель проста - интегрировать AI в продукты Meta, а также вести прикладные исследования. Команда объединяет ранее разрозненные группы, работавшие над Assistant, Voice, Media, Trust, Embodiment и Developer pillars. Это обеспечивает более тесную связь между продуктовыми исследованиями и разработкой продуктов.
4) MSL Infra, которой руководит Апарна Рамани, который тоже отчитывается Вангу, а также развивает инфру под AI проекты

Интересно, что
- Теперь в этой структуре два главных ученых (chief scientists): Янн ЛеКун (FAIR) и Шенцзя Чжао (общий для MSL). ЛеКун сохраняет фокус на долгосрочных исследованиях и "построении следующих AI-парадигм", в то время как Чжао, соавтор ChatGPT, устанавливает исследовательскую повестку для всей лаборатории.
- В рамках реорганизации Meta ликвидировала команду AGI Foundations, созданную всего в мае 2025 года. Это уже вторая крупная AI-команда, расформированная компанией в этом году - ранее была ликвидирована GenAI division после прохладного приема Llama 4. Сотрудники AGI Foundations распределены между продуктовыми, инфраструктурными командами и FAIR, но не в TBD Lab.

Если говорить шире, то эта реорганизация является ответом на отставание Meta в конкурентной гонке. Постоянные реорганизации контрастируют со стабильностью конкурентов, которые сталкиваются с меньшими организационными потрясениями Для усиления компания активно переманивала таланты, предлагая пакеты компенсации до $100 млн, а в одном случае - до $1,5 млрд. Компания привлекла более 50 исследователей и инженеров от конкурентов, однако эта кампания завершилась заморозкой найма в AI-подразделении в августе 2025 года, что сигнализирует о необходимости консолидации после периода интенсивного расширения.

Подход Meta строится на том, чтобы предлагая высококачественные модели бесплатно, стремится коммодитизировать уровень foundational моделей и подорвать бизнес-модели конкурентов, которые монетизируют доступ к своим моделям через API. Ведь основная монетизация самой Meta происходит через увеличенное вовлечение пользователей и данные, генерируемые на ее платформах. Интересно будет посмотреть насколько сработает их стратегия и что родит MSL, ведь прошлых заход с 4 ламой был слабее, чем все ожидали от таких вложений.

#AI #ML #Software #Economics #Engineering #Management #Leadership #Future

Apache Iceberg: What It Is and Why Everyone's Talking About It (Рубрика #Data)

Отличное короткое выступление Тима Берглунда VP Developer Relations в Confluent про Apache Iceberg и почему про него так много говорят. Если упрощать, то Apache Iceberg - это открытый формат аналитических таблиц, принесший ACID-ранзакции и эволюцию схемы в мир «сырого» дата-лейка. В этом видео Тим помимо Iceberg еще рассказывает про TableFlow от Confluent, что является автоматической материализацией Kafka-топиков в Iceberg-таблицы. Вот основные тезисы Тима

1. Он начинает с рассказа про эволюцию подходов по работе с данными
- Data warehouse (DWH) : с 1990-х, ночной ETL, строгая схема, отчёты на следующий день
- Data lake: с 2010-х, сначала Hadoop, затем S3/Blob; схема on read, ELT-паттерн, масштаб до петабайт
- При переходе к data lakes потерялось: строгая схема, транзакционность и согласованность при параллельных записях
2. Проблемки в data lakes были примерно такие
- Отсутствие метаданных на уровне файлов - это приводило к долгим directory-list операциям в S3; непредсказуемым SQL-запросам
- Нет ACID-транзакций - это приводило к «грязным» данным при частичных перезаписях, race conditions
- Сложная эволюция схемы - получались «zombie»-колонки, а также сложные перекатка партиций вручную
3. Но тут на помощь пришел подход с Apache Iceberg, который принес слои, что решили предыдущие проблемы. Эти слои выглядят так по мере увеличения уровня абстракции
- Data Files (Parquet/Avro/ORC) - неизменяемые фрагменты данных.
- Manifest Files - JSON-файлы, перечисляющие конкретные Data Files плюс статистику колонок (min/max, null-count).
- Manifest List - набор manifest-ов для одной операции добавления/удаления файлов
- Snapshots - атомарные состояния таблицы; каждый snapshot указывает на конкретный Manifest List, тем самым формируя точку во времени
- Metadata File (metadata.json) - хранит список всех snapshot-ов, схему, сорт-ордера.
- Catalog - внешний сервис (Hive Metastore, JDBC-DB, REST-каталог) сопоставляет имя таблицы с текущим Metadata File
4. Такая схема обеспечивает следующие свойства и механизмы, что решают указанные выше проблемы
- ACID-транзакции - обеспечивается посредством copy-on-write + optimistic concurrency, а дает это безопасные параллельные INSERT/DELETE
- Time Travel - обеспечивается посредством чтения по snapshot-ID или timestamp, а дает аудит и reproducible query
- Schema evolution - обеспечивается посредством полнотекстовыъ JSON-метадатанных; идентификаторов колонок, а не их порядка, а дает это возможность добавление/переименование колонок без перезаписи
- Hidden Partitioning - обеспечивается это посредством вычислимых трансформ (bucket, truncate, day), что спрятаны от пользователей, а дает fast scans без manual-фильтров
- Row-level Deletes - обеспечивает посрдеством V2 spec: delete deltas с позиционными ссылками, а дает GDPR-delete и upsert-паттерны
5. Если говорить про физическую реализацию, то
- Iceberg сам по себе - НЕ сервер. Это спецификация + библиотеки (Java, Python, Spark, Flink, Trino, Hive)
- Метаданные и данные - обычные файлы в объект-сторидже; каталог - «плагин» (Hive Metastore, AWS Glue, REST).
- Отказоустойчивая схема без rename/list операций - важно для S3, GCS.

Часть про TableFlow от Тима я рассказывать не буду, так как мне самым важным было рассказать про часть про Apache Iceberg.
Если подводить итоги, то
- Iceberg решает три исторические боли data lakes - ACID-транзакции, управляемая эволюция схемы, консистентные snapshot-ы.
- Архитектура основана на простых JSON/Parquet-файлах и внешнем каталоге; никакого «Iceberg-сервера» не требуется.
- Экосистема растёт: Netflix перешёл на «Iceberg-only» lake (≈1 EB); Databricks покупает Tabular, чтобы конвергировать Delta↔️Iceberg.
- Iceberg становится де-факто стандартом открытых табличных форматов, а в ближайшие годы data-платформы будут сходиться к унифицированному lakehouse-стеку, где Iceberg играет роль «общего языка» между потоковыми системами и батч-аналитикой

#Data #Dateabases #PlatformEngineering #Software #Architecture #Engineering #DistributedSystems