Databricks объявил конец эпохи пайплайнов.

На Data + AI Summit 2026 компания представила новую архитектуру LTAP (Lake Transactional/Analytical Processing), которая должна объединить транзакционные системы, аналитику, стриминг и AI на одной копии данных. Идея радикальная: приложения, BI-системы и AI-агенты работают с одним источником данных напрямую, без CDC, ETL и бесконечных репликаций между OLTP и аналитическими хранилищами.

Последние двадцать лет типичная архитектура выглядела примерно так:

PostgreSQL → CDC → Kafka → ETL → Data Warehouse → BI → AI

Каждый новый слой добавлял задержки, повышал стоимость владения и создавал новые точки отказа. Особенно болезненно это стало с появлением AI-агентов, которым нужны актуальные данные в реальном времени, а не копия пятиминутной давности.

Ответ Databricks — хранить операционные и аналитические данные в одном месте. В основе подхода лежит Lakebase, PostgreSQL-совместимая система, работающая поверх объектного хранилища и интегрированная с Lakehouse. Компания называет это первым LTAP-подходом, который должен заменить как традиционные ETL-процессы, так и многочисленные реплики баз данных.

Конечно, заявления о «смерти пайплайнов» стоит воспринимать осторожно. Интеграции между компаниями, обмен данными с внешними системами, специализированные стриминговые сценарии и гибридные архитектуры никуда не денутся.

Но сам тренд выглядит очень интересным. Если раньше индустрия спорила, что лучше — Data Lake или Data Warehouse, то теперь главный вопрос звучит иначе:

Нужно ли вообще перемещать данные между системами, если все сервисы, аналитика и AI могут работать поверх одной копии данных?

Похоже, именно вокруг этого вопроса и будет строиться следующая большая битва в мире Data Engineering.

@tldr_data

Я наконец нашла время прочитать новую версию законопроекта про ИИ. Его разослали по всем ФОИВам, в ГосДуму, некоторые партии и т.п. Ну, и естественно, как-то документ попал в прессу. Для желающих изучить — прилагаю.

Я споткнулась сразу же на определении большой фундаментальной модели ИИ. Вот оно:

«..большая фундаментальная модель искусственного интеллекта — программа для электронных вычислительных машин (их составных частей), предназначенная для выполнения интеллектуальных задач на уровне, сопоставимом с результатами интеллектуальной деятельности человека или превосходящем их, использующая алгоритмы и обучающаяся (ранее обученная) на наборах данных для выведения (распознавания) закономерностей, предоставления информации, принятия решений или прогнозирования результатов по заданным человеком целям, одновременно являющаяся основой для создания и доработки различных видов программного обеспечения, содержащая не менее 1 миллиарда параметров и применяемая для выполнения большого количества различных задач».

Данное определение прекрасно своей широтой. Например, под него полностью подходит определение программного обеспечения Microsoft Excel.  Это программа для ЭВМ, решает сложные интеллектуальные задачи на уровне человека или круче (например, столбцы чисел любой длины складывает моментально), использует алгоритмы, обучается на наборах данных, которые туда вводит пользователь.

Эта программа, безусловно, используется для выведения закономерностей, принятия решений или прогнозирования результатов по заданным человеком целям. Она является основой для создания и доработки различных видов ПО — куча ПО действительно пишется с использованием Excel. В одном листе таблицы может быть до 17 миллиардов ячеек. Если каждую ячейку взять, как параметр (а определение, что такое параметр, в законопроекте отсутствует), то все — мы получили пример Большой Фундаментальной модели.

Неточность определения термина дает возможности по его широкому трактованию. Что, может быть, и неплохо, так как власти грозятся ввести КПЭ по внедрению ИИ региональным органам исполнительной власти и прочим госучреждениям. Но при таком определении можно взять Excel. или аналог и заявить — вот, мол, внедрили то, что полностью соответствует определению, на все наши компьютеры в организации — КПЭ выполнен на 100%!