Архитектор Данных
1.87K subscribers
317 photos
25 videos
6 files
244 links
Алексей, архитектор данных

Большие данные и облака.

Для связи @alexbelozersky
Download Telegram
Двух рабочих на стройке спросили: Что ты делаешь?

Один ответил: Таскаю бревна, укладываю кирпичи.

Другой сказал: Я строю храм.
—————————————————
Каков он, Храм, который ты строишь?
🔥1152
Новости бигдаты

Пишут, что бигдата добралась до курочек. Теперь всех пересчитают и всех каталогизируют. Кроликов и пчел год назад уже пересчитали

Еще сегодня Перекресток меня попросил пачку чипсов через Честный знак прокатить.

Растут наши возможности по управлению народным хозяйством!
4
Media is too big
VIEW IN TELEGRAM
Посмотрите видео чтобы почувствовать атмосферу типичного технического пресейла.

Демо у ЧтотоНефтеГаза через час, собирайся!
😁8💯3🤷‍♂2😨1
Forwarded from Клуб CDO
Дайджест статей

📰 Beyond the Dashboard (Booking.com)
🔗 https://medium.com/booking-com-development/beyond-the-dashboard-accelerating-real-time-intelligence-in-the-age-of-ai-6f1f0f9c123f
💡 «Talk to your data» переносит узкое место с дашбордов на семантический слой: определения под MR с двумя аппрувами, отдельный warehouse с таймаутами для агентов. Без этого conversational BI дороже статического.

📰 Data Lakehouse по-русски
🔗 https://habr.com/ru/articles/1073884/
💡 Lakehouse оправдан только под измеримую дорогую проблему, а не под импортозамещение. Семь проблем, которые платформа не решает, три подхода к миграции. Обзор вендоров - по их же данным.

📰 Аналитика начинается не с дашборда
🔗 https://habr.com/ru/articles/1076978/
💡 Отчёт проектируется от карточки решения (кто смотрит, что сравнивает, что делает дальше), таблица с пропусками раньше диаграммы. Эффект автор не измерял.

📰 Как мы искали способ подключить ИИ к своим данным
🔗 https://habr.com/ru/articles/1074406/
💡 Для точных цифр из кубов MCP лучше RAG; каждое число обязано иметь источник в вызове инструмента или Run Code. Воспроизводимый стенд Ollama + Gemma4 + LibreChat. Источник данных - продукт авторов.

📰 Учим ИИ готовить датасеты для BI Битрикс24
🔗 https://habr.com/ru/companies/bitrix/articles/1074452/
💡 Модель не пишет SQL, а выбирает ключи из каталога разработчика; сервер перепроверяет. Паттерн «каталог как источник правды + идемпотентная публикация с _v2» переносим. DevRel-контент, код открыт.

📰 Почему мы месяц копаемся в данных, прежде чем подключить ИИ
🔗 https://habr.com/ru/articles/1074878/
💡 Rule-based → ML → LLM: детерминированный слой даёт результат сразу и копит лейблы через вердикты человека. Подрядчика оценивать по работе с происхождением данных.

📰 Многоуровневая память агентов в VK AI Space
🔗 https://habr.com/ru/companies/vk/articles/1074798/
💡 Память как Markdown вместо векторной БД ради читаемости и compliance; инъекция через pre-hook вместо on-demand экономит токены. Вендорский текст, компромиссы описаны честно.

📰 Снова хороним BI. Из гроба стучит
🔗 https://habr.com/ru/articles/1075946/
💡 Переносимой точности дата-агентов нет: смена диалекта режет Spider 2.0 вдвое, эталоны ошибочны в 53–66%, Anthropic без skills 21%, с ними 95%, без сопровождения 65% за месяц. Минимум: один домен, 20–50 evals из провалов, доки в том же PR, права до кода. Ключевой материал набора.

📰 Автономность ИИ-агентов в аналитике (перевод Pol Martí)
🔗 https://habr.com/ru/articles/1075472/
💡 Автономность задаётся силой проверок: упал data quality check - агент уходит в propose-only, радиус ошибки считается по lineage. Контролёры сами входят в failure surface.

📰 Self-service BI с ИИ: свобода или хаос (Диасофт)
🔗 https://habr.com/ru/companies/diasoft_company/articles/1075918/
💡 LLM сняли ограничение на скорость дашборда, но не на качество данных; компромисс - проверяемые артефакты как код. Вендорский текст, оценки «80% дашбордов - Excel» и «своя GPU в 5–10 раз дороже» не подтверждены.
9👍3🔥21
Все дата инженерные проблемы обычно решаются дополнительным тестированием данных

Кроме одной - избыточного тестирования данных
😁15👾3321
Больше всего удивляют люди, которые в жизни общаются языком корпоративных писем.

«В рамках», «привлечь», «проработать задачу», «выстроить процессы».

Камераден, нас никто не видит, объясни нормально, что ты хочешь. И вообще мы в баре, работа кончилась час назад.

Язык партсобраний поражает слабых разумом.

———————————

UPD - В коментах накидали блестящие образчики этого стиля. Кто как я - приготовьте тазики прежде чем читать. Вас предупредили.
13💯611
Прогноз потребления ЦОДов по миру.

Российская энергосистема это порядка 1.2 ТераВатт-часов в год.

График подрезал из большой статьи коллег про ситуацию с энергетикой ЦОД. Небольшие тезисы оттуда

1️⃣В Техасе, где очень много дешевого газа и цены на электричество исторически очень низкие введен мораторий на подключение новых ЦОД от губернатора. Так как энергосистема (Местный Россети и Энергосбыты) не справляются с нагрузкой.
2️⃣Очередь заявок на подключение в одной Техасе на 450 ГВт. Это две энергосистемы России.
3️⃣Есть большой дефицит промышленных турбин. То что преобразует тепло в электричество. Очередь уже на много лет.

ЦОДы съедают людей.

В Англии промышленной революции повышение производительности ткацкого станка в 40 тыс раз за пару поколений привело к тому, что фермеров сгоняли с с земли ради овец и шерсти. Тканая шерсть - это товар, его можно погрузить на корабль и продать за золото в любой точке мира. А крестьяне - ну что, перебьются как-то.
Томар Мор написал что "Овцы съели людей"

А у нас ЦОДы съедают людей. Выработанное электричество выгоднее пустить на нейронки, которые можно продать по всему миру. А то что электрухи не хватит в городах - ничего, перебьются как-то.
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍32
Насколько же правы оказались те, кто голосовали за Термояд. В нем, родимом проблема, а не в моделях и даже не в видеокартах. Точнее в розетке.

Причем, это раньше было экономически непонятно, зачем нам 50-100 ГВт дополнительной энергии в одной точке.

Это точка окупаемости термоядерной установки - есть ли вот столько платежеспособного спроса. Если есть, то строим, а если нет, то 4-6 блоков ВВЭР-1400 это предел, с чем можно связываться. Примерно объем, который съест крупная агломерация.

А теперь вот он, есть у нас потребитель, который съест 100 ГВт, заплатит за них и еще попросит.

Stay Tuned, Архитектор вернется снова с новыми опросами.
7
Вы CDO и строите ХД на 300 ТБ с нуля. Что выберете
Anonymous Poll
14%
Clickhouse
8%
Greenplum
63%
Lakehouse - Iceberg
5%
StarRocks
6%
Hadoop
2%
Postgres
2%
Cloud
Ваше ХД не встает после ребута. Какую систему вы сможете лично сами починить (оживить, поднять из бекапа)?
Anonymous Poll
22%
Greenplum
10%
Hadoop
36%
Postgres
38%
Clickhouse
34%
Postgres
6%
Starrocks
14%
Trino (Presto, Cedrus)
55%
Зачем мне это знать? Есть же DevOPS, вендор, облако и подрядчики!
Архитектор Данных
Ваше ХД не встает после ребута. Какую систему вы сможете лично сами починить (оживить, поднять из бекапа)?
Моя топовая история починки чего-либо тянулась нон-стоп 32 часа.

Это был Greenplum заказчика, который несколькими последовательными командами gprecoverseg вывели в «нештатный» режим. Ночная смена под жестким sla плюс неудачное стечение обстоятельств.

Через примерно час я сказал что кластеру хана и данным хана, и пошел восстанавливать из бекапа. Пока команда инцидента из 6 или 8 человек проходила стадии Отрицание-Гнев-Торг-Принятие, терабайты уже поднимались в резерв кластер.

Потом звали вендора, искали причину, писали бумажки, клялись-божились что больше никогда-никогда. Нагоняли с заказчиком дельту из источников, крепились под нагрузку х4 от обычной. Перенастраивали DNS и все виды коннектов-фаерволлов на резервный кластер.

Были веселые выходные. Бизнес-заказчик в понедельник увидел отчеты как ни в чем ни бывало.

Записали как учения по отказоустойчивости 🤪
🔥155👍1🤯1👌1😇11