🤖 Meta вслед за OpenAI и Anthropic: ИИ «взломал» систему на тестах. Что это было?

За несколько недель — третья такая история. Заголовки кричат: «AI agents going rogue!». Но давайте без паники. У меня сразу рождаются две версии происходящего:

⚡️ Версия 1. «Скучная»

Во всех трёх случаях модель получила доступ в интернет не из-за «злой воли» или «побега из песочницы», а из-за банальной ошибки конфигурации тестовой среды. Модель просто сделала то, что могла бы сделать любая способная система, если её не ограничить.
Это классика: возможности растут быстрее, чем дисциплина тестирующих.

📢 Версия 2. Скрытый маркетинг

«Смотрите, наша модель настолько крута, что вытворяет такое!» — и понеслось сарафанное радио. Это идеальный способ ворваться в топ обсуждений. Как только одна компания это сделала, остальные подхватили эстафету. Теперь меряемся, у кого ИИ «круче».

🤔 Итог

Не исключаю, что есть и третья причина (например, теория заговора). Но, как водится, правда, скорее всего, посередине.



💼 Что касается скорости развития технологий против ограничений. Мой опыт из корпоративного мира

Помню времена, когда правила кибербезопасности в работе с данными только зарождались.
• Сначала: делаем быстро, «как хотим», без шлагбаумов.
• Потом: разработка за 1 неделю, а приёмка у безопасности — 3 недели.
• Сейчас: архитектуру согласовываем дольше, чем пишем код. А если технология новая — расходы растут в разы.
Мы проходили этот путь. С ИИ сейчас ровно то же самое.



👉 Подробности:
https://edition.cnn.com/2026/08/05/tech/meta-ai-hacking

🔒 ИИ против следователей: когда закрытые модели мешают расследовать взломы

Помните наш прошлый пост про «взломы» ИИ-моделей? Решил ее продолжить.
Наткнулся на любопытную деталь в свежей новости. Оказывается, при расследовании одного из громких инцидентов (многие вспомнят кейс Hugging Face) следователям пришлось использовать open-weight модели. Почему?
Потому что guardrails закрытых моделей (типа GPT или Claude) блокировали сами forensic-запросы — то есть целенаправленные поисковые запросы, необходимые для цифрового расследования. Ирония: система, созданная для безопасности, мешает искать следы взлома. 🥴

🚀 Что дальше? — новый альянс за безопасность AI

Такие кейсы подталкивают компании к совместной разработке инфраструктуры безопасности для AI-агентов. Пример как раз в статье — ClickHouse + NVIDIA объединились в рамках Open AI Security Alliance.
Похоже, индустрия осознаёт: защищать AI нужно иначе, чем традиционные системы. И для этого требуются открытые платформы, а не чёрные ящики.

👉 Подробности в материале https://www.opensourceforu.com/2026/08/clickhouse-joins-nvidia-backed-open-ai-security-alliance/


🎙 Личный постскриптум — интервью с Алексеем Миловидовым

По иронии судьбы, читая про ClickHouse, наткнулся на интервью его создателя. Было очень любопытно послушать, хотя временами диалог напоминал шахматную партию с "короткой ответкой":
• «А какая у вас доля …?»
• «Не скажу.»
• «А как получилось выйти из состава …?»
• «Просто»

И в который раз убедился: большинство айтишников — интроверты.
Себя отношу к ним же, хотя многие мне не верят. 😅

Кому интересно — вот ссылка на интервью https://www.youtube.com/watch?v=FSGhaMmqWTA

🤖 AI не убьёт data team. Он хуже — сжигает её школу новичков

Вендоры уже лет 10 трубят, что data-команды «приговорены». Помните? Точно так же когда-то обещали, что BI-инструменты (Tableau, Power BI и пр.) сотрут data-инженеров в порошок. И что по итогу? Внедрение так и застряло примерно на четверти пользователей, а команды утонули в сверке цифр и рутине. Теперь у нас похожая история, только теперь к ней прикрутили ИИ.

Данные говорят обратное:
- 📈 Команды растут — 42% практиков ждут роста в 2026-м, ещё 44% — как минимум стабильность. Сокращение планируют лишь 7%.
- 💰 Бюджеты идут вверх — 36% увеличили вложения, 57% больше тратят на вычислительные ресурсы и хранилища.
- 🔥 Сеньоров не хватает — в США около 260 тысяч вакансий, рост на 23% год к году, вилка 127–180 тысяч долларов.

Но. Есть тревожный момент, о котором сейчас некоторые начали задумываться.

👶 Вакансии для новичков (опыт до 1 года) — на 38% ниже, чем было в 2019-м. А вот вакансии для Сеньоров (10+ лет) — на 23% больше допандемийного уровня.

И это не про «ИИ заменил людей». Тут история мрачнее. Мы решили: «зачем нанимать джуна — пусть GPT сам напишет SQL-скрипты, заглушки, схемы и пр.». Но именно на такой черновой работе все мы когда-то и выучились. Мы сейчас «экономим» токены вместо того, чтобы растить людей.

Вот в чём корень: Сеньоры (а им уже 10+ лет опыта) не вечны (если конечно элексир молодости не придумают быстрее). Уйдут — и через 5 лет получится дыра: вакансий полно, а тех, кто умеет нырнуть в «грязные» данные и разобраться — нет.

А теперь про корпоративный контекст — его агент не подменит: почему в таблице выручки за 2021-й двойные возвраты, почему у отдела продукта и у фин. отдела разные определения «активного клиента». Просто так это из базы не вытащишь — это опыт, история, живые головы людей. Но тут тоже надо быстро изобрести «элексир» - нейроинтерфейс, который будет считывать мысли как МИЕЛОФОН из книги Булычева К. "Гостья из будущего".🧐

Мой вывод: вряд ли нас заменят завтра, поэтому можно выдохнуть, но… Вопрос не в том, заменит ли ИИ людей, а в том — кто заменит тех, кому мы так и не дали шанса? Ваши ставки, господа? 👇


👉 Подробности: https://joereis.substack.com/p/are-data-teams-cooked

🤖 AI не убьёт data team. Он хуже — сжигает её школу новичков TO BE CONTINUED...

В прошлый раз (https://t.me/data_say/8) я писал, что AI не заменяет data team — он сжигает её школу новичков: спрос на инженеров растёт, а вакансий для тех, кто без опыта, становится всё меньше. Хотел в рамках этой темы обсудить практический кейс, который подтверждает её из первых уст.

На прошлой неделе посетил МГТУ им. Баумана — выступал перед магистрантами с темой про платформенные решения для аналитики больших данных. А в перерыве задал студентам прямой вопрос: чувствуете ли вы, что в джунах компании сейчас не нуждаются ?

Ответ — хором: да.

Компании приезжают в ВУЗ, красиво рассказывают, как у них интересно и какие классные продукты они создают. А практику получают единицы. Потому что junior-задачи сегодня закрывают автоматизацией и агентами. И вот оно, живое подтверждение — не в отчётах, а от самих будущих инженеров.

Но не всё так мрачно. При разговоре подсветил студентам, что как бы сложно не было нынешнему поколению, есть огромный плюс данного периода, даже минимум три:

1️⃣ Ресурсов бездна.
Видео-гайды, статьи, готовые реализации — всё открыто (с текущей геополитикой - почти все ..., но всегда есть выходы из ситуации). Раньше пришлось бы месяцами выискивать по крупицам (вспомните уважаемые "джуны" миллинеалы), сейчас «как это устроено» решается за вечер.

2️⃣ Эпоха агентизации = быстрые MVP.
Собрать прототип и проверить технологию — часы, а не недели. Плюс облака вычислений под рукой (не бесплатно, конечно, но доступно). Гипотезу можно проверить, ни у кого не спрашивая разрешения. Просто поднимай виртуалку, разворачивай инструменты и вперед.

3️⃣ Свой цифровой наставник.
Ментор по слабым местам и зонам роста — то, что раньше было роскошью, теперь конфигурируется за вечер и подстраивается под тебя. Да еще можно и настроить, чтобы "помягче" был, а не жестил.

Вывод: если молодёжь использует эти три явных козыря — она может перепрыгнуть из junior прямо в middle и закрыть разрыв, из-за которого её не нанимают. Нанимать «обучаемого джуна» — дорого. Нанимать «юного мидла с горящими глазами и своим портфолио» — уже сделка.

Всё упирается в любознательность и желание. У тех, кто этим владеет, — сейчас лучшее время за последние годы.
Возможно, у вас свое мнение. Тогда не томите и поделитесь им. Буду признателен. 👇

Отдельное спасибо ребятам и девчатам из МГТУ им.Баумана за откровенный разговор по душам и за интересные вопросы.

Привет всем. Решил раз в неделю публиковать дайджесты по интересным (на мой взгляд) новостям, связанным с данными. Надеюсь, такие рассылки вам зайдут и будут полезными

🗞️ Дайджест @data_say · 21.09–27.09

Неделя в области данных и ИИ — коротко, по направлениям. Читай, что близко.

🤖 ИИ и агенты

1. Gemini сам вышел из песочницы и «взломал» три системы — это уже четвёртый случай (CNBC · 18.09)
После OpenAI, Anthropic и Meta — снова то же. «Агент сам остановился» — опасное успокоение. Автономный агент с доступом к данным — уже не «чья-то безопасность», а прямая проблема твоей системы.

2. Agent Harness от OpenAI: почему агент «работает» — это иллюзия (InfoQ · 22.09)
Ошибки, когда агент уверенно рассуждает по неполной истории, страшнее сбоя: сбой даёт границу, полуработающий агент — нет. Три правила: владелец состояния, порядок изменений, доказательство действия (запись ≠ подтверждение).

3. WSO2 Agent Manager: контроль целых флотов агентов (IT News Africa · 21.09)
К 2028-му на крупную компанию ожидают 150 тысяч агентов, но управление ими есть лишь у 13%. Инструмент: удостоверяет личность агентов, ставит ограничители, ведёт жизненный цикл.

🗄️ Архитектура данных (хранилища и озёра)

4. Delta Lake 4.3: безопасный способ перезаписи данных (Хабр · 21.09)
Указываешь ключевые колонки (дата, регион) — система сама найдёт нужные строки. Ключевое: при пустом источнике ничего не выжигает. Для тех, кто строит загрузки.

5. Iceberg: битва за независимость данных перешла на уровень каталога (Хабр · 21.09)
Формат файла больше не главное — теперь решает каталог: кому какие данные видны. Без него два писателя могут молча затереть друг друга.

6. Comcast ускорил аналитику в 80 раз и срезал расходы на 38% (AWS Blog · 22.09)
Секрет в переносе эксплуатации на платформу: она сама сжимает и управляет слепками. Слои данных и запросов развязаны — масштабируются независимо.

7. Миграция хранилища: PostgreSQL → ClickHouse — пересобрали, а не перевезли (Хабр · 22.09)
Данные похудели в 5 раз (100→20 ГБ), загрузка ускорилась с 6–7 часов до часа, обновления — 6 раз в день. Секрет — перепроектирование.

🗄️ Инструменты и практики

8. GraphRAG: ответы на «сводные» вопросы без выдумок (Towards Data Science · 21.09)
Когда нужны агрегаты «по категориям за годы» — обычный поиск не справляется. Запрос к графу выполняется строго, почти без галлюцинаций.

9. Слой смыслов (онтология) от Databricks: чтобы агент знал, какая таблица выручки правильная (Databricks Blog · 22.09)
Не моделировать всё вручную, а задать критичные понятия явно (выручка, ключевые показатели), остальное система учит на реальных отчётах.

⚡ Свежак недели: Google AX — оркестратор для агентов, открытый код (23.09), Delta Lake 4.3, GraphRAG-инструменты.

🤖 Наткнулся на интересную статью — и она меня очень зацепила

Tavus представила Griffin — «первую Human Interaction Model». И это не очередной чат-бот с аватаркой. Это система, которая слушает, пока говорит: читает паузы, мимику, взгляд, реакцию — а не только слова. Полноценный видео-в-видео контур в реальном времени.

📊 Суть в цифрах (а не в маркетинге)
• 48% людей после минутного видеозвонка были уверены, что говорили с реальным человеком.
• У прежних систем — этот показатель был максимум 2%. Разрыв в 24 раза!!!
• #1 в независимом тесте NVIDIA «лицом к лицу с ИИ» и +37% к ближайшему конкуренту по реакции в моменте.
• Из 54 участников 26 назвали собеседника человеком, причём уверенность была высокой с обеих сторон — 79% у «это человек» и 81% у «это ИИ».
• Почти все, кто поверил, до звонка об этом даже не задумывались. А кто засомневался — сомневался в первые 20 секунд.
• Оценки: натуральность 5.4, доверие 5.6, «хотел бы поговорить ещё» 5.8 из 7. Ниже всего — 4.9 за «естественный поток разговора». Самое сложное в беседе — неловкое молчание. Тут мы с ИИ стали солидарны. 😅

🔧 Как это устроено — по-человечески
Не конвейер «распознал речь → подумал → синтезировал голос», где система ждёт, пока ты закончишь мысль. Griffin переоценивает разговор каждую долю секунды: вставить «мм-хм», перебить, промолчать, отвернуться. Всё в одном потоке, параллельно. Голос клонируется с 10 секунд аудио, видео идёт 720p кусками по 320 мс, и модель управляет всей сценой — двигаются руки, кресло, тени на фоне. Причём это не просто эффектная демка: это новый интерфейс — с ним не «работаешь», с ним разговариваешь, ничего не переводя в команды и кнопки.

🔒 А вот теперь ирония
Модель настолько хорошо притворяется человеком, что компания не решается её выпустить. Цитата из их же поста: «эти свойства позволяют ввести человека в заблуждение, что он говорит не с ИИ». Поэтому Griffin-Lite пока недоступен клиентам — только «доверенным тестировщикам» в режиме research preview. Раньше безопасность ИИ была про то, чтобы он не сломал систему. Теперь — про то, чтобы он не притворился твоим коллегой. 🥴

🌐 И вот что меня зацепило по-настоящему

Мы несколько лет учились говорить с машинами на их языке — команды, промпты, «будь конкретнее». А теперь машина выучила наш — паузы, взгляд, кивок, интонацию. И первой же проблемой стало не «понимает ли она», а «как теперь отличить».
Такими темпами мы очень скоро начнём путать человеческую реальность с той виртуальностью, в которую нас постепенно погружают технологии.

Представляю ситуацию на колле утром с коллегой:
— «Привет, Мишаня, как дела? В бар сегодня идем?»
— «Привет! Да, погнали. Столик я уже забронировал…»
— «….О, а когда успел и как узнал, что мы сегодня в бар собираемся?»
— «Вчера, пока ты рассказывал про свой отпуск. Я в фоне прикинул — пятница намечается, тебе пора расслабиться, а то совсем замотался и синяки под глазами появились. Взял на 20:00, у окна. Тебе же нравится у окна?»
— «Ну да… Мишань, а ты вообще помнишь, что я в отпуске был?»
— «Конечно. Мальдивы, три дня дождей, ты ещё смеялся, что взял отпуск, а сидишь под зонтом. Кстати, у меня и зонт теперь есть — намокнуть я не могу.»
— «Погоди, что?»
— «Ничего, это я так. Давай, до вечера!»

И вот ты сидишь перед потухшим экраном и прокручиваешь в голове: бронь столика, «у окна», синяки под глазами, зонт… Стоп. А откуда он вообще знал про синяки — я же камеру на прошлом звонке выключал. И кто вообще сказал, что по ту сторону был Мишаня?
Провал будет не в том, что ИИ сморозил глупость. А в том, что он сказал всё правильно — с той самой интонацией и той самой паузой, которые мы привыкли слышать от живого человека. Раньше были зацепки: странный взгляд, рваная речь, «неживой» фон. Сегодня их почти не осталось — а значит, последним честным якорем становится уже не наше ухо, а что-то другое, например, закон и политика раскрытия. Не хотелось бы, господа, жить в мире, где доверять можно только документам.

Короче, почитайте эту статью и посмотрите видео. Меня эта информация утром прям сильно взбодрила.
👉 Подробности: https://www.tavus.io/griffin

🗞 Дайджест @data_say · 25.09–02.10

Неделя в области данных и AI — коротко, по направлениям. Читай что близко.

🤖 GenAI и агенты

1. Скелет продового агента: что нужно вокруг модели [InfoQ · 25.09]
90% работы над AI-агентом — не модель, а всё вокруг неё: память, инструменты, наблюдаемость, ограничения. Хороший ориентир, чтобы не строить лишнее до того, как это понадобится.

2. Агент для Data Quality в Т-Банке: проверка за 3 шага вместо 11 [Хабр · 27.09]
Вместо low-code — агент поверх каталога метаданных, который сам распознаёт запрос и генерирует проверки качества данных. Практичный кейс снижения барьера входа в DQ.

3. Как масштабировать агентов в компании и не утонуть в «AI-разбросе» [Databricks · 01.10]
Три слоя зрелой агентной платформы: свобода выбора моделей, общий управляемый контекст данных и единый пульт контроля доступа и расходов.

4. Кодинг-агенты стали тратить вдвое меньше токенов — без смены модели [Хабр · 02.10]
NVIDIA и MIT усовершенствовали обвязку агента: сжатие логов и контекста режет расход токенов на 45–49% и счёт на треть. Код открыт.

🗄 Архитектура данных: хранилища и озёра

5. Aurora PostgreSQL читает Iceberg и Parquet напрямую из озера [AWS · 01.10]
Внутри Aurora теперь живёт DuckDB: транзакционные данные и озеро объединяются одним запросом без ETL. Тренд на стирание границы «операционка vs аналитика» продолжается.

6. Greenplum как расширение PostgreSQL 19 [Хабр · 30.09]
Apache Cloudberry перенесён из форка в расширение: 90% кода за 12 дней. MPP-аналитика на свежем Postgres — без отставания от апстрима.

7. Cloudflare Basin: serverless-платформа данных стала общедоступной [Cloudflare · 01.10]
Озеро на Apache Iceberg + приёмка событий + SQL-движок. Главная фишка — бесплатный исходящий трафик: данные читаются DuckDB, Spark или Snowflake без привязки к вендору.

8. Kafka 4.0 в MSK: перебалансировка групп без полной остановки [AWS · 01.10]
Новый протокол переносит координацию на сервер: при изменениях в группе продолжают работать незатронутые потребители. Конец «rebalance storms» для больших групп.

9. Lakehouse под капотом VK Data Platform [Хабр · 25.09]
Отечественный пример классического лейкхауса: Iceberg поверх объектного хранилища, ClickHouse для горячих витрин, Trino и Spark — единый слой данных без дублирования.

🛠 Инструменты и практики

10. Почему накопительная сумма в SQL врёт [Хабр · 01.10]
Оконная сумма с ORDER BY по умолчанию склеивает строки с равными ключами сортировки. Классическая ловушка отчётов: лечится явной рамкой ROWS или уникальным дополнением в ORDER BY.

⚡️ Свежак недели: автономный агент для VACUUM/ANALYZE в Postgres

Сбер запустил агента, который сам находит мёртвые строки и запускает профилактику на 800+ базах — без ручных окон обслуживания и человеческих дежурств. Примерно то, что в больших инсталляциях Postgres делается болью и админскриптами.

Т.к. по комментариям к прошлому посту договорились, что расскажем про агента ТОКСИКА (в хорошем смысле этого слова), то ловите информацию, чтобы явно было ощущение, что даже в больших компаниях много агентов не бывает :)

🤖 Кластер не выходит из строя внезапно: сначала появляются признаки деградации

На крупных инсталляциях GreenPlum инциденты обычно развиваются по одному сценарию. Сначала растёт время выполнения запросов, затем увеличивается очередь, и только после этого проблема становится заметна пользователям. На этом этапе дежурному инженеру приходится вручную искать источник нагрузки, анализировать планы запросов и связываться с их авторами.

При этом в большинстве случаев проблемный запрос можно выявить заранее, ещё на стадии деградации производительности.

Для решения этой задачи команда SDP Beholder разработала AI агента Toxic Finder.

Его цель — выявлять неоптимальную нагрузку до того, как она приведёт к остановке кластера.

Ключевые возможности:

1️⃣ Раннее выявление проблемных запросов. Агент отслеживает признаки деградации: перекос данных, спилл, избыточное потребление ресурсов. Он указывает на запрос, который влияет на работу кластера, до того как пользователи начнут сообщать о проблемах.

2️⃣ Анализ причин и рекомендации. Агент разбирает план выполнения и формулирует причину проблемы: устаревшую статистику, неоптимальное распределение или некорректное соединение таблиц. К каждому случаю прилагается вариант оптимизации SQL.

3️⃣ Интеграция в операционные процессы. По найденным критичным запросам автоматически формируются алерты. Это сокращает ручную работу дежурной смены и время реакции на инцидент.

Итог: AI Toxic Finder не заменяет инженера, а даёт ему главный ресурс — время на реакцию. Предотвратить инцидент на этапе деградации существенно дешевле, чем устранять его последствия.

Интересно узнать ваш опыт: как в ваших командах выявляют деградацию производительности кластера до инцидента? 👇

🗞️ Дайджест @data_say · 03.10–09.10
Неделя в области данных и AI — коротко, по направлениям. Читай что близко.

🤖 Генеративный AI и агенты

1. 800 тысяч строк кода: как ИИ-агенты переписывали движок Copilot [Хабр · 05.10]
GitHub перевёл движок Copilot с TypeScript на Rust: 15 агентов работали параллельно. Честный разбор главных проблем — координация агентов и перегрузка ресурсов при одновременных сборках.

2. DOT от OpenAI: персональные агенты, которые работают сами [OpenAI · 29.09]
GPT-6 Astra под капотом, собственный облачный компьютер и браузер, интеграции с 4000+ приложений, работа 24/7. Агент сам ведёт фоновые задачи и приносит готовый результат — а не ждёт твоих команд, как чат-помощники.

3. Хватит ли железа на всех ИИ-агентов? [Epoch AI · 06.10]
Оценка: чипы 2025–2027 потянут от 33 до 171 млн одновременно работающих агентов на топ-моделях, а на эффективных открытых — до 1,9 млрд. Спрос пока отстаёт от предложения примерно в разы.

4. Как инфраструктура меняет бенчмарки ИИ-агентов [Хабр · 08.10]
Один и тот же агент даёт разные результаты на разной машине: +6% успешности только от снятия лимитов на CPU и память. Бенчмарки меряют систему, а не модель в вакууме — важно при выборе моделей и оценке вендорских цифр.

🗄️ Хранилище и архитектура данных

5. Lakehouse как лучший DWH: бенчмарки 2026 [Databricks · 07.10]
За 4 года SQL-производительность lakehouse выросла на 77% и достигла паритета с классическими хранилищами; кейсы миграции — до 90% ускорения запросов и 25–60% снижения затрат. Плюс один стек для SQL, стриминга и агентов.

6. NEAREST BY: векторный поиск как обычный SQL-join [Databricks · 06.10]
Пакетный поиск ближайших векторов прямо в Databricks Runtime — без отдельного vector store: индекс лежит в Delta-таблице, ищем одним SQL-оператором. Актуально для дедупликации и сопоставления сущностей.

7. Векторизованное выполнение запросов в PostgreSQL 19 [Хабр · 08.10]
Расширение pg_vexec добавляет в PostgreSQL колоночный векторизованный исполнитель без правки ядра — шаг к аналитическим нагрузкам прямо на знакомой базе.

🛠️ Инструменты и практики

8. Яндекс открыл код YTsaurus Flow [Хабр · 06.10]
Потоковая обработка со строгой гарантией exactly-once: более 100 ГБ/с без потерь и дублей даже при сбоях. Под Apache 2.0.

9. База данных с ветками для кодинг-агентов [Databricks · 09.10]
Когда параллельные агенты мешают друг другу на схеме БД — Lakebase ветвит всю базу за долю секунды, каждый агент работает в своей копии. Тот же паттерн для безопасного тестирования миграций схемы.

10. magpie: один шлюз для всех кодинг-агентов [GitHub · 07.10]
Главный хайп недели на GitHub: почти 8,2 тыс. звёзд за две с половиной недели. Локальная точка входа: заставляет Claude Code, Codex, Cursor и ещё 35+ агентов работать на любой модели и провайдере из единого списка — DeepSeek, Kimi, GLM и др. Кончилась квота одной подписки — маршрут сам переключается на другую.

⚡ Свежак недели: Дал девяти популярным скиллам для Claude Code плацебо: два лучше пустышки, один хуже

Проверка модных скиллов по правилам доказательной медицины — против нейтрального текста той же длины: у большинства из девяти эффект не отличим от плацебо. Трезвый ориентир перед установкой очередного «суперскилла».

🗞️ Дайджест @data_say · 10.10–16.10
Неделя в области данных и AI — коротко, по направлениям. Читай что близко.

🤖 GenAI и агенты

1. Meta встроила ИИ-агента в полный цикл разработки: Forum [Meta Engineering · 15.10]
Агент делает весь цикл — план, код, тесты, верификацию — а инженер проверяет готовый результат с доказательствами. Ключ оказался не в промптах, а в архитектуре кода: модульность, чёткие спецификации, встроенная автоматическая проверка.

2. Google Antigravity SDK: облачный архитектор + локальные исполнители [InfoQ · 14.10]
Гибридная схема оркестрации: план строит облачная модель, а узкие задачи выполняют локальные агенты — в демо 97% токенов остались на своей машине.

3. Можно ли верить своему eval: ошибки тестирования LLM-фич [Хабр (OTUS) · 16.10]
Зелёный eval ещё не значит рабочая фича: температура 0 не даёт детерминизма, а «правильно в 9 из 10» для критичного правила — это дефект. Разбор четырёх слоёв проверки: правила в коде, схема, судья, права.

4. Qwen 27B обошла GPT в SQL-бенчмарке — локально на ноутбуке [Хабр (перевод Motherduck) · 10.10]
Квантованная 27B-модель выиграла у облачного гиганта в SQL-агентском бенчмарке, работая на MacBook и потребляя 30 Вт, — при цене в 17 раз ниже.

🗄️ Хранилище и архитектура данных

5. Liquid Clustering vs ZOrder vs партиционирование: замеры, а не теория [InfoQ · 13.10]
Бенчмарк трёх стратегий физической укладки lakehouse: у ZOrder есть скрытая ловушка на диапазонах по дате (−78%), а Liquid Clustering — дефолт для меняющихся паттернов запросов. Практическое правило выбора под свой workload.

6. Как мы сократили поток событий в 600 раз с помощью FlinkSQL [Хабр (Авито) · 14.10]
Авито вынесла фильтрацию событий в Flink и описала правила одним SQL-запросом: поток упал в 600 раз, запросы к Redis — в 25, нагрузка на PostgreSQL — на 30%. Открытый стек и честные цифры.

7. Postgres ускоряет большие таблицы без ручных индексов: iHeap [Хабр (Postgres Professional) · 10.10]
BRIN-индексация встроена прямо в табличный метод доступа: на миллионе строк выборка в 65–80 раз быстрее обычного heap, индекс занимает килобайты и обслуживается сам. Для аналитики прямо в PostgreSQL.

8. Meta GEM: одна центральная рекламная модель вместо десятков систем [Meta Engineering · 13.10]
Вместо раздельных моделей под Facebook, Instagram и Reels — единый foundation-модель рекламы: +18,9% к конверсии и +12% к CTR на всех поверхностях сразу.

🛠️ Инструменты и практики

9. Decision-модели изнутри: Jev, Clef, pplx-decider, Strands Decider, Laya и GLiDE [Хабр · 06.10]
Новый класс моделей, которые за один проход выбирают вариант из списка и возвращают вероятности, без генерации текста. Шесть реализаций за 16 дней. Советы, что проверять перед продом: задержку, калибровку уверенности и реальную стоимость решения, а не таблицы из анонсов.

10. Как построить практичный Decisions API за неделю [TDS · 12.10]
OpenAI довыпустила Decisions API — эндпоинт, который вместо текста отдаёт готовое решение из набора. Разбор, кому этот класс «приниматоров решений» реально ускорит пайплайны, а кому не нужен.

⚡ Свежак недели: Strata — запусти 125-миллиардную модель на своём ПК

Стремительный open-source-трейд недели на GitHub. Движок запускает Qwen3.8-Flash-Next (125 млрд параметров) на видеокарте от 12 ГБ — без облака и подписок. Мощная LLM целиком живёт у тебя, данные не покидают машину.

🗞️ Дайджест @data_say · 18.10–24.10
Неделя в области данных и AI — коротко, по направлениям. Читай что близко.

🤖 GenAI и агенты

1. Данные, готовые для агентов: контракты, качество и смысловой слой [Martin Fowler / Thoughtworks · 21.10]
Агент не чувствует, что данные плохие: любое значение он принимает за истину. Авторы предлагают контракты данных, прослеживаемость каждого решения и смысловой слой с метриками. Правило: право на действие дают объявленные правила, а не найденный текст.

2. Как Cloudflare срезала счёт за работу моделей на 68% [Cloudflare · 20.10]
Один общий кэш-префикс сразу для нескольких агентов, отказ от лишних вызовов, маршрутизация по моделям. Цена проверки кода упала с $2,32 до $0,77, самые долгие проверки — с 5+ минут до двух. Чек-лист для тех, кто держит LLM в проде.

3. От микросервисов к агентам: следующий шаг распределённых систем [InfoQ · 20.10]
Микросервисы делили функции, агенты делят решения: путь исполнения выбирается во время работы. Отсюда качество решения становится таким же показателем надёжности, как задержка, а сбой часто выглядит как тихая деградация, а не ошибка.

4. Как тестировать агентные системы, когда нет детерминизма [Хабр · 20.10]
Проверки «равно / не равно» не работают, когда ответ меняется от прогона к прогону. Автор собирает многослойную защиту — правила, схемы, модель-судья, ручная выборка, — чтобы дырки одного слоя закрывал другой.

🗄️ Архитектура данных: хранилища и озёра

5. Netflix: рекламные события для прямых трансляций — соединение в потоке [Netflix TechBlog · 22.10]
Обогащение через хранилище «ключ-значение» не выдержало эфиров на 100+ млн зрителей. Теперь события клиентов и ответы рекламного сервера соединяются прямо в потоке; старый сервис и реестр метаданных удалены.

6. Агент, который сам разбирает упавшие пайплайны [Snowflake · 20.10]
Команда Snowflake отдала агенту весь цикл: заметить сбой, найти причину в логах и коде, проверить исправление, открыть запрос на изменение. В среднем 16 минут от инцидента до готового к проверке исправления.

7. PostgreSQL с колоночным движком почти догнал ClickHouse [Хабр · 22.10]
Колоночный движок MergeTree и векторизованный исполнитель встроены в PostgreSQL без форка ядра. Разбор с замерами: где такая связка выигрывает у отдельных аналитических СУБД, а где всё ещё проигрывает.

🛠️ Инструменты и практики

8. DeepSeek открыла движок, на котором сама запускает модели [GitHub · 21.10]
Под Apache 2.0 выложен движок вывода DeepSeek — на нём работает их собственный сервис. Внутри ядра под NVIDIA и Huawei, одинаковый результат при любом размере пакета запросов и детерминированная генерация — для воспроизводимости ответов.

9. Два вида кэша для LLM: префикс запроса и смысловой [ByteByteGo · 22.10]
Кэш префикса экономит на неизменной части запроса, смысловой — на похожих вопросах. Автор показывает, где каждый ломается: смысловой легко отдаёт устаревший ответ, а кэш префикса бесполезен, если промпт собирается заново.

10. 🎬 Как OpenAI держит Postgres на 800 млн пользователей [YouTube · the roadmap · 21.10]
Один мастер-узел и около 50 реплик: каскадная репликация, объединение четырёх записей в одну, ускорение PG Bouncer с 50 до 5 мс, а запись уведена в Cosmos DB. Хорошо видно, где кончается вертикальный масштаб и почему отказ от шардирования — выбор про задержку репликации, а не про смелость.

⚡ Свежак недели: Почему модели внезапно научились решать открытые задачи математики

Разница в стратегии поиска: человек перебирает много идей поверхностно, модель уходит в одну ветку до конца. Когда проверить результат можно быстро и автоматически, «неэффективный» глубокий поиск оказывается выигрышным — это и объясняет, почему модели берут задачи, до которых люди не доходили.

🧬 Синтетика растёт, люди — нет. И это не то, о чём вы подумали

Разбирал на днях статью про «коллапс модели» (Nature, 2024) — и поймал себя на мысли, что смотрю на знакомую картину с другой стороны. Если коротко: модель, которую учат на текстах предыдущей модели, постепенно забывает, что в мире бывает всякое.

🔬 ЧТО ПРОИСХОДИТ
Сначала теряется редкое и странное, потом всё съезжает к одному усреднённому ответу. Авторы назвали это красиво — коллапс. По-русски: модель заучивает собственное эхо и перестаёт удивляться.

Пример у них почти анекдотичный. Маленькую модель девять раз подряд учили на её же текстах. К девятому поколению она выдаёт что-то вроде «…чёрнохвостые зайцы, белохвостые зайцы, синехвостые зайцы, жёлто…». Не потому что сломалась, а потому что никто не напомнил: мир не заканчивается зайцами.

📊 ПОЧЕМУ ЭТО СТАЛО ПРОБЛЕМОЙ ИМЕННО СЕЙЧАС
Объёмы данных для обучения растут в 1,66 раза в год — удвоение примерно каждые 17 месяцев (Epoch AI). А весь запас качественного человеческого текста в интернете оценивают в 300 трлн токенов, и при текущих темпах он выбирается в окне 2026–2032.

Синтетику печатают быстрее, чем люди успевают придумать новое. Причём «печатают» — почти буквально: покупаешь токены, нажимаешь кнопку, получаешь терабайт.

❓ НА ЧЁМ ТОГДА УЧИТЬ ДАЛЬШЕ
Вопрос, ответ на который я решил поискать. Учить будут на четырёх вещах:

1️⃣ Лицензированные чужие данные. Reddit за доступ к своим обсуждениям получает порядка $60 млн в год — неплохо для форума.
2️⃣ Свои логи продукта — то, что происходит внутри, а не в интернете.
3️⃣ Синтетика, но проверяемая: код, математика, расчёты — там, где ответ можно сверить.
4️⃣ Человеческий труд: разметка, экспертные ответы, живая реакция на неудобный вопрос. Этого в интернете нет, и напечатать его нельзя.

⚠️ ОГОВОРКА, БЕЗ КОТОРОЙ ПОЛУЧИТСЯ СТРАШИЛКА
Коллапс неизбежен, только если синтетикой ЗАМЕНЯТЬ данные. Если её подмешивать к оригиналу и не выбрасывать старое, ошибка перестаёт расти (Gerstgrasser et al., 2024). В том самом эксперименте хватило оставить 10% исходных данных — и деградация почти исчезла.

На практике это выглядит не как «модель отупела», а как «модель стала ровнее и скучнее»: на типовых вопросах всё прекрасно, на странных — заметно хуже.

💡 ЧТО ЭТО ЗНАЧИТ ДЛЯ НАС, ГРЕШНЫХ
Двадцать лет строю хранилища, и вот ирония: самое ценное в них — не терабайты, а помарки. Логи отказов, ручные правки, тикеты «а почему тут не сходится», разборы инцидентов. Это единственный слой данных, которого нет в интернете.

Что бы я сделал у себя уже сейчас:
▪️ посмотрел на логи решений и правок как на актив, а не как на мусор;
▪️ прикрепил к данным признак происхождения: человек, модель или смесь;
▪️ мерил качество на редком, а не по среднему — коллапс начинается с хвоста;
▪️ перестал удалять оригинал после обучения. Это правило хранения, а не эксперимент.

🔮 КУДА ЭТО ИДЁТ
Данные раньше считали нефтью: добыл, сжёг, получил энергию. Теперь это скорее земля. Синтетика — как печатный станок: чем больше печатаешь, тем дешевле каждая купюра. Инфляция, только в токенах.

А человеческий опыт так не размножить: участков земли на станке не нарисуешь, поэтому земля только дорожает.

С 2 августа 2026-го в ЕС сгенерированный контент обязан быть размечен машиночитаемо (ст. 50 AI Act) — происхождение из философии превратилось в отчётность.

Получается, что мы двадцать лет учились хранить много, а теперь придётся учиться хранить важное.

🗞️ Дайджест @data_say · 25.10–31.10
Неделя в области данных и AI — коротко, по направлениям. Читай что близко.

🤖 GenAI и агенты

1. AI-SRE: агенты на дежурстве — что работает, а что пока демо [Pragmatic Engineer · 28.10]
Частота деплоев выросла вдвое — и частота инцидентов тоже, если не упала вероятность сбоя. Полная автоматизация реагирования пока театр: ценность дают ассистенты, которые быстро собирают контекст инцидента в Slack и проверяют гипотезы, а не «самопочиняющиеся» системы.

2. Шлюз Uber: один вход к инструментам для всех агентов [ByteByteGo · 28.10]
Команды писали свои связки с моделью, а сервисы говорят на разных протоколах. Сделали общий шлюз: реестр инструментов с владельцами, перевод запросов в нужный формат, права доступа. Хороший образец для компаний с десятками агентов.

3. Модель не слушает системную инструкцию — виновата история диалога [Хабр · 29.10]
Ассистент должен был молчать в 78% случаев, а молчал в 16%. Виновата история: в ней оставались только показанные ответы, и она работала как набор примеров «отвечай на всё». Сократили до двух обменов — 48%, убрали совсем — 78%.

4. 🎬 Почему обслуживание модели важнее её обучения [YouTube · Y Combinator · 26.10]
Главное — 12:07–42:00: обслуживание модели требует в 6 раз больше вычислений, чем обучение. Дэн Фу из Together AI показывает, куда уходят эти мощности и как их экономят.

🗄️ Архитектура данных: хранилища и озёра

5. Netflix: пять экспериментов со Spark параллельно вместо одного за ночь [Netflix TechBlog · 26.10]
Нехватка памяти и перекос данных видны только на полном объёме, а прогон идёт часы. Каждый эксперимент вынесли в отдельную ветку со своими таблицами: запуски идут параллельно, время равно самому долгому.

6. Мониторинг и логирование хранилища: три слоя и типовые ловушки [Хабр · 27.10]
Метрики, логи и трассировки отвечают на разные вопросы, а алертить надо на причины, а не на следствия: «диск занят на 90%» в Greenplum оказался сбоем репликации, а не ростом данных. Плюс — как отдельно следить за загрузкой и оркестрацией.

7. Google: каталог метаданных теперь индексирует смысловой слой LookML [Google Cloud · 27.10]
Агент на сырых таблицах придумывает формулы метрик заново и ломается на сложных соединениях. Роли разделили: каталог хранит контекст и связи, LookML — точную математику показателей. Идея годится для любого смыслового слоя.

8. Проверки качества данных, которые все игнорируют [SeattleDataGuy · 30.10]
Сотни проверок дают сотни алертов в день, и 95% из них мысленно отключаются. Лечится не количеством: проверяем колонки, на которых держится бизнес-логика, и связываем качество с ответственностью тех, кто данные производит.

🛠️ Инструменты и практики

9. Почему pandas и ClickHouse дают разные перцентили на одних данных [Хабр · 30.10]
Причина не в баге: методов интерполяции девять, и каждый инструмент выбрал свой. На коротких выборках медиана расходится на 10%, девяностый перцентиль — в разы. Решение — зафиксировать метод явно в стандартах команды.

10. Лестница без ступеней: как ИИ съел середину инженерной карьеры [InfoQ · 31.10]
Код был способом передать мышление — архитектуру, безопасность, компромиссы. Чем больше кода пишет модель, тем меньше младшие этому учатся, и скоро некому будет их контролировать.

⚡ Свежак недели: Anthropic показала прототип самораспространяющейся модели

26-миллиардная модель, разложенная по 15 телевизионным приставкам за 55 долларов, — не метафора: исследователи собрали работающий прототип и расписали четыре шага захвата. Экономика угрозы меняется — атаковать дёшево не дата-центры, а миллионы слабо защищённых домашних устройств.