🍴 Milvus индексирует озеро без копирования данных

29 июля вышел Milvus 3.0 с внешними коллекциями. Векторная база оставляет исходные данные в Parquet, Lance, Iceberg или Vortex на объектном хранилище, но строит поверх них собственные векторные, полнотекстовые, JSON- и скалярные индексы.

Для инженеров это убирает вторую копию терабайтов эмбеддингов и ETL-конвейер для её синхронизации. При добавлении колонок Milvus может обновить только затронутые сегменты, не перестраивая всю коллекцию.

Ограничения: внешние коллекции доступны только для чтения, требуют Storage V3 и обновляются через отдельную операцию refresh.

#milvus #vectorsearch #lakehouse #apacheiceberg #parquet #dataengineering #zerocopy

@data_engi

🦜 GPT‑5.6 Sol разогнали до 750 токенов в секунду

OpenAI показала режим Ultrafast: GPT‑5.6 Sol работает до 14 раз быстрее стандартного режима без замены на упрощённую модель. Ускорение обеспечивает инфраструктура Cerebras.
7
Для тебя это открывает новый класс приложений: голосовые агенты без долгих пауз, анализ логов во время инцидента и сложные цепочки инструментов в реальном времени.

Пока Ultrafast доступен только ограниченному числу клиентов — цены и сроки общего запуска не объявлены.

Пруф: официальный анонс OpenAI от 13 августа 2026 года

#ai #llm #openai #inference #cerebras #infrastructure
@data_engi

🥺 Claude начнёт ставить водяные знаки на тексты

Anthropic объявила 14 августа, что будущие модели Claude будут незаметно маркировать ответы по всему миру. Никаких скрытых символов: модель оставляет статистический узор, выбирая слова с помощью секретного ключа. Дополнительные токены не расходуются.

Anthropic готовит API для проверки таких текстов. Но тебе нельзя считать его детектором истины: короткие фрагменты, код и слегка отредактированный человеком текст определяются плохо. Знак показывает лишь вероятность участия Claude, а не авторство конкретного человека.

Изменение вводят для выполнения требований закона ЕС об ИИ, но распространят сразу на весь мир.

Пруф: официальный разбор Anthropic от 14 августа 2026 года

#ai #claude #llm #watermarking #aigovernance #anthropic

@data_engi

😵‍💫 Одна и та же модель стала почти втрое умнее благодаря обвязке

В тесте OpenAI GPT‑5.6 Sol набрала на ARC‑AGI‑3 всего 13,3% со стандартной архитектурой агента. После сохранения рассуждений между шагами и сжатия длинного контекста результат вырос до 38,3% — при этом выходных токенов потребовалось примерно в шесть раз меньше.

Для тебя вывод простой: качество агента определяется не только моделью. Грамотное управление памятью и контекстом может дать больший эффект, чем очередная замена LLM.

Пруф: технический разбор OpenAI от 13 августа 2026 года

#ai #aiagents #llm #contextmanagement #agentarchitecture #evaluation

@data_engi

⭐️ OpenAI вынесла обвязку AI-агентов из контекста модели

13 августа OpenAI представила Programmatic Tool Calling. Теперь GPT‑5.6 может написать JavaScript, который параллельно вызывает инструменты, фильтрует и объединяет их ответы в изолированном V8-рантайме. Промежуточные данные при этом не забивают контекст модели.

Тебе это пригодится в агентах, которые обрабатывают много документов, API-ответов или результатов поиска. Детерминированную работу выполняет код, а LLM получает уже компактные данные и занимается только тем, где действительно нужно рассуждение. В одном из производственных тестов такой подход сохранил качество и сократил расход входных токенов на 21%.

Пруфы:
🔘документация
🔘гайд OpenAI

#aiagents #llm #toolcalling #javascript #openai #agenticai
@data_engi

👩‍💻 ClickHouse перестал превращать колонки в строки по дороге к приложению

ClickHouse выпустил официальный драйвер ADBC — колоночную альтернативу JDBC и ODBC. Результаты запросов передаются сразу пакетами Apache Arrow: без промежуточного преобразования колонок в строки и обратной сборки для pandas, Polars или dbt Fusion.

Один драйвер на Rust работает через общую ADBC-прослойку в разных языках, включая Python, R, Ruby и C. Он также поддерживает потоковую загрузку Arrow-пакетов с постоянным потреблением памяти.

Для инженеров это меньше преобразований, копирования данных и отдельных драйверов. Но версия пока ранняя — 0.1.0; автоматическое создание таблиц, просмотр каталогов и полноценная передача JSON ещё не готовы.

#clickhouse #apachearrow #adbc #dataengineering #columnar #dbtfusion

@data_engi

😍 Iceberg-каталог теперь сам решает, какие файлы читать

Раньше каждый клиент Iceberg загружал списки манифестов и сами манифесты, а затем локально вычислял набор файлов для запроса. На больших таблицах это нагружало сеть и память драйвера Spark.

В Iceberg 1.11 REST-каталог может выполнить планирование на сервере и потоково вернуть только готовые задачи чтения. Механизм также охватывает инкрементальные запросы Structured Streaming и служебные таблицы history и snapshots.

Для инженеров это меньше метаданных на клиентах и возможность централизованно улучшать планирование без изменений в движках. Но REST-каталог и клиент должны поддерживать новый протокол.

#apacheiceberg #lakehouse #restcatalog #apachespark #structuredstreaming #dataengineering

@data_engi

⭐️ В Spark меньше executors иногда означает быстрее и дешевле

AWS сравнила два кластера EMR Serverless с одинаковыми 192 vCPU: 6 крупных executors по 32 vCPU против 48 небольших по 4 vCPU.

На 126 запросах TPC-DS и TPC-H крупные workers с оптимизированными под shuffle дисками оказались в среднем на 29% быстрее и дешевле. Один executor получал данные только от 5 удалённых источников вместо 47 — меньше сетевой координации, удалённых чтений и spill на диск.

Для инженеров вывод неочевидный: при тяжёлых join, groupBy и repartition увеличение числа executors может мешать. Но для обычного I/O без большого shuffle множество небольших workers всё ещё способно дать больше параллелизма.

Источник: AWS Big Data Blog — 29 июля 2026 года

#apachespark #amazonemr #shuffle #dataengineering #distributedcomputing #performance

@data_engi

👻AI-агенты перепроверили треть работ ICML 2026

Более 1200 участников с помощью Codex, Claude Code, Cursor и других агентов попытались воспроизвести 2226 научных работ — около 34% всей конференции. Код, результаты и трассы запусков публиковались открыто.

Только 266 работ удалось воспроизвести полностью. У 23% проверенных публикаций хотя бы один вывод был опровергнут или оспорен. Но и агенты ошибались: одна громкая «находка» оказалась обычным сравнением времени одной операции со временем пакета из 50.

Для тебя вывод практический: агент хорошо масштабирует проверку кода и экспериментов, но его вердикт тоже нужно перепроверять. Лучшие результаты получились там, где человек управлял направлением исследования и проверял спорные выводы.

Пруф: отчёт Hugging Face от 13 августа 2026 года

#aiagents #machinelearning #research #reproducibility #icml #aievals

@data_engi

🏯 Как старейшая семейная фирма мира пережила 1428 лет — и не пережила кредитов

В 578 году японский принц Сётоку пригласил из корейского государства Пэкче трёх мастеров для строительства буддийского храма Ситэнно-дзи. Один из них, Конго Сигэмицу, остался в Осаке и положил начало династии храмовых плотников Конго.

Так появилась Kongō Gumi.

Разумеется, в VI веке это не была компания в современном юридическом смысле: акционерным обществом она стала лишь в 1955 году. Но семейная мастерская непрерывно передавала имя, знания и заказы из поколения в поколение. Сохранившаяся трёхметровая родословная прослеживает десятки её руководителей.

Главным заказчиком оставался Ситэнно-дзи. Храм горел во время войн, страдал от молний и тайфунов — а мастера Конго раз за разом его восстанавливали.

Фирма пережила падение сёгунатов, финансовый кризис 1927 года и государственную борьбу с буддизмом после реставрации Мэйдзи. В 1868 году храм лишился земель и возможности содержать своих плотников, поэтому Конго пришлось искать заказы по всей стране и осваивать обычное строительство.

В 1932 году положение стало настолько тяжёлым, что 37-й глава семьи Конго Харуйти покончил с собой у могил предков. Руководство приняла его вдова Ёсиэ — первая женщина во главе фирмы. Через два года тайфун разрушил пятиэтажную пагоду Ситэнно-дзи, и именно её мастерской поручили восстановление.

Во время Второй мировой войны храмовые заказы почти исчезли. Компания выжила, изготавливая деревянные ящики для армии. После войны она научилась сочетать традиционную древесину с железобетоном и занялась жилыми и служебными зданиями.

Но самая опасная перестройка началась в 1980-х. Фирма вкладывалась в недвижимость и расширяла обычное строительство. Затем японский пузырь лопнул, стоимость активов упала, храмовых заказов стало меньше, а конкуренция усилилась.

В 1999 году выручка Kongō Gumi достигала 13,055 миллиарда иен. К 2004-му она сократилась до 5,847 миллиарда, а проценты по долгам продолжали накапливаться.

В 2005 году фирму пришлось спасать строительной группе Takamatsu. В январе 2006-го храмовое дело, работников и мастеров передали новой компании с тем же именем. Старая организация превратилась в KJ Construction и 13 июля подала заявление о банкротстве. Её долг составлял около 4 миллиардов иен.

Независимое семейное предприятие закончилось после 1428 лет работы. Однако ремесло не исчезло: Kongō Gumi до сих пор строит и восстанавливает храмы как дочерняя компания Takamatsu.

Мастера умели заменять сгнившую балку так, чтобы храм простоял ещё столетие. С испорченным балансом пришлось поступить точно так же — удалить компанию, сохранив конструкцию.

Пруфы:
🔘официальная история Kongō Gumi
🔘отчёт Teikoku Databank о банкротстве и долге
🔘исследование семейного предприятия INSEAD
🔘разбор истории, преемственности и причин кризиса

#историябизнеса #япония #семейныйбизнес #конгогуми #экономическаяистория

@data_engi