PostgreSQL 19 откладывается на ноябрь 
Новая версия должна была выйти в конце сентября/начале октября, но дату релиза сдвинули на 19 ноября. Также решили откатить почти 10 ранее анонсированных функций. Их перенесут, скорее всего, в PostgreSQL 20.

Почему так получилось, рассказал у себя в блоге один из главных контрибьюторов проекта Питер Айзентраут. Частично, конечно, в сложившейся ситуации можно обвинить человеческий фактор и банальные ошибки в коде, но повлияли и другие причины: 
🔵ИИ нашел множество багов — намного больше, чем тестировщики выловили бы своими силами. Среди них были и серьезные архитектурные дефекты, и пограничные случаи, которые постепенно всплывали бы на протяжении лет после релиза. Даже при том, что часть их починить относительно легко, в целом объем работы получился слишком большой.
🔵Vulnpocalypse («апокалипсис уязвимостей», найденных в софте благодаря ИИ) отвлек часть разработчиков от работы над Postgres. Из-за этого многие баги были обнаружены так поздно. Если бы у команды было больше времени и ресурсов, они могли исправить часть недочетов и, возможно, им не пришлось бы откатывать так много функций сразу. 

В общем, это был амбициозный релиз, который подвел неудачный тайминг. Но несмотря на эти сложности PostgreSQL 19 обещает быть интересным и привнесет несколько интересных новшеств — пусть и меньше, чем планировалось изначально (pg_plan_advice, кстати не порезали!).

Clickhouse на больших объемах данных: опыт основателя Tinybird
Tinybird — аналитическая платформа для разработчиков. Один из ее создателей поделился опытом, как он развернул и 5 лет поддерживал кластер Clickhouse, где хранились и обрабатывались петабайты данных, и не сошел с ума. 

В двух постах (первый, второй) он рассказал про архитектуру, хранение и загрузку данных, обновление и тестирование. 

Несколько любопытных мыслей:
🔵Традиционный подход к работе с большими данными предполагает деление кластера на шарды, но автор считает, что с этим лучше не спешить и не усложнять архитектуру. Tinybirds долго обходились без шардирования: увеличивали мощность отдельных серверов и добавляли реплики, когда росла нагрузка. 

🔵ClickHouse поддерживает zero-copy replication: реплики могут обращаться к данным, которые хранятся в других репликах, не копируя их. Хотя это экономит место в хранилище, в опен-сорсном ClickHouse этот подход реализован не слишком удачно и часто приводит к ошибкам или потере данных. Tinybird используют модифицированный вариант zero-copy replication, который разработали сами. Всем остальным автор рекомендует следить за сохранностью данных либо выбрать другой подход к хранению.

🔵Чтобы научиться обновлять кластер без критических ошибок, потери данных и падения производительности, команде проекта понадобилось 4 года. Это сложный процесс, который за один раз не построишь.

🔵Чтобы эффективно использовать ClickHouse (и заодно избежать неприятных сюрпризов во время обновления), надо читать исходный код.

Согласны с его выводами? 👀

20 лет отношений через призму данных
Если бы вам нужно было на графиках отобразить свою жизнь, как бы выглядел ваш дашборд? 

В этом посте от 2014 года автор показывает жизнь как таблицу, где каждая клеточка — это год, месяц или неделя. Пост старй, вы наверняка видели раньше эти таблички хотя бы раз. Один разработчик и инженер тоже их видел, и они ему не понравились. Он решил сделать свою версию, отражающую не число прожитых дней, а то, чем они были наполнены: эмоциями и общением с людьми.

🔵Он собрал историю чатов и активности из разных соцсетей и мессенджеров за 20 лет, очистил от совсем уж бессмысленных сообщений и классифицировал: с кем разговаривал, о чем, какая была эмоциональная окраска у диалога. С классификацией помогали LLM, но даже с их участием работы было много.
🔵Данные вывел на графики, по которым стало видно, как эволюционировали отношения с разными людьми: снижалась или росла частота сообщений, менялось фоновое настроение и даже словарный запас. У близких людей он часто похожий за счет общих интересов, шуток и выражений, которые в ходу в их круге общения. Но если они отдаляются со временем, то и словарный запас меняется и в нем становится меньше пересечений. 
🔵Частота, длина и содержание сообщений тоже отражают изменения в отношениях Например, с одним другом формат общения перешел от постоянных коротких переписок в течение дня к редким, но более содержательным диалогам несколько раз в месяц.

Зачем это все было надо? 
Во-первых, это было интересный челлендж — структурировать 1.2 млн сообщений из нескольких разных источников. 

Во-вторых, это была возможность не только посмотреть на свои отношения с людьми за 20 лет, но и на себя в них — например, автор заметил, что он любит давать советы.

Ну а в-третьих, это показало, из чего на самом деле складывается жизнь, кроме стандартной череды событий «родился, учился, женился». 

Стали бы так заморачиватся? Какие метрики и данные вы выбрали бы для себя — тоже отношения или что-нибудь другое?

Как SQLite учили работать в распределенных системах
SQLite — пример для нас всех. Это маленькая и легкая СУБД, которая создавалась изначально для небольших проектов и мобильных приложений, но потенциал у нее огромный и использовать ее можно где угодно, было бы желание. 

Например, в распределенных системах. Автор rqlite вспомнил, как создал свой проект и что было после него. 
🔵В 2014 году ему понадобилось создать небольшое реляционное хранилище для кластерной системы. Он решил взять SQLite и прикрутить к ней протокол консенсуса Raft. В это системе В кластере был лидер, через которого новые записи принимались и реплицировались на остальные узлы. Запись должно было принять большинство, если какой-то узел не мог этого сделать, он изолировался. Так появился rqlite — один из первых проектов такого плана, но не последний. 
🔵В 2017 компания Canonical разработала dqlite. Задача была похожей, а главное отличие было в способе использования. Если rqlite — это самостоятельный сервер БД, который запускается вместе с приложением, то dqlite — это встраиваемая библиотека.
🔵В 2021 году Litestream выбрали другой подход: не пытаться превратить SQLite в полноценную распределенную базу, а найти способ восстановить данные, если сервер выйдет из строя. Их решение — сохранять WAL SQLite в Amazon S3. 
🔵В 2022 появилась cr-sqlite, где записи независимо вносятся на несколько узлов, а потом синхронизируются. В libSQL разработчики вообще переписали движок СУБД и за счет этого сильно расширили функционал. Из этого проекта потом выросла Turso, которую купили Supabase. 
🔵Логичным следующим этапом стали облачные сервисы — например, Cloudflare D1.

В итоге можно сделать два ключевых вывода:
🔵Нет единого правильного способа создать распределенную систему. Подход зависит от задач и главной проблемы, которую вы хотите решить: например, обеспечить надежность, как в rqlite, или быстрое восстановление, как сделали Litestream.  
🔵За 12 лет проекты с распределенной SQLite прошли путь от open source-решений до платных облачных сервисов от больших корпораций. Видимо, это неизбежно происходит со всеми идеями в IT.

Датавиз и классовое неравенство 
Разница между состоянием какого-нибудь Джеффа Безоса и обычного человека со средней зарплатой настолько огромна, что словами ее передать не получается. Зато можно попробовать это сделать с помощью датаиза. 

Депрессивные визуализации все растущего разрыва между богатыми и бедными — это неустаревающая классика. Инфографик на эту тему уже немало и рисовать не перестанут, наверное, никогда, но смотреть на них всегда интересно.

🔜 Сайт dreamagainusa — очередной пример, который показывает, как недостижимо далек даже относительно успешный и состоятельный американец от настоящего богатства. Чтобы увидеть вершину графика, где расположился 1% самых богатых людей страны, придется долго и упорно скроллить наверх — за это время как раз можно прочувствовать всю несправедливость этого разрыва.

Разыгрываем 3 билета на Матемаркетинг’26!
🔵 Как ИИ меняет работу аналитиков, маркетологов и продактов?
🔵 Как посчитать, сколько людей на самом деле используют ИИ в работе в вашей компании?
🔵 Как контролировать и проверять работу ИИ и можно ли ему вообще доверять?

Эти и другие вопросы обсудят на Матемаркетинге’26. Это одна из крупнейших технических конференций для аналитиков, продактов и маркетологов в РФ. В этом году посетителей ждут 100+ докладов, мастер-классов и разборов кейсов от спикеров из VK, Avito Tech, Сбера, Magnit Tech, ИТ-холдинга Т1, UIS, Лемана Тех, UX Rocket и других компаний.

Конференция пройдет 26 и 27 ноября в Москве, онлайн-день — 17 ноября. Подробности смотрите на сайте.

🔜 Билеты уже в продаже, но у вас есть шанс попасть на Матемаркетинг’26 бесплатно! Мы разыгрываем 3 билета — 2 онлайн и 1 офлайн для тех, кто в эти даты будет в Москве.

Чтобы принять участие, надо подписаться на канал и написать комментарий под этим постом: «Хочу онлайн-доступ» или «Хочу офлайн-билет» + рассказать, какие темы докладов вам наиболее интересны. 6 ноября мы выберем победителей с помощью рандомайзера.

OccupySaaS: протест инженеров против ИТ-индустрии
Дискуссия про отнимающий работу ИИ получила неожиданное (или, наоборот, вполне ожидаемое?) развитие: уволенные инженеры скооперировались и начали делать опен-сорсные аналоги популярных платформ. Они собирают данные из публичных документов, на их основе ИИ-агенты пишут код, который затем оценивают и тестируют люди. 

Команда проекта подчеркивает, что они не декомпилируют чужой софт, а все делают с нуля по принципу clean room. Даже если к разработке присоединяются бывшие сотрудники компаний, для чьих продуктов OccupySaaS создает аналог, они должны опираться только на данные из открытых источников, а не сливать корпоративные тайны.

Продуктов у команды пока только два, оба на ранней стадии разработки: 
🔵Zero Authy — open-source-аналог Auth0. 
🔵Sales Compel — open-source-аналог Salesforce. 

OccupySaaS уже присматриваются к следующим жертвам: на очереди корпоративные вики, трекеры заданий и системы мониторинга.  Для разработки им всегда нужны руки, так что если вам близка миссия проекта, вы тоже можете к нему присоединиться и делать бесплатный народный SaaS. 

Как вам эта идея? 👀

ИИ без страха: пять дней, чтобы сделать первые шаги
Glowbyte вместе с DataYoga приглашают на бесплатный онлайн-марафон об адаптации к ИИ в российских компаниях.

ИИ берёт на себя рутину, и роли меняются. Аналитикам важнее ставить задачи и проверять результаты, руководителям важнее ориентироваться в сценариях, рисках и сопротивлении сотрудников. На марафоне разберут, как в этом не потеряться.

9–13 ноября, онлайн. Каждый день: одна тема, эфир с экспертами из российских компаний-лидеров, которые уже работают с ИИ, и материалы на страницах марафона: практика, шаблоны и чек-листы.

Вы узнаете:
🔵какие задачи стоит отдавать ИИ, а какие требуют других решений;
🔵как отличать убедительный ответ ИИ от проверенного результата;
🔵на каком этапе находится ваша организация;
🔵какие компетенции усиливаются в эпоху ИИ.

Ждут всех: и руководителей, и специалистов, и увлечённых. Программа и регистрация: https://clck.ru/3WcU6z

Напоминаем про две важных вещи:
1️⃣ 26-27 ноября пройдет Матемаркетинг — конференция по маркетинговой и продуктовой аналитике. 2000+ участников, 100+ докладов про данные, метрики, инжиниринг и искусственный интеллект.
2️⃣ Вы можете попасть туда (или посмотреть прямой эфир онлайн) бесплатно, если примете участие в нашем розыгрыше. Условия — в посте. Итоги подводим уже в эту пятницу.

Что нового в Apache Airflow 3.4.0?
В конце прошлой недели Apache выкатили новую версию Airflow, где представили несколько интересных изменений:
1️⃣Появилась нативная поддержка циклов — Task Loops, которые могут повторяться либо до выполнения определенного условия, либо некое заранее заданное максимальное число итераций. Каждая итерация строится на результатах предыдущей.

Прежде чем двигаться дальше, стоит прояснить один момент: «Как в DAG могут быть циклы, если DAG — это Directed Acyclic Graph (направленный ациклический граф)?» Ответ: очень осторожно.
По сути, никаких циклических зависимостей не возникает, задачи внутри DAG по-прежнему образуют граф без циклов. Повторение задач реализуется исключительно во время выполнения.

2️⃣DAG’и теперь можно писать не только на Python, но и на TypeScript, Java, Go и YAML. В оригинальном посте есть пример одного DAG’а на разных языках.

Отдельно стоит выделить поддержку YAML. Она позволит писать простые, короткие, декларативные схемы без кода, которые Airflow валидирует и превращает в полноценные DAG'и.

3️⃣LLM и ИИ-агентов можно запускать как обычные задачи Airflow и подключать к БД, объектным хранилищам, различным инструментам. Они могут работать автономно, но перед особо важными шагами отправлять задачу в awaiting_input и ждать одобрения. Человек все еще в контуре.

А вы работаете с Airflow? Как вам новая версия?