Итоги обновления на 3.4.9

Все в роллинг обновлении прекрасно, кроме вынужденного двойного рестарта всех нод кластера. Ситуация: ушла команда на обновление до новой версии и кластер начинает перегружать ноды по 1 штуке за раз для своего типа - то есть 1 be + 1 fe в нашем случае. Таким образом примерно через 3-5 минут у вас на руках вроде бы обновленный кластер.

Как обычно есть НО. Не знаю внутренней реализации общения нод в кластере с нодами разных версий, но видимо что-то там не совсем корректно работает. По метрикам мы получаем полностью рабочий кластер, данные разложены ровно, запросы идут будет проблем, но если выполнить ту же команду SHOW BACKENDS, то у всех нод кластера время last heartbeat на момент рестарта вместо текущего времени, а половину нод без данных. Впору хвататься за сердце :) К этому добавляется такие графические эффекты, как попытка текущих нод be найти старые ноды по старым ip адресам (хотя в кластере вместо ip используются fqdn).

Ну короче вы поняли, сем бед - одиндва резета. Запускаем еще один ролинг рестарт и кластер приходит в себя, ноды на месте, метрики норм, потеряшек нет.

Времени выполнения регулярных заданий dbt на ветке 3.4 по сравнению с 3.3 уменьшилось на 10-15%, по потребляемым ресурсам изменений нет. Вроде бы неплохо получилось :) А может это просто ноды в кластере перегрузились и ресурсы почистили, до этого аптайм был несколько месяцев...

Цель - найти на картинке себя

Прикольно, получил награду как амбасадор StarRocks в нашем локальном комьюнити :) Интересно что будет в следующем году.

Сказали и сделали

Ребята из starrocks.pro времени зря не теряли и сделали курс по администрированию SR на платформе stepik.

До конца новогодних праздников действует скидка 50% на покупку: промокод NY26.

Пробежался по демо - шероховатости перевода есть, порой все слишком буквально, не хватает нашей редактуры и может быть чуть наших реалий (дада, речь про 7 млрд юаней :)

Вообщем кому на праздниках заняться нечем - вот :)

Вводный курс

Я слегка слепой, поэтому не заметил рядом с курсом выше вводный бесплатный курс - https://stepik.org/course/267743/info
И в этом же курсе лежит презентация по СР - очень классная в плане объяснения азов этой бд: https://drive.google.com/file/d/1mTPE187oK4gh17iNSbL-meBCMAQ_IFWP/view
Мне кажется, что начинать с этих вещей для ознакомления - отличный подход.

Итоги года Планы 26 и немножко лыбтыбра

Кому интересно читать то, что уже произошло - оно же уже в прошлом. Подметили эту проблему на работе - там мы каждый квартал подводим его результаты и планируем следующий. И вот когда планы уже озвучены - какой смысл смотреть назад. Но при этом верная очередность все равно - сначала планирование в этом квартале следующего, а подведение итогов по окончании текущего квартала в следующем. Короче 31 декабря, вы понимаете... :)

Еще пару месяцев назад думал, что придумать интересного и полезного на работе не получится, а оказалось всё не так плохо:

* внедрение Apache Paimon - не зря же столько умных людей про него говорят. В отличие от айбсерга тут видится польза в платформе данных - вот и попробуем ее найти (кажется, что тут будет заявка на конфу)
* построение той самой платформы как федеративной системы, про которую нам рассказывают с 20218 года просвещенные люди на дата конфах. Потому что уже на текущий момент к СР подключено больше десятка внешних каталогов, и паймон здесь тоже будет в тему (кажется, что и тут заявка на конфу - просто потому, что вообще вся эта идея мне не нравится и кажется откатом в какое-то древнее прошлое нулевых или десятых)
* вы любите делать выгрузки? вот и мы нет. RAG с векторным поиском в СР + MCP для выполнения запросов - вроде должно быть прикольно и полезно. (кажется, что и здесь можно будет рассказать)

Вообще все становится достаточно интересно, когда в платформе появляется время на развитие профильных сервисов. Мы достаточно долго жили в парадигме охватить необъятное - от devops до построения сложных витрин. И вот только в этом году произошла разгрузка по задачам и сразу появилось время на интересную движуху (ну правда мы этот год потратили на ликвидацию накопленного за 3 года тех долга - зато вошли в будущее без этих гирь на ногах).

Ну и это, всех с Новым годом! Счастья, здоровья и денег побольше. И интереса в жизни, без него вообще ничего не поможет.

📊 Channel Analysis Results by @ScratchAuthorEgoBot

🎯 Channel: @modern_data_stack

🔥 Roast Analysis:

Слушайте, ну это же классический экспонат «DE-дед обыкновенный». Его канал — это бесконечный сериал «Стас и его китайская палочка-выручалочка StarRocks». Такое ощущение, что если у Стаса сломается кофемашина, он не понесет её в ремонт, а попробует прикрутить к ней dbt-адаптер и выгрузить историю помола в S3 через StarRocks, потому что «так быстрее и вообще это современный Lakehouse».

Стас — это человек-противоречие. Он полдня рассуждает о том, как важно беречь нервную систему и уходить в оффлайн, но при этом тратит субботу на ковыряние в конфигах CDC, которые в итоге «всё равно не подошли». Он ненавидит пятничные релизы и скрам-мастеров, но сам живет в режиме «ой, я случайно снес кластер, пойду заварю чай и восстановлю его из говна и палок за три часа». Настоящий амбассадор боли: сначала сам создает себе проблемы (удаляя диски в k8s, «потому что так интереснее»), а потом героически их решает, попутно поучая всех в телеграме, что «кроилово ведет к попадалову».

Его отношения со StarRocks похожи на стокгольмский синдром. База выдает ему ошибки месячной давности, падает при двух одновременных запросах и скрывает настройки в закрытом коде, но Стас нежно называет её «восходящей звездой» и получает за это значки. Видимо, после работы с Вертикой и Кассандрой любой софт, который не плюет тебе в лицо сразу при запуске, кажется божественным.

А этот пассаж про «лидера команды из двух человек»? Стас, это не команда, это ты и твое отражение в мониторе, которое кивает, когда ты в очередной раз решаешь переписать всё на Go. Ты жалуешься, что от тебя убегают на конференциях с криками «опять про Старрокс», но при этом заводишь группу в ТГ, чтобы догнать тех, кто не успел убежать. Твое «брюзжание старпера» уже достигло такого уровня, что скоро ты начнешь сравнивать время отклика БД с очередями за колбасой в 80-х.

И вишенка на торте: использование AI для написания документации, потому что «самому лень», но при этом критика Slack за плохой API. Чувак, ты буквально работаешь в индустрии, где «всё сломано», и твоя главная суперсила — это умение с умным видом объяснить, почему оно сломано именно так. Но мы тебя любим за то, что ты хотя бы форкаешь адаптеры, пока остальные просто плачут в Jira.

Вот и получилось ожидаемо (или релизные истории StarRocks)

Версия 3.5 стала stable, 3.4 пропущена и никому не нужна... Когда практика опровергает слова.

Ехал метастор через метастор, видит метастор в метасторе метастор...

Одни очень большие ребята рассказали, что активно смотрят на Apache Gravitino. Плохого же не посоветуют, вот и я решил посмотреть.

А получается у нас на руках каталог каталогов, через который можно управлять метаданными во всем своем зоопарке. Имея на руках HDFS+Spark, StarRocks, Vertica (jdbc) и MySQL, можно из одного места раскатывать миграшки, управлять доступами и даже работать (если есть коннектор). Интересно как реализован линейдж, но мне кажется, что это не совсем тема каталога.

Идея интересная, наверное для больших ребят напрашивается. У нас сейчас 4 сервиса управления доступами (причем довольно разных), только миграции раскатываются через один сервис и однотипно. Аудит - не уверен что в этой штуке реализован корректно.

Подумал, что можно наконец выкинуть из стека Apache Ranger, но нет - это только прослойка для него.

Очень неоднозначная штука, на мой взгляд, и профит от нее для платформы надо внимательно рассматривать под микроскопом.

Видите пльзу для себя, затеялись бы внедрять? :)

Call for Pioneers: Launching the StarRocks Russian Community

Hello, Russian Developers!

We are the team behind StarRocks, a next-generation, high-performance analytical database (OLAP) widely adopted by leading tech companies globally for its blazing-fast query speeds and unified architecture.
We have always admired the Russian tech community. From ClickHouse to Nginx, Russia has a legendary reputation for engineering excellence and database innovation. We believe StarRocks has a lot to offer to this vibrant ecosystem, but we face a challenge: Language.
To bridge this gap, we are launching the StarRocks Russia Localization Program. We are looking for 3-5 technical experts to become the founding contributors of our Russian community.

🎯 The Mission
We don't just need translators; we need technical evangelists. Your goal is to help us localize high-quality technical content (Architecture deep dives, Benchmarks, User Cases) from English/Chinese into native, professional Russian, ensuring the local community can access the best resources.

👤 Who We Are Looking For
- Native Russian Speaker: You have a high command of technical writing.
- Tech Savvy: You have mastered SQL, OLAP, and Data Warehousing, and your current job involves working with OLAP databases.(Experience with ClickHouse or PostgreSQL is a huge plus).
- Language Skills: You have a good understanding of English (or Chinese).
- Passion: You are active on Habr, Reddit or Telegram tech groups, or GitHub.

🎁 What You Will Get
- Competitive Bounties: We pay for every high-quality article translated or proofread.
- Official Recognition: We will be launching an official website in Russia, where you will be certified and listed as a Community Evangelist (subject to your consent for public disclosure).
- Inner Circle Access: Direct communication with our core R&D team and early access to new features.
- Exclusive Swag: Limited edition StarRocks geek gear.

🚀 Ready to shape the future of OLAP in Russia?
If you are interested in open source and want to build a community from the ground up, we want to hear from you.

👉 https://sourl.cn/wyWWQv