#devops #monitoring
Чувак заморочился и написал простенький anomaly detection на sql. Будет интересно почитать в образовательных целях, если не очень в ладах даже с школьной статистикой. На проде, я все-таки советую логи и телеметрию в скуль не писать))

📚 Камрады из vectorized.io зачастили постить годноту в своем блоге.

👇 На этот раз про то, как они сделали сторадж для Redpanda
https://vectorized.io/tpc-buffers

Котаны! В честь Hacktoberfest'а Дмитрий и Вероника запустили шикарный проект learn4haskell. Идея в том, что бы научиться основам хаскеля за 4 PR(ну и футболку, конечно же, урвать😂)
От себя добавлю, что хаскель -- идеальный кандидат на место первого функционального языка и мой код на мейнстримовых ЯП стал сильно лучше после изучения основ хаскеля

#msa
Тут товарищ Kislay Verma запостил артикль с чеклистом готовности к продакшену для микросервисов.
Имхо, не то что бы можно было прям брать и пользоваться, но для вдохновения при составлении своего чеклиста очень даже подходит
P.S. кстати, у чувака достаточно неплохой блог
UPD оказывается Mail.ru успел уже даже перевод на хабре сделать⬇️

Контрольный список для ревью кода в распределенных системах

Организации, которые используют микросервисную архитектуру, сталкиваются с распределенными сбоями. Перевели статью, автор которой несколько лет занимался обнаружением типовых сбоев в коде на продакшене. В ней — рекомендации по проверке кода, которые можно использовать в качестве базового контрольного списка.

#почитать

Мы в VictoriaMetrics наконец-то готовы представить vmanomaly - machine learning составляющую мониторинга VictoriaMetrics:
https://medium.com/@VictoriaMetrics/anomaly-detection-in-victoriametrics-9528538786a7

Kontra OWASP Top 10 is a collection of free interactive tutorials about most popular vulnerabilities and some recent security incidents. Beautiful, clickable, illustrative.

#data #spark #arch
Нашел тут у себя в закладках очень миленькую статью про внутренности спарка и hdfs. Очень совету почитать для тех кто интересуется распределенными системами

#management #sre
Подробный рассказ о процессе инцедент-менеджмента в Heroku. Артикль интересен тем, что у них свой процесс, достаточно сильно отличающийся от ITIL-based и от описанного в SRE book

#msa #arch
Очень хорошая статья про технические питфолы микросервисной архитектуры. Автор разбирает 4 челенджа: интеграцию и транзакционность, авторизацию, кроссервисные бизнес-процессы и версионирование + приводит кучу интересных ссылок на каждую тему.
Рекомендую просмотреть и походить по ссылкам (особенно тем кто уже разросся до масштабов нетфликса, вкрутил девопс и продуктовую разработку, лол)

#security
Кстати, тут коллеги очень интересную штуку откопали. Это протокол авторизации a-la OpenID, но позволяющий проверять claim на валидность без отправки самого клейма и остальных клеймов. Т.е. если один черножелтый ресурс просит вас подтвердить, что вам есть 18, то этот протокол позволит вам это сделать без отправки даты рождения и остальных данных

Оператор в #kubernetes для управления кластерами БД

https://habr.com/ru/post/523378/

https://youtu.be/z2aARjKDg4w

#k8s #clickhouse #kubernetesoperator #database #db #altinity

#sre #metrics
Котаны, откопал тут древний видос от Coda Hale про мониторинг. Если не смотрели, то очень рекомендую. Меня вот очень зацепила фраза со слайда: "If it could affect your code's business value, add a metric"

#sre #logging
Подробная(возможно даже чересчур) инструкция по настройке логгинг-стека Vector+Clickhouse

Хех, история в стиле помоги Даше найти хешсет)) Понадобился мне тут как-то хешсет в C# проекте, да не простой хешсет, а конкурентный! Ну, думаю, нам же выдали набор lockfree коллекций System.Collection.Concurrent, но, внезапно, нужного среди всяких ConcurrentQueue и ConcurrentDictionary не находится. Уже в предвкушении взял попкорна и колы и пошел на гитхаб.
И вуаля! Предлагают взять ConcurrentDictionary и просто не юзать второй элемент)) Современные проблемы требуют современных решений, хех))
З.Ы. после долгих обсуждений все-таки сделали пропозал

📄 Write code that is easy to delete, not easy to extend is a guide (an essay?) on when it's good to copy-paste a code and when it's not, when it's good to split a code by pieces and when it's better to keep all things together. These are hard questions but we should think and talk about it.

Одна из самых важных теорем в распределенных системах - C̶A̶P̶ FLP теорема.

Она строго доказывает, что невозможно достичь консенсуса, если:
🔸 Система асинхронна (что справедливо для реальных сетей)
🔸 Хоть один из узлов может отказать
🔸 Алгоритм детерминирован

И тут возникает вопрос - а как же алгоритмы консенсуса Paxos/Raft?

Paxos/Raft работают строго в рамках этой теоремы. У обоих алгоритмов существуют сценарии, при которых они не будут совершать прогресс, т.е. выбор одного значения на узлах никогда не завершится. Пофиксить это можно убрав какое-то условие из FLP, например детерминизм. Raft убирает детерменизм c помощью рандомных таймеров при выборе лидера, чтобы избегать таких сценариев.

Если вы вдруг придумали алгоритм консенсуса - найдите такое исполнение, при котором система не сможет совершать прогресс. Алгоритм консенсуса не может нарушать FLP теорему!

В общем, теорема не означает, что консенсус недостежим. Она лишь означает, что консенсус не всегда достежим/недостежим за детерминированное время. Это важно понимать.

#flp #theory

Маркетинг MongoDb бессмысленный и беспощадный