DigitalOcean выложила на GitHub код своей системы мониторинга, совместимой с API Prometheus. Она позиционируется как замена, рассчитанная на длительное хранение метрик. Правда пока что она имеет статус эксперементальной.
https://github.com/digitalocean/vulcan

#prometheus #metrics #digitalocean #monitoring

Неофициальный список статей, которые Google рекомендует к прочтению новопришедшим SRE. Он не специфичен для Google, но весомая часть - ссылки на исследования самого гугла. Полезно ознакомится, если вы хотите лучше понять чем занимаются крупные компании, что такое SRE и так далее:
http://larrr.com/spisok-rekomenduemyh-k-prochteniyu-statej-ot-google/

В современном мире все большую и большую роль играет доступность сервисов. Если раньше хватало обычного fail over, то последние крупные сбои в информационных системах авиакомпаний показали, что этого становится мало. Эта статья о подходе, который Google называет native multihomed architecture, который позволит выдерживать даже полный выход из строя одного из дата центров.
http://highscalability.com/blog/2016/8/23/the-always-on-architecture-moving-beyond-legacy-disaster-rec.html

#architecture #failover #highavailability #ha

Тихо и незаметно, без лишнего шума, Яндекс выложил свой Mongo Sharing server под названием Mongoz. Заявляется, что в отличии от официального, Mongoz хорошо работает в условиях не идеальной сети ценой небольшого снижения гарантий консистентности.
https://github.com/yandex/mongoz

Анонс от автора: https://m.facebook.com/dmitry.prokoptsev/posts/565674550307006

#mongo #highavailability #ha #scalability #sharding

#mailru #Tarantool #highavailability #ha #scalability #nosql #architecture
https://habrahabr.ru/company/mailru/blog/307424/

#facebook рассказал о том, как он готовит конфигурацию сети.
Система называется #Robotron, она генерирует конфиги для сетевых устройств из темплейтов Django, деплоит, в том числе инкрементально, сравнивает метрики после апдейта с референсными, мониторит и т.д.
По ссылке целый PDF
https://goo.gl/hnzU7Y

Аналог #AWS Lambda (платформы облачных вычислений), но OpenSource and Self-Hosted
Внутри #docker, #nginx, #python
http://www.open-lambda.org/doc.htm

Facebook скрестил ужа с ежом и получил MySQL совместимую базу с движком RocksDB и назвал ее MyRocks. Насколько это хорошо работает? Ответ в блог посте:
https://code.facebook.com/posts/190251048047090/myrocks-a-space-and-write-optimized-mysql-database/
#facebook #rocksdb #mysql #highload #highavailability #hl #ha

#netflix рассказал о архитектуре и кейсах использования своей open-source системы тестирования облачных систем хранения Netflix Data Benchmark
#cloud #aws #Benchmarking
http://techblog.netflix.com/2016/09/netflix-data-benchmark-benchmarking.html

Bouke van der Bijl в своем блоге привел Proof of concept атаки на локальные базы данных, запущенные на компьютерах разработчиков и доступные по http, например #redis, #memcached или #elasticsearch с использованием вебсайта в интернете и DNS-записи с маленьким TTL
#PoC #hack
http://bouk.co/blog/hacking-developers/

На хабре перевод майской статьи о GitLab Container Registry - реестре образов Docker, интегрированом в GitLab
#GitLab #docker #automation #CI
https://habrahabr.ru/company/softmart/blog/309102/

Пару недель назад Amazon анонсировал #aws ALB - Application Load Balancer, балансировщик нагрузки для контейнеров и микросервисов.
Подробный обзор возможностей by Convox по ссылке
#containers #architecture #microservices #aws_alb
https://convox.com/blog/alb/

С появлением #AWS #Lambda появились последователи так называемого serverless-подхода. Вместо аренды виртуальных машин, почему бы не абстрагироваться полностью от ОС и не писать приложение для AWS Lambda? Это может в некоторых случаях позволить полностью сосредоточиться на разработке непосредственно кода.
https://gojko.net/2016/08/27/serverless.html
#serverless #aws #lambda

В данной статье рассказыватеся о событиях, влияющих на несколько баз данных. Их сложно распознать и они могут стать серьезной проблемой при построении архитектуры сервиса. Казалось бы работавший многие месяцы код может в один момент привести к проблемам, когда системе не удастся изменить данные во всех необходимых базах. Один из подходов к решению данной проблемы описан в данной статье.
http://www.grahamlea.com/2016/08/distributed-transactions-microservices-icebergs/
#architecture #transactions #consistency

На днях Facebook поделился опытом эксплуатации Apache Spark на 60+ ТБ сжатых массивах данных. Статья посвящена проблемам с которыми они столкнулись и методам их решения.
https://databricks.com/blog/2016/08/31/apache-spark-scale-a-60-tb-production-use-case.html
#spark #bigdata #facebook

На github'е SoundCloud обнаружилось небольшой gem, призванное помочь обновлять структуры данных больших Ruby on Rails приложениях при обновлении версий. Данный модуль позволяет мигрировать данные без использования alter. Подход чем-то похож на таковой у Facebook и может быть полезен даже в отрыве от Ruby.
https://github.com/soundcloud/lhm
#mysql #ruby #ror #migration #soundcloud

GitHub опубликовал немного подробностей о устройстве своего Distributed git (Spokes). Статья фокусируется на доступности сервиса и средствах восстановления после инцидентов.
http://githubengineering.com/building-resilience-in-spokes/

#github #highavailability #ha #git #dgit #spokes

Серия блог-постов, рассказывающая о статистике на примере котиков.
http://www.statcats.ru/p/blog-page_29.html

Yahoo выложил в OpenSource систему доставки сообщений Pulsar. Она создавалась как горизонтально-масштабируемая альтернатива Kafk'е для близкого к Real-Time применения (99% процентиль задержки доставки сообщения должен быть меньше 5мс).
Внутри самой Yahoo инсталяция Pulsar передает более 100 млрд сообщений в день по более чем 1.4 млн топиков со средней задержкой 5мс.
http://siliconangle.com/blog/2016/09/08/yahoo-open-sources-pulsar-a-low-latency-alternative-to-apache-kafka/
#messagequeue #yahoo #messages #queues #kafka #pulsar

Организация доступа через ssh может оказаться не такой тривиально задачей, особенно в большой компании. Facebook опубликовал статью о том, как они решают проблему доступов у себя без использования LDAP авторизации.
https://code.facebook.com/posts/365787980419535/scalable-and-secure-access-with-ssh/