И второй пример доклада с SRECon - от Google, о том как они делают мониторинг и оповещения по Time Series данным

https://www.usenix.org/conference/srecon17americas/program/presentation/wilkinson
#srecon2k17 #srecon #monitoring #timeseries #alerting

Сегодня был выложен Graphite 1.0.0. С момента последнего minor релиза прошло более полутора лет разработки.

Главное в релизе:
1. Добавлено 30 новых математических функций
2. Новые форматы отображения данных (pdf, dygraph, rickshaw)
3. Новые параметры (pieLablels, hideXAxis, и т.п.)
4. Огромное количество исправленных ошибок
5. Переписан механизм кластеризации - теперь он использует пул воркеров и соединений
6. graphite-web поддерживает плагины для других хранилищ
7. carbon теперь поддерживает плагины для протоколов и хэширования.

Полный список нововведений и исправлений можно прочитать в документации:
https://graphite.readthedocs.io/en/latest/releases/1_0_0.html

#graphite

*Минутка саморекламы*

Сегодня вечером я буду рассказывать про то как мы готовим Graphite в Booking.com на посиделках hangops_ru. Посиделки состоятся в 9 вечера по московскому времени, участие бесплатное, все происходит в zoom конференции через интернет. Каверзные вопросы приветствуются!

Ссылка на событие в facebook: https://www.facebook.com/events/411422042554414/?ti=cl

#graphite

*Вторая минутка саморекламы*

Встреча начнется через 5 минут.
Напомню ссылку: https://t.me/devops_news/113

#graphite

Статья посвящена основным ошибкам людей при восприятии логов и логирования в целом. Некоторые моменты довольно очевидны, но в целом полезно знать про такие статьи, чтобы показывать тем, кто этого не знает.

https://honeycomb.io/blog/2017/04/lies-my-parents-told-me-about-logs/
#logging #lies

Мир полон лжи. Что делать, если то к чему ты привык оказалось неправдой? Автор данной статьи присмотрелся внимательно к такой казалось бы простой и очевидной вещи как CPU Utilization и понял что она на самом деле не соответствует действительности в современных системах.

Почему это так и что с этим делать - читайте в статье Brendan Gregg'а:
http://www.brendangregg.com/blog/2017-05-09/cpu-utilization-is-wrong.html

#performance #metrics #cpu

Старый, но тем не менее полезный доклад от одного из авторов RocksDB про базы данных.

Все хотят получить базу данных, из которой будет очень быстро читать, очень быстро писать, а еще желательно чтобы данные хранились очень компактно. Если кратко - можно получить только 2 из 3. Почему? Смотрите доклад.

https://www.youtube.com/watch?v=Hxj6g0sKu5A

#database #design #performance #efficient #facebook

Появились видеозаписи докладов с monitorama pdx 2017. Рекомендуется к просмотру всем кому не безразличен мониторинг и/или time series.

https://vimeo.com/channels/1255299
#monitorama #monitoring #video #tsdb #timeseries

Опубликованы видеозаписи докладов с SREcon 2017 Asia. Отдельно хотел бы обратить внимание на доклад Golang's Garbage про некоторые особенности работы сборщика мусора в Golang.

Список докладов со ссылками на видео можно найти на официальной странице конференции:
https://www.usenix.org/conference/srecon17asia/program

#srecon #videos #sre

Опубликованы видеозаписи с PromCon 2017.

https://www.youtube.com/watch?v=4Pr-z8-r1eo&list=PLoz-W_CUquUlnvoEBbqChb7A0ZEZsWSXt

Само рассписание можно найти тут: https://promcon.io/2017-munich/schedule/

#promcon #videos #prometheus #monitoring

Как потюнить веб-сервер? Казалось бы простой вопрос, но в ответ на него Alexey Ivanov (Dropbox) написал огромную и очень детальную статью, рассматривающую все возможные моменты тюнинга.

https://blogs.dropbox.com/tech/2017/09/optimizing-web-servers-for-high-throughput-and-low-latency/

#nginx #performance #tuning #dropbox

На случай, если кто то из подписчиков живёт около Берлина и интересуется Clickhouse'ом - 5ого октября состоится первый англоязычный clickhouse Meetup в Берлине.
Следующий ClickHouse Meetup состоится в Берлине, 5 октября. Участие бесплатное, но необходимо заранее зарегистрироваться: https://events.yandex.com/events/meetings/05-10-2017/register/

#clickhouse #meetup #berlin

Какая удобная и хорошая вещь — контейнеры. Но не для всех. Так, например, для мониторинга, которому надо "видеть всё", дополнительные границы — только лишние заботы.
О том как okmeter борется с контейнерами и про неочевидные моменты неймспейсов линукса — их статья на хабре.

#containers #docker #monitoring

https://habrahabr.ru/company/okmeter/blog/337964/

Перевод на русский язык статьи Алексея Иванова (Dropbox) про оптимизацию веб-сервера. Для тех кому проще все же на великом и могучем. Напомню, что статья полезна в принципе подходом к оптимизации и большая часть советов может быть перенесена на произвольное сетевое (и не только) приложение.

https://habrahabr.ru/company/badoo/blog/338226/

#nginx #performance #tuning #dropbox

Facebook в своем блоге опубликовал статью про миграцию с InnoDB на MyRocks. Даннный пост является текстовой версией их презентации на SRECon 2017 Asia. В посте рассказано про выигрышь от перехода в плане утилизации железа, а также показан сам процесс миграции.

Пост: https://code.facebook.com/posts/1478526992216557/migrating-a-database-from-innodb-to-myrocks/
Доклад с SRECon для тех, кто больше любит видео и презентацию: https://www.usenix.org/conference/srecon17asia/program/presentation/matsunobu

#facebook #mysql #innodb #rocksdb #myrocks

Слайды с нового доклада Brendan Gregg про анализ производительности в Linux.

https://www.slideshare.net/brendangregg/kernel-recipes-2017-performance-analysis-with-bpf

#performance #brendangregg #ebpf #bpf

Опубликованы видео с конференции Strange Loop, проходившей в конце сентября. Конференция посвящена всему вокруг технологий, распределенных систем и безопасности и т.п. Расписание конференций и краткие содержания докладов можно посмотреть тут: https://www.thestrangeloop.com/schedule.html

Плейлист с видео:
https://www.youtube.com/watch?v=0BC_FOIxgy4&list=PLcGKfGEEONaDzd0Hkn2f1talsTu1HLDYu

#videos #strangeloop

Статья о том, как GitHub борется с отстающими репликами MySQL. Для решения этой проблемы они создали распределённый масштабируемый сервис, throttle'ящий запросы к базе. Подробнее о подходе читайте в статье: https://githubengineering.com/mitigating-replication-lag-and-reducing-read-load-with-freno/

#github #mysql #throttling

Тихо и незаметно Kafka достигла версии 1.0

Подробности и список изменений по ссылке: https://www.confluent.io/blog/apache-kafka-goes-1-0/

#kafka

GitHub опубликовал чуть более подробную историю разработки их распределенной версии git'а. В целом в их подходе нет ничего революционного, просто удачно скомбинированные стандартные подходы.

Подробности: https://githubengineering.com/stretching-spokes/

#github #spokes #dgit #git #architecture #infrastructure

Громко и достаточно заметно вышел Prometheus 2.0. Основные новшества:
1. Переписан движок хранения данных, теперь он потребляет на 20-40% меньше CPU, и при этом на 33-50% компактнее. Также заявлена более консистентная скорость выполнения чтения.
2. staleness handling - теперь prometheus следит за исчезновением метрик по которым происходят алерты.
3. Remote Storage API откроет дорогу для создания полноценных long-term хранилищ для Prometheus и возможности создания плагинов для реализации, например, retention схем.
4. Формат конфигурации алертов теперь описывается в YAML.

Более подробно можно прочитать в официальном анонсе:
https://prometheus.io/blog/2017/11/08/announcing-prometheus-2-0/

#prometheus #monitoring #timeseries #tsdb #alerting