Статья про детали работы (мониторинг и тюнинг) сетевого стэка Linux'а. В статье упор на взаимодействие различных частей ядра друг с другом.
http://blog.packagecloud.io/eng/2016/10/11/monitoring-tuning-linux-networking-stack-receiving-data-illustrated/
#linux #network #tuning #monitoring #hardcore

Brendan Gregg опубликовал в своем блоге серию постов про анализ задержек различных подсистем ядра при помощи BPF.
#brendangregg #performance #bpf

http://www.brendangregg.com/blog/2016-10-06/linux-bcc-ext4dist-ext4slower.html - ext4
http://www.brendangregg.com/blog/2016-10-04/linux-bcc-mysqld-qslower.html - mysql slow query
http://www.brendangregg.com/blog/2016-10-01/linux-bcc-security-capabilities.html - security capabilities
http://www.brendangregg.com/blog/2016-10-12/linux-bcc-nodejs-usdt.html - nodejshttp://www.brendangregg.com/blog/2016-10-15/linux-bcc-tcptop.html - tcptop
http://www.brendangregg.com/blog/2016-10-08/linux-bcc-runqlat.html - scheduler

AirBnB опубликовал статью о том как они столкнулись и решали проблему C10K в MySQL.
https://medium.com/airbnb-engineering/unlocking-horizontal-scalability-in-our-web-serving-tier-d907449cdbcf
#airbnb #mysql #c10k #performance

Продолжение цикла статей про параллельную репликацию MySQL от Booking. В новой статье речь идет о Optimistic Parallel Replication из состава MariaDB 10.1.
http://blog.booking.com/evaluating_mysql_parallel_replication_4-more_benchmarks_in_production.html
#booking.com #mysql #performance

Яндекс опубликовал серию докладов о своей инфраструктуре:
Краткое содержание:
https://youtu.be/9ANuWEZqCUg?t=592 - Рассказ про Яндексовый MapReduce
https://youtu.be/9ANuWEZqCUg?t=4454 - Рассказ про декларативный язык для MapReduce (и не только)
https://youtu.be/9ANuWEZqCUg?t=9401 - Рассказ про ClickHouse (теперь уже OpenSource база данных для различных задач в области Real-Time аналитики)
https://youtu.be/9ANuWEZqCUg?t=13555 - Storage в Яндексе (на примере архитектуры Яндекс.Диска).
#Yandex #ClickHouse #Infrastructure #Storage #MapReduce

Сегодня вышел Elastic Stack 5.0 (ES, Kibana, Logstash, ...)

Изменений очень много, проще пойти по ссылке и прочитать самостоятельно.

https://www.elastic.co/blog/elastic-stack-5-0-0-released
#elasticsearch #kibana

Facebook выложил видео с конференции Networking@Scale, проходившей в Бостоне.

https://code.facebook.com/posts/1709127516080157/networking-scale-boston/

#facebook #networking #network #video #videos

#github использует классический #mysql master-slave кластер в своих сервисах, как, наверное, и многие из наших читателей. Самое интересное в таких инсталляциях - файловер.
И у гитхаба для этого есть решение - опенсорсный, и, похоже, весьма интеллектуальный инструмент orchestrator.
http://githubengineering.com/orchestrator-github/

В новой версии #kubernetes 1.5 появилась поддержка Windows Server Container (легковесные контейнеры), Hyper-V, IIS и ASP.NET
#windows #containers
https://www.mirantis.com/blog/linux-windows-living-together-total-chaos-ok-kubernetes-1-5/

Стали доступны видео с конференции https://systemswe.love/

Данная конференция посвящена тому, как работают системы изнутри.

https://www.youtube.com/watch?v=TPe6UXMDMGM
#conference #videos #systems #engineering

JetBrains анонсировали IDE для golang под названием gogland

На текущий момент можно только попроситься в закрытое бета-тестирование.

https://www.jetbrains.com/go/
#golang #ide #jetbrains

Полезьная и простая в понимании статья про особенности работы современных сборщиков мусора в Java и Go. К сожалению, что касается Go статья не совсем точная (обсуждение неточностей в комментариях к статье).

https://medium.com/@octskyward/modern-garbage-collection-911ef4f8bd8e#.bd0lldopm
#golang #gc #java

Vimeo в своем блоге опубликовала статью о том, как они улучшали алгоритм балансировки нагрузки.

Статья в основном про инженерный подход и про то как дойти от чтения академических статей к патчу, принятому в апстриме крупного open-source проетка.

https://medium.com/vimeo-engineering-blog/improving-load-balancing-with-a-new-consistent-hashing-algorithm-9f1bd75709ed

#vimeo #consistenthash #ch #load #balancing #lb #haproxy #algorithms

В продолжении вчерашней ссылки про сборщик мусора в Go. Небольшое сравнение пауз сборки мусора в популярных языках (Go 1.7 + Head, Java 1.8.0 + G1, Haskell в реализации GHC 8.0.1, Racket 6.6, OCaml 4.03.0).

В статье также дается описание (с примерами) текущей схемы работы сборщика мусора в Go.

https://blog.pusher.com/golangs-real-time-gc-in-theory-and-practice/
#golang #gc #java #benchmark

И на закуску совсем сложный Proposal по улучшению механизма работы сборщика мусора в Go.

Proosal содержит много математики и подробностей о том, как разработчики Go собираются уменьшить количество stop-the-world случаев в Go 1.8 и 1.9.

https://github.com/golang/proposal/blob/master/design/17503-eliminate-rescan.md

#golang #gc #proposal #algorithms #hardcore

Facebook выложил в OpenSource свою in-memory time-series базу данных, основанную на концептах из Gorilla whitepaper.

Заявлена производительность более 1.5 млн точек в секунду.
Из коробки поддерживается интеграция с Grafana.

https://github.com/facebookincubator/beringei

#timeseries #tsdb #gorilla #facebook

Google опубликовал проект Grumpy, транслирующий python в Go. Пока он пока он находится на очень ранней стадии разработки, но уже позволяет транслировать некоторые программы. Также он позволяет использовать модули написанные на Go из питона.

https://opensource.googleblog.com/2017/01/grumpy-go-running-python.html?m=1

#golang #go #python #google

Опубликованы видео и аудиозаписи докладов с конференции LISA 16 (Large Installation System Administration).

Данная конференция является одной из старейших (проходит регулярно с 1986 года) и довольно крупных (ежегодно на нее приезжают тысячи слушателей и десятки докладчиков), поэтому практически каждый сможет найти там интересный для себя доклад.

Записи можно найти по ссылке:
https://www.usenix.org/conference/lisa16/conference-program
#LISA #videos #conference

Сказ о том, как GitHub заменил Redis на свой MySQL. Описаны как причины, так и последствия миграции.

http://githubengineering.com/moving-persistent-data-out-of-redis/
#github #redis #mysql

Тихо и незаметно, выложили видеозаписи с GrafanaCon 2016.

Данная мини-конференция была посвещена мониторингу и выходу grafana 4.0.

Посмотреть видео можно на официальном YouTube канале.
https://www.youtube.com/playlist?list=PLDGkOdUX1Ujp_6OnJ8M-t59eGPs0rZF4Q
#grafanacon #grafana #monitoring #videos