Тем временем Dropbox использует, неожиданно, Elasticsearch и Kafka для мониторинга своей сети (в реальном времени!).
Описание этого неожиданного решения находится в их блоге.
https://blogs.dropbox.com/tech/2016/10/netflash-tracking-dropbox-network-traffic-in-real-time-with-elasticsearch/
#dropbox #monitoring #elasticsearch

Довольно глубокая статья (пусть и немного старая) описывающая работу механизма кэширования в PostgreSQL.
https://madusudanan.com/blog/understanding-postgres-caching-in-depth/

Глава из бета-версии книги "Development&Deployment of Multiplayer Online Games" посвященная базам данных. Если быть конкретнее, этот отрывок посвящен ACID транзакциям, уровням изоляции и блокировкам.
http://ithare.com/databases-101-acid-mvcc-vs-locks-transaction-isolation-levels-and-concurrency/
#databases #acid #concurency

Статья про детали работы (мониторинг и тюнинг) сетевого стэка Linux'а. В статье упор на взаимодействие различных частей ядра друг с другом.
http://blog.packagecloud.io/eng/2016/10/11/monitoring-tuning-linux-networking-stack-receiving-data-illustrated/
#linux #network #tuning #monitoring #hardcore

Brendan Gregg опубликовал в своем блоге серию постов про анализ задержек различных подсистем ядра при помощи BPF.
#brendangregg #performance #bpf

http://www.brendangregg.com/blog/2016-10-06/linux-bcc-ext4dist-ext4slower.html - ext4
http://www.brendangregg.com/blog/2016-10-04/linux-bcc-mysqld-qslower.html - mysql slow query
http://www.brendangregg.com/blog/2016-10-01/linux-bcc-security-capabilities.html - security capabilities
http://www.brendangregg.com/blog/2016-10-12/linux-bcc-nodejs-usdt.html - nodejshttp://www.brendangregg.com/blog/2016-10-15/linux-bcc-tcptop.html - tcptop
http://www.brendangregg.com/blog/2016-10-08/linux-bcc-runqlat.html - scheduler

AirBnB опубликовал статью о том как они столкнулись и решали проблему C10K в MySQL.
https://medium.com/airbnb-engineering/unlocking-horizontal-scalability-in-our-web-serving-tier-d907449cdbcf
#airbnb #mysql #c10k #performance

Продолжение цикла статей про параллельную репликацию MySQL от Booking. В новой статье речь идет о Optimistic Parallel Replication из состава MariaDB 10.1.
http://blog.booking.com/evaluating_mysql_parallel_replication_4-more_benchmarks_in_production.html
#booking.com #mysql #performance

Яндекс опубликовал серию докладов о своей инфраструктуре:
Краткое содержание:
https://youtu.be/9ANuWEZqCUg?t=592 - Рассказ про Яндексовый MapReduce
https://youtu.be/9ANuWEZqCUg?t=4454 - Рассказ про декларативный язык для MapReduce (и не только)
https://youtu.be/9ANuWEZqCUg?t=9401 - Рассказ про ClickHouse (теперь уже OpenSource база данных для различных задач в области Real-Time аналитики)
https://youtu.be/9ANuWEZqCUg?t=13555 - Storage в Яндексе (на примере архитектуры Яндекс.Диска).
#Yandex #ClickHouse #Infrastructure #Storage #MapReduce

Сегодня вышел Elastic Stack 5.0 (ES, Kibana, Logstash, ...)

Изменений очень много, проще пойти по ссылке и прочитать самостоятельно.

https://www.elastic.co/blog/elastic-stack-5-0-0-released
#elasticsearch #kibana

Facebook выложил видео с конференции Networking@Scale, проходившей в Бостоне.

https://code.facebook.com/posts/1709127516080157/networking-scale-boston/

#facebook #networking #network #video #videos

#github использует классический #mysql master-slave кластер в своих сервисах, как, наверное, и многие из наших читателей. Самое интересное в таких инсталляциях - файловер.
И у гитхаба для этого есть решение - опенсорсный, и, похоже, весьма интеллектуальный инструмент orchestrator.
http://githubengineering.com/orchestrator-github/

В новой версии #kubernetes 1.5 появилась поддержка Windows Server Container (легковесные контейнеры), Hyper-V, IIS и ASP.NET
#windows #containers
https://www.mirantis.com/blog/linux-windows-living-together-total-chaos-ok-kubernetes-1-5/

Стали доступны видео с конференции https://systemswe.love/

Данная конференция посвящена тому, как работают системы изнутри.

https://www.youtube.com/watch?v=TPe6UXMDMGM
#conference #videos #systems #engineering

JetBrains анонсировали IDE для golang под названием gogland

На текущий момент можно только попроситься в закрытое бета-тестирование.

https://www.jetbrains.com/go/
#golang #ide #jetbrains

Полезьная и простая в понимании статья про особенности работы современных сборщиков мусора в Java и Go. К сожалению, что касается Go статья не совсем точная (обсуждение неточностей в комментариях к статье).

https://medium.com/@octskyward/modern-garbage-collection-911ef4f8bd8e#.bd0lldopm
#golang #gc #java

Vimeo в своем блоге опубликовала статью о том, как они улучшали алгоритм балансировки нагрузки.

Статья в основном про инженерный подход и про то как дойти от чтения академических статей к патчу, принятому в апстриме крупного open-source проетка.

https://medium.com/vimeo-engineering-blog/improving-load-balancing-with-a-new-consistent-hashing-algorithm-9f1bd75709ed

#vimeo #consistenthash #ch #load #balancing #lb #haproxy #algorithms

В продолжении вчерашней ссылки про сборщик мусора в Go. Небольшое сравнение пауз сборки мусора в популярных языках (Go 1.7 + Head, Java 1.8.0 + G1, Haskell в реализации GHC 8.0.1, Racket 6.6, OCaml 4.03.0).

В статье также дается описание (с примерами) текущей схемы работы сборщика мусора в Go.

https://blog.pusher.com/golangs-real-time-gc-in-theory-and-practice/
#golang #gc #java #benchmark

И на закуску совсем сложный Proposal по улучшению механизма работы сборщика мусора в Go.

Proosal содержит много математики и подробностей о том, как разработчики Go собираются уменьшить количество stop-the-world случаев в Go 1.8 и 1.9.

https://github.com/golang/proposal/blob/master/design/17503-eliminate-rescan.md

#golang #gc #proposal #algorithms #hardcore

Facebook выложил в OpenSource свою in-memory time-series базу данных, основанную на концептах из Gorilla whitepaper.

Заявлена производительность более 1.5 млн точек в секунду.
Из коробки поддерживается интеграция с Grafana.

https://github.com/facebookincubator/beringei

#timeseries #tsdb #gorilla #facebook

Google опубликовал проект Grumpy, транслирующий python в Go. Пока он пока он находится на очень ранней стадии разработки, но уже позволяет транслировать некоторые программы. Также он позволяет использовать модули написанные на Go из питона.

https://opensource.googleblog.com/2017/01/grumpy-go-running-python.html?m=1

#golang #go #python #google