Uber делает более миллиона записей в секунду в свои Cassandra-кластера. При этом для отказоустойчивости и простоты масштабирования они используют Mesos. Интересно как и почему? Тогда читайте новую статью в highscalability блоге.
http://highscalability.com/blog/2016/9/28/how-uber-manages-a-million-writes-per-second-using-mesos-and.html
#uber #cassandra #mesos #highavailability #highload #hl #ha
http://highscalability.com/blog/2016/9/28/how-uber-manages-a-million-writes-per-second-using-mesos-and.html
#uber #cassandra #mesos #highavailability #highload #hl #ha
Highscalability
How Uber Manages a Million Writes Per Second Using Mesos and Cassandra Across Multiple Datacenters - High Scalability -
If you are Uber and you need to store the location data that is sent out every 30 seconds by bo...
Так как я поехал на LinuxCon Europe 2016, то новостей от конкретно меня пока не будет, зато я сделал маленький канал где буду флудить конспектами докладов и фоточками
https://telegram.me/linuxconnotes
#linuxcon #notes #talks
https://telegram.me/linuxconnotes
#linuxcon #notes #talks
Forwarded from Code News
O'Reilly выложил немного бесплатных книжек по разным языкам программирования (Java, Python, C++, общее по инженирингу):
http://www.oreilly.com/programming/free/
#oreilly #books
http://www.oreilly.com/programming/free/
#oreilly #books
Oreilly
O'Reilly Media - Technology and Business Training
Gain technology and business knowledge and hone your skills with learning resources created and curated by O'Reilly's experts: live online training, video, books, our platform has content from 200+ of the world's best publishers.
Оказывается, Twitch активно использует PostgreSQL - более 125 хостов только под него. В своем блоге они опубликовали историю того как они масштабируют postgres на несколько регионов в Амазоне.
https://blog.twitch.tv/how-twitch-uses-postgresql-c34aa9e56f58
#twitch #postgresql #postgres #amazon #aws
https://blog.twitch.tv/how-twitch-uses-postgresql-c34aa9e56f58
#twitch #postgresql #postgres #amazon #aws
Twitch Blog
How Twitch uses PostgreSQL
Twitch has approximately 125 database hosts serving OLTP workloads in production, usually as part of a cluster. Approximately 4% run MySQL…
Тем временем Dropbox использует, неожиданно, Elasticsearch и Kafka для мониторинга своей сети (в реальном времени!).
Описание этого неожиданного решения находится в их блоге.
https://blogs.dropbox.com/tech/2016/10/netflash-tracking-dropbox-network-traffic-in-real-time-with-elasticsearch/
#dropbox #monitoring #elasticsearch
Описание этого неожиданного решения находится в их блоге.
https://blogs.dropbox.com/tech/2016/10/netflash-tracking-dropbox-network-traffic-in-real-time-with-elasticsearch/
#dropbox #monitoring #elasticsearch
dropbox.tech
NetFlash: Tracking Dropbox network traffic in real-time with Elasticsearch
Довольно глубокая статья (пусть и немного старая) описывающая работу механизма кэширования в PostgreSQL.
https://madusudanan.com/blog/understanding-postgres-caching-in-depth/
https://madusudanan.com/blog/understanding-postgres-caching-in-depth/
Глава из бета-версии книги "Development&Deployment of Multiplayer Online Games" посвященная базам данных. Если быть конкретнее, этот отрывок посвящен ACID транзакциям, уровням изоляции и блокировкам.
http://ithare.com/databases-101-acid-mvcc-vs-locks-transaction-isolation-levels-and-concurrency/
#databases #acid #concurency
http://ithare.com/databases-101-acid-mvcc-vs-locks-transaction-isolation-levels-and-concurrency/
#databases #acid #concurency
IT Hare on Soft.ware
Databases 101: ACID, MVCC vs Locks, Transaction Isolation Levels, and Concurrency
Chapter XVII(a), "Databases 101. ACID, MVCC vs Locks, Transaction Isolation Levels, and Concurrency" from upcoming book "Development&Deployment of Multiplayer Online Games"
Статья про детали работы (мониторинг и тюнинг) сетевого стэка Linux'а. В статье упор на взаимодействие различных частей ядра друг с другом.
http://blog.packagecloud.io/eng/2016/10/11/monitoring-tuning-linux-networking-stack-receiving-data-illustrated/
#linux #network #tuning #monitoring #hardcore
http://blog.packagecloud.io/eng/2016/10/11/monitoring-tuning-linux-networking-stack-receiving-data-illustrated/
#linux #network #tuning #monitoring #hardcore
blog.packagecloud.io
Illustrated Guide to Monitoring and Tuning the Linux Networking Stack: Receiving Data | Packagecloud Blog
This post illustrates guides to monitor and tune the Linux networking stack in great detail with the focus on receiving data.
Brendan Gregg опубликовал в своем блоге серию постов про анализ задержек различных подсистем ядра при помощи BPF.
#brendangregg #performance #bpf
http://www.brendangregg.com/blog/2016-10-06/linux-bcc-ext4dist-ext4slower.html - ext4
http://www.brendangregg.com/blog/2016-10-04/linux-bcc-mysqld-qslower.html - mysql slow query
http://www.brendangregg.com/blog/2016-10-01/linux-bcc-security-capabilities.html - security capabilities
http://www.brendangregg.com/blog/2016-10-12/linux-bcc-nodejs-usdt.html - nodejshttp://www.brendangregg.com/blog/2016-10-15/linux-bcc-tcptop.html - tcptop
http://www.brendangregg.com/blog/2016-10-08/linux-bcc-runqlat.html - scheduler
#brendangregg #performance #bpf
http://www.brendangregg.com/blog/2016-10-06/linux-bcc-ext4dist-ext4slower.html - ext4
http://www.brendangregg.com/blog/2016-10-04/linux-bcc-mysqld-qslower.html - mysql slow query
http://www.brendangregg.com/blog/2016-10-01/linux-bcc-security-capabilities.html - security capabilities
http://www.brendangregg.com/blog/2016-10-12/linux-bcc-nodejs-usdt.html - nodejshttp://www.brendangregg.com/blog/2016-10-15/linux-bcc-tcptop.html - tcptop
http://www.brendangregg.com/blog/2016-10-08/linux-bcc-runqlat.html - scheduler
Brendangregg
Linux bcc tcptop
Linux bcc tcptop: using enhanced BPF (eBPF) and kernel dynamic tracing to create an efficient tcptop for displaying TCP connection statistics.
AirBnB опубликовал статью о том как они столкнулись и решали проблему C10K в MySQL.
https://medium.com/airbnb-engineering/unlocking-horizontal-scalability-in-our-web-serving-tier-d907449cdbcf
#airbnb #mysql #c10k #performance
https://medium.com/airbnb-engineering/unlocking-horizontal-scalability-in-our-web-serving-tier-d907449cdbcf
#airbnb #mysql #c10k #performance
Medium
Unlocking Horizontal Scalability in Our Web Serving Tier
by Liang Guo
Продолжение цикла статей про параллельную репликацию MySQL от Booking. В новой статье речь идет о Optimistic Parallel Replication из состава MariaDB 10.1.
http://blog.booking.com/evaluating_mysql_parallel_replication_4-more_benchmarks_in_production.html
#booking.com #mysql #performance
http://blog.booking.com/evaluating_mysql_parallel_replication_4-more_benchmarks_in_production.html
#booking.com #mysql #performance
Яндекс опубликовал серию докладов о своей инфраструктуре:
Краткое содержание:
https://youtu.be/9ANuWEZqCUg?t=592 - Рассказ про Яндексовый MapReduce
https://youtu.be/9ANuWEZqCUg?t=4454 - Рассказ про декларативный язык для MapReduce (и не только)
https://youtu.be/9ANuWEZqCUg?t=9401 - Рассказ про ClickHouse (теперь уже OpenSource база данных для различных задач в области Real-Time аналитики)
https://youtu.be/9ANuWEZqCUg?t=13555 - Storage в Яндексе (на примере архитектуры Яндекс.Диска).
#Yandex #ClickHouse #Infrastructure #Storage #MapReduce
Краткое содержание:
https://youtu.be/9ANuWEZqCUg?t=592 - Рассказ про Яндексовый MapReduce
https://youtu.be/9ANuWEZqCUg?t=4454 - Рассказ про декларативный язык для MapReduce (и не только)
https://youtu.be/9ANuWEZqCUg?t=9401 - Рассказ про ClickHouse (теперь уже OpenSource база данных для различных задач в области Real-Time аналитики)
https://youtu.be/9ANuWEZqCUg?t=13555 - Storage в Яндексе (на примере архитектуры Яндекс.Диска).
#Yandex #ClickHouse #Infrastructure #Storage #MapReduce
YouTube
Запись трансляции Яндекс изнутри: инфраструктура хранения и обработки данных
Продолжается серия встреч, посвящённых технологиям Яндекса. В августе мы делились секретами поиска, а теперь пришёл черёд подробного рассказа об инфраструктуре хранения и обработки данных.
Наша инфраструктура уникальна. Суммарный объём данных, которыми оперирует…
Наша инфраструктура уникальна. Суммарный объём данных, которыми оперирует…
Сегодня вышел Elastic Stack 5.0 (ES, Kibana, Logstash, ...)
Изменений очень много, проще пойти по ссылке и прочитать самостоятельно.
https://www.elastic.co/blog/elastic-stack-5-0-0-released
#elasticsearch #kibana
Изменений очень много, проще пойти по ссылке и прочитать самостоятельно.
https://www.elastic.co/blog/elastic-stack-5-0-0-released
#elasticsearch #kibana
Elastic Blog
Elastic Stack 5.0.0 Released
After almost a year of substantial effort, including 5 Alphas, 1 Beta, and 1 Release Candidate we are pleased to announce Elastic Stack 5.0.0 GA
Facebook выложил видео с конференции Networking@Scale, проходившей в Бостоне.
https://code.facebook.com/posts/1709127516080157/networking-scale-boston/
#facebook #networking #network #video #videos
https://code.facebook.com/posts/1709127516080157/networking-scale-boston/
#facebook #networking #network #video #videos
Facebook Engineering
Networking @Scale Boston
Last week, the networking community came together for Networking @Scale, our third @Scale conference in Boston. Boston has a strong history in networking and is the birthplace of many of the foundational technologies that the modern internet is built upon.…
#github использует классический #mysql master-slave кластер в своих сервисах, как, наверное, и многие из наших читателей. Самое интересное в таких инсталляциях - файловер.
И у гитхаба для этого есть решение - опенсорсный, и, похоже, весьма интеллектуальный инструмент orchestrator.
http://githubengineering.com/orchestrator-github/
И у гитхаба для этого есть решение - опенсорсный, и, похоже, весьма интеллектуальный инструмент orchestrator.
http://githubengineering.com/orchestrator-github/
GitHub Engineering
Orchestrator at GitHub
GitHub uses MySQL to store its metadata: Issues, Pull Requests, comments, organizations, notifications and so forth. While git repository data does not need MySQL to exist and persist, GitHub’s service does. Authentication, API, and the website itself all…
В новой версии #kubernetes 1.5 появилась поддержка Windows Server Container (легковесные контейнеры), Hyper-V, IIS и ASP.NET
#windows #containers
https://www.mirantis.com/blog/linux-windows-living-together-total-chaos-ok-kubernetes-1-5/
#windows #containers
https://www.mirantis.com/blog/linux-windows-living-together-total-chaos-ok-kubernetes-1-5/
Mirantis | Ship Code Faster
Linux and Windows, living together, total chaos! (OK, Kubernetes 1.5) | Mirantis
With Kubernetes 1.5, we finally have a single hybrid clustered application that includes both Windows and Linux components interacting with each other.
Стали доступны видео с конференции https://systemswe.love/
Данная конференция посвящена тому, как работают системы изнутри.
https://www.youtube.com/watch?v=TPe6UXMDMGM
#conference #videos #systems #engineering
Данная конференция посвящена тому, как работают системы изнутри.
https://www.youtube.com/watch?v=TPe6UXMDMGM
#conference #videos #systems #engineering
Forwarded from Code News
JetBrains анонсировали IDE для golang под названием gogland
На текущий момент можно только попроситься в закрытое бета-тестирование.
https://www.jetbrains.com/go/
#golang #ide #jetbrains
На текущий момент можно только попроситься в закрытое бета-тестирование.
https://www.jetbrains.com/go/
#golang #ide #jetbrains
JetBrains
GoLand by JetBrains: More than just a Go IDE
The complete Go IDE
Полезьная и простая в понимании статья про особенности работы современных сборщиков мусора в Java и Go. К сожалению, что касается Go статья не совсем точная (обсуждение неточностей в комментариях к статье).
https://medium.com/@octskyward/modern-garbage-collection-911ef4f8bd8e#.bd0lldopm
#golang #gc #java
https://medium.com/@octskyward/modern-garbage-collection-911ef4f8bd8e#.bd0lldopm
#golang #gc #java
Medium
Modern garbage collection
A look at the Go GC strategy
Vimeo в своем блоге опубликовала статью о том, как они улучшали алгоритм балансировки нагрузки.
Статья в основном про инженерный подход и про то как дойти от чтения академических статей к патчу, принятому в апстриме крупного open-source проетка.
https://medium.com/vimeo-engineering-blog/improving-load-balancing-with-a-new-consistent-hashing-algorithm-9f1bd75709ed
#vimeo #consistenthash #ch #load #balancing #lb #haproxy #algorithms
Статья в основном про инженерный подход и про то как дойти от чтения академических статей к патчу, принятому в апстриме крупного open-source проетка.
https://medium.com/vimeo-engineering-blog/improving-load-balancing-with-a-new-consistent-hashing-algorithm-9f1bd75709ed
#vimeo #consistenthash #ch #load #balancing #lb #haproxy #algorithms
Medium
Improving load balancing with a new consistent-hashing algorithm
Improving HAProxy load balancing for better cache locality in Vimeo’s dynamic video packager
В продолжении вчерашней ссылки про сборщик мусора в Go. Небольшое сравнение пауз сборки мусора в популярных языках (Go 1.7 + Head, Java 1.8.0 + G1, Haskell в реализации GHC 8.0.1, Racket 6.6, OCaml 4.03.0).
В статье также дается описание (с примерами) текущей схемы работы сборщика мусора в Go.
https://blog.pusher.com/golangs-real-time-gc-in-theory-and-practice/
#golang #gc #java #benchmark
В статье также дается описание (с примерами) текущей схемы работы сборщика мусора в Go.
https://blog.pusher.com/golangs-real-time-gc-in-theory-and-practice/
#golang #gc #java #benchmark
Making Pusher
Golang’s Real-time GC in Theory and Practice - Making Pusher
How Golang's concurrent GC achieves low latencies in real-time systems: a visualization of the algorithm and an empirical comparison with other languages.