Хорошая статья о применимости разных алгоритмов хэширования в задаче балансировки нагрузки. Полезно будет понимать всем, кто пишет свои распределенные сервисы или балансировщики.
https://medium.com/@dgryski/consistent-hashing-algorithmic-tradeoffs-ef6b8e2fcae8
#hashing #balancing #distributes #highload
https://medium.com/@dgryski/consistent-hashing-algorithmic-tradeoffs-ef6b8e2fcae8
#hashing #balancing #distributes #highload
Medium
Consistent Hashing: Algorithmic Tradeoffs
Like this article? Buy me a coffee.
Тем временем, amazon добавил возможность делать производные от уже имеющихся CloudWatch метрики. Функционал называется CloudWatch Metric Math и позволяет в том числе считать агрегаты от множества метрик.
https://aws.amazon.com/about-aws/whats-new/2018/04/amazon-cloudwatch-adds-metric-math-to-enable-custom-operations-on-metrics/
#aws #cloudwatch
https://aws.amazon.com/about-aws/whats-new/2018/04/amazon-cloudwatch-adds-metric-math-to-enable-custom-operations-on-metrics/
#aws #cloudwatch
Amazon
Amazon CloudWatch Metric Math
почти реклама
17 мая (четверг) в дата центре селектел (Санкт-Петербург) пройдет митап посвященный мониторингу. Участие бесплатное. Есть онлайн трансляция (требуется предварительная регистрация).
https://eventuer.timepad.ru/event/702213/
#meetup #monitoring #spb
17 мая (четверг) в дата центре селектел (Санкт-Петербург) пройдет митап посвященный мониторингу. Участие бесплатное. Есть онлайн трансляция (требуется предварительная регистрация).
https://eventuer.timepad.ru/event/702213/
#meetup #monitoring #spb
eventuer.timepad.ru
Big Monitoring Meetup #2: конференция по мониторингу / События на TimePad.ru
BIG MONITORING MEETUP #2 - уникальная возможность встретиться с экспертами и профессионалами в области мониторинга. Вас ждут живое общение, обсуждение лучших практик и нетрадиционных подходов, обзор новинок и тенденций в области мониторинга и смежных технологий…
В рамках USENIX Symposium on Networked Systems Design and Implementation 2018, проходившей в середине апреля, опубликованы некоторые подробности об устройстве сети в Google Cloud Platform. Может будет интересно просто посмотреть на подход к разработке изолированных высокопроизводительных сетей для облаков.
https://www.usenix.org/node/211244
Остальные доклады (без видео) также можно найти на сайте конференции: https://www.usenix.org/conference/nsdi18/glance
#usenix #network #cloud #andromeda
https://www.usenix.org/node/211244
Остальные доклады (без видео) также можно найти на сайте конференции: https://www.usenix.org/conference/nsdi18/glance
#usenix #network #cloud #andromeda
USENIX
NSDI '18 Program at a Glance
В блоге Dropbox'а опубликована статья про текущую архитектуру их хранилища (Magic Pocket). В процессе перехода от стандартных PMR[1] дисков к SMR[2] часть кода была переписана с Go на Rust, что позволило увеличить плотность сохранив потребление CPU и памяти на том же уровне.
Подробности по ссылке: https://blogs.dropbox.com/tech/2018/06/extending-magic-pocket-innovation-with-the-first-petabyte-scale-smr-drive-deployment/
#dropbox #storage #architecture
[1] https://en.wikipedia.org/wiki/Perpendicular_recording
[2] https://en.wikipedia.org/wiki/Shingled_magnetic_recording - например 10-14ТБ HGST
Подробности по ссылке: https://blogs.dropbox.com/tech/2018/06/extending-magic-pocket-innovation-with-the-first-petabyte-scale-smr-drive-deployment/
#dropbox #storage #architecture
[1] https://en.wikipedia.org/wiki/Perpendicular_recording
[2] https://en.wikipedia.org/wiki/Shingled_magnetic_recording - например 10-14ТБ HGST
dropbox.tech
Extending Magic Pocket Innovation with the first petabyte scale SMR drive deployment
О том как GitHub строит свои отказоустойчивые кластера MySQL рассказывают в своем последнем блог посте: https://githubengineering.com/mysql-high-availability-at-github/
#github #mysql #ha
#github #mysql #ha
Slack и Atlassian заключили "партнерское" соглашение. По его условиям Atlassian закроет Hipchat и Stride и предоставит способы миграции в Slack. Также Slack'у достается (конечно за деньги) вся интеллектуальная собственность касающаяся Hipchat'а и Strdie'а. А в самом Slack'е улучшится интеграция с Jira (Hosted и Cloud), Trello, Bitbucket и появится с Confluence.
Подробнее: https://slackhq.com/atlassian-and-slack-partnership
#slack #atlassian #hipchat
Подробнее: https://slackhq.com/atlassian-and-slack-partnership
#slack #atlassian #hipchat
Slack
Atlassian + Slack
Announcing an exciting new partnership and welcoming Hipchat and Stride users to Slack. We’re glad you’re here!
Для тех, кто считает что от всевозможных Spectre и Meltdown не нужно защищаться - исследователи из Graz University of Technology опубликовали пару страниц счастья с Proof Of Concept *remote* атакой на уязвимые к Spectre системы. Атака позволяет читать произвольные участки памяти, но к счастью, скорость чтения памяти очень низкая (единицы байт в час).
Подробности: https://misc0110.net/web/files/netspectre.pdf
#spectre #security #brokenbydesign
Подробности: https://misc0110.net/web/files/netspectre.pdf
#spectre #security #brokenbydesign
Uber анонсировал свою time-series базу данных m3db, а также выложил в opensource read/write адаптер для Prometheus. Впрочем сам m3db лежал на гитхабе больше года, но с полным отсутствием документации (сейчас это исправлено).
Кластер m3db в убере содержит миллиарды уникальных серий и пишет десятки миллионов уникальных точек в секунду.
Подробности: https://eng.uber.com/m3/
#m3db #timeseries #tsdb #uber
Кластер m3db в убере содержит миллиарды уникальных серий и пишет десятки миллионов уникальных точек в секунду.
Подробности: https://eng.uber.com/m3/
#m3db #timeseries #tsdb #uber
GitHub опубликовал postmortem про недавний (21 октября) инцидент из-за которогой pull request'ы и issues были фактически недоступны более 24-х часов. Очень поучительная история про консесус, mysql и репликацию.
Ссылка: https://blog.github.com/2018-10-30-oct21-post-incident-analysis/
#github #postmortem
Ссылка: https://blog.github.com/2018-10-30-oct21-post-incident-analysis/
#github #postmortem
The GitHub Blog
October 21 post-incident analysis
In-depth analysis of the incident that impacted GitHub services on October 21 and 22.
Dropbox опубликовал доклад о том, как они меряли пропускную способность Кафки. В статье описывается подход к автоматическому тестированию, к построению модели эксперимента и т.п.
https://blogs.dropbox.com/tech/2019/01/finding-kafkas-throughput-limit-in-dropbox-infrastructure/
#Dropbox #kafka #performance
https://blogs.dropbox.com/tech/2019/01/finding-kafkas-throughput-limit-in-dropbox-infrastructure/
#Dropbox #kafka #performance
dropbox.tech
Finding Kafka’s throughput limit in Dropbox infrastructure
Пересказ исследования о том, почему использовать файловую систему как backend для распределенного хранилища - не очень хорошая идея (на примере ceph).
В целом после SOSP'19 колличество интересных статей значительно увеличилось.
https://blog.acolyer.org/2019/11/06/ceph-evolution/
#research #ceph #performance
В целом после SOSP'19 колличество интересных статей значительно увеличилось.
https://blog.acolyer.org/2019/11/06/ceph-evolution/
#research #ceph #performance
Свежая и достаточно объемная статья от Google о их текущей TSDB "Monarch".
12 страниц текста. 2 страницы "Related work". Много информации о языке запросов, схеме записей, храненнии, модели данных и т.п. Инетересно в первую очередь тем, кто строит с нуля свои системы хранения метрик.
http://www.vldb.org/pvldb/vol13/p3181-adams.pdf
#tsdb #google #monitoring #metrics
12 страниц текста. 2 страницы "Related work". Много информации о языке запросов, схеме записей, храненнии, модели данных и т.п. Инетересно в первую очередь тем, кто строит с нуля свои системы хранения метрик.
http://www.vldb.org/pvldb/vol13/p3181-adams.pdf
#tsdb #google #monitoring #metrics
Если кто-то не знает что посмотреть на праздниках, буквально недавно выложили много видео докладов с SREcon20 Americas: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5lfLXUjFjS0mP1XzNzNZMhYN
И программа: https://www.usenix.org/conference/srecon20americas/program
#srecon #talks
И программа: https://www.usenix.org/conference/srecon20americas/program
#srecon #talks
Что-о давно я не писал про очередные плей-листы с докладами от USENIX. А за все это время их вышло и не мало.
Во первых самый свежак - SREcon22 Americas: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5leMkjJdKIOI-vOxMVr7U5w_ (программа: https://www.usenix.org/conference/srecon22americas/program)
Во вторых конференция по фаловым хранилищам FAST 22: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5lcWTahpQ_IfjIHZ_ndfw6Id (программа: https://www.usenix.org/conference/fast22/technical-sessions)
И то, что я как-то упустил за 2021 год:
SREcon21: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5lcjhxsp-V3-xJnHQpWLllRS (программа: https://www.usenix.org/conference/srecon21/program)
LISA 21: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5ldSSIG3jSo23EyMMSV67qcW (программа: https://www.usenix.org/conference/lisa21/program)
FAST 21: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5lckayzBszGg_Pq6O1nq5EdV (программа: https://www.usenix.org/conference/fast21/technical-sessions)
#srecon #lisa #fast #talks
P.S. заодно включил реакции и добавил чат для комментариев, если вдруг кому-то он нужен)
Во первых самый свежак - SREcon22 Americas: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5leMkjJdKIOI-vOxMVr7U5w_ (программа: https://www.usenix.org/conference/srecon22americas/program)
Во вторых конференция по фаловым хранилищам FAST 22: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5lcWTahpQ_IfjIHZ_ndfw6Id (программа: https://www.usenix.org/conference/fast22/technical-sessions)
И то, что я как-то упустил за 2021 год:
SREcon21: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5lcjhxsp-V3-xJnHQpWLllRS (программа: https://www.usenix.org/conference/srecon21/program)
LISA 21: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5ldSSIG3jSo23EyMMSV67qcW (программа: https://www.usenix.org/conference/lisa21/program)
FAST 21: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5lckayzBszGg_Pq6O1nq5EdV (программа: https://www.usenix.org/conference/fast21/technical-sessions)
#srecon #lisa #fast #talks
P.S. заодно включил реакции и добавил чат для комментариев, если вдруг кому-то он нужен)
YouTube
SREcon22 Americas - YouTube
Подзабросил я канальчик, надо попробовать более регулярно писать сюда...
Впрочем, пока займусь немного само-пиаром.
Написал статью (первую часть) про 25 гбитную сеть.
Опубликовал на:
Medium (на английском): https://boredengineer.medium.com/25-gbit-s-at-home-part-1-98ff1013e32d
Hacker News (по сути комменты к тому что на медиуме): https://news.ycombinator.com/item?id=37421993
Перевод на хабре на русский: https://habr.com/ru/articles/761840/
#сеть #самопиар
Впрочем, пока займусь немного само-пиаром.
Написал статью (первую часть) про 25 гбитную сеть.
Опубликовал на:
Medium (на английском): https://boredengineer.medium.com/25-gbit-s-at-home-part-1-98ff1013e32d
Hacker News (по сути комменты к тому что на медиуме): https://news.ycombinator.com/item?id=37421993
Перевод на хабре на русский: https://habr.com/ru/articles/761840/
#сеть #самопиар
Medium
25 Gbit/s at home, part 1
First part of a story on how I’ve built 25 Gbps router for home use.
USENIX по традиции выложил огромное количество записей своих конференций за 2023 год в этот раз:
SREcon23 Americas: плейлист, программа
SREcon23 Asia/Pacific: плейлист, программа
NSDI'23: плейлист, программа
USENIX ATC'23: плейлист, программа
OSDI'23: плейлист, программа
FAST'23: плейлист, программа
#srecon #nsdi #osdi #atc #fast #usenix #talks
SREcon23 Americas: плейлист, программа
SREcon23 Asia/Pacific: плейлист, программа
NSDI'23: плейлист, программа
USENIX ATC'23: плейлист, программа
OSDI'23: плейлист, программа
FAST'23: плейлист, программа
#srecon #nsdi #osdi #atc #fast #usenix #talks
YouTube
SREcon23 Americas - The Endgame of SRE
The Endgame of SRE
Amy Tobey, Equinix
The containers are deployed and the builds are green. Yaml flows through the system, linted, reviewed, tested, and shipped with ease and regularity. Our intrepid SRE finds themself at a crossroads. The infrastructure…
Amy Tobey, Equinix
The containers are deployed and the builds are green. Yaml flows through the system, linted, reviewed, tested, and shipped with ease and regularity. Our intrepid SRE finds themself at a crossroads. The infrastructure…