Facebook скрестил ужа с ежом и получил MySQL совместимую базу с движком RocksDB и назвал ее MyRocks. Насколько это хорошо работает? Ответ в блог посте:
https://code.facebook.com/posts/190251048047090/myrocks-a-space-and-write-optimized-mysql-database/
#facebook #rocksdb #mysql #highload #highavailability #hl #ha

#netflix рассказал о архитектуре и кейсах использования своей open-source системы тестирования облачных систем хранения Netflix Data Benchmark
#cloud #aws #Benchmarking
http://techblog.netflix.com/2016/09/netflix-data-benchmark-benchmarking.html

Bouke van der Bijl в своем блоге привел Proof of concept атаки на локальные базы данных, запущенные на компьютерах разработчиков и доступные по http, например #redis, #memcached или #elasticsearch с использованием вебсайта в интернете и DNS-записи с маленьким TTL
#PoC #hack
http://bouk.co/blog/hacking-developers/

На хабре перевод майской статьи о GitLab Container Registry - реестре образов Docker, интегрированом в GitLab
#GitLab #docker #automation #CI
https://habrahabr.ru/company/softmart/blog/309102/

Пару недель назад Amazon анонсировал #aws ALB - Application Load Balancer, балансировщик нагрузки для контейнеров и микросервисов.
Подробный обзор возможностей by Convox по ссылке
#containers #architecture #microservices #aws_alb
https://convox.com/blog/alb/

С появлением #AWS #Lambda появились последователи так называемого serverless-подхода. Вместо аренды виртуальных машин, почему бы не абстрагироваться полностью от ОС и не писать приложение для AWS Lambda? Это может в некоторых случаях позволить полностью сосредоточиться на разработке непосредственно кода.
https://gojko.net/2016/08/27/serverless.html
#serverless #aws #lambda

В данной статье рассказыватеся о событиях, влияющих на несколько баз данных. Их сложно распознать и они могут стать серьезной проблемой при построении архитектуры сервиса. Казалось бы работавший многие месяцы код может в один момент привести к проблемам, когда системе не удастся изменить данные во всех необходимых базах. Один из подходов к решению данной проблемы описан в данной статье.
http://www.grahamlea.com/2016/08/distributed-transactions-microservices-icebergs/
#architecture #transactions #consistency

На днях Facebook поделился опытом эксплуатации Apache Spark на 60+ ТБ сжатых массивах данных. Статья посвящена проблемам с которыми они столкнулись и методам их решения.
https://databricks.com/blog/2016/08/31/apache-spark-scale-a-60-tb-production-use-case.html
#spark #bigdata #facebook

На github'е SoundCloud обнаружилось небольшой gem, призванное помочь обновлять структуры данных больших Ruby on Rails приложениях при обновлении версий. Данный модуль позволяет мигрировать данные без использования alter. Подход чем-то похож на таковой у Facebook и может быть полезен даже в отрыве от Ruby.
https://github.com/soundcloud/lhm
#mysql #ruby #ror #migration #soundcloud

GitHub опубликовал немного подробностей о устройстве своего Distributed git (Spokes). Статья фокусируется на доступности сервиса и средствах восстановления после инцидентов.
http://githubengineering.com/building-resilience-in-spokes/

#github #highavailability #ha #git #dgit #spokes

Серия блог-постов, рассказывающая о статистике на примере котиков.
http://www.statcats.ru/p/blog-page_29.html

Yahoo выложил в OpenSource систему доставки сообщений Pulsar. Она создавалась как горизонтально-масштабируемая альтернатива Kafk'е для близкого к Real-Time применения (99% процентиль задержки доставки сообщения должен быть меньше 5мс).
Внутри самой Yahoo инсталяция Pulsar передает более 100 млрд сообщений в день по более чем 1.4 млн топиков со средней задержкой 5мс.
http://siliconangle.com/blog/2016/09/08/yahoo-open-sources-pulsar-a-low-latency-alternative-to-apache-kafka/
#messagequeue #yahoo #messages #queues #kafka #pulsar

Организация доступа через ssh может оказаться не такой тривиально задачей, особенно в большой компании. Facebook опубликовал статью о том, как они решают проблему доступов у себя без использования LDAP авторизации.
https://code.facebook.com/posts/365787980419535/scalable-and-secure-access-with-ssh/

У btrfs наконец появилась вики страничка с актуальным статусом каждого компонента (по мнению разработчиков):
https://btrfs.wiki.kernel.org/index.php/Status

Когда в вашей инфраструктуре появляется слишком много контейнеров возникает потребность в отдельных балансировщиках нагрузки для DHCP. Facebook выложил свое решение в OpenSource и выпустил статью про то зачем им пришлось сделать еще один балансер и почему чистый anycast не подошел для этой задачи.
https://code.facebook.com/posts/1734309626831603/dhcplb-an-open-source-load-balancer/

Опубликованы записи докладов с конференции Strange Loop 2016. Конференция посвящена в основном разработке и архитектуре высоконагруженных приложений, но также есть доклады на более приземленные темы.
https://www.youtube.com/playlist?list=PLcGKfGEEONaDvuLDFFKRfzbsaBuVVXdYa
#conference #video #development

GitHub начал публиковать заметки про свой балансировщик нагрузки. В будущем обещают опубликовать и часть исходного кода.
http://githubengineering.com/introducing-glb/
#github #loadbalancer #lb #ha #hl #highavailability

На YouTube обнаружились записи Intermediate Go Programming Tutorial от O'Reilly. Не очень понятно опубликованы ли они официально или по ошибке (видео 9 и 13 можно найти на канале, но они не включены в плейлист).
https://www.youtube.com/playlist?list=PLkmJREe6CMdnCsikhw7anHZTBgSKn7CyH
#oreilly #golang #tutorials

Uber делает более миллиона записей в секунду в свои Cassandra-кластера. При этом для отказоустойчивости и простоты масштабирования они используют Mesos. Интересно как и почему? Тогда читайте новую статью в highscalability блоге.

http://highscalability.com/blog/2016/9/28/how-uber-manages-a-million-writes-per-second-using-mesos-and.html

#uber #cassandra #mesos #highavailability #highload #hl #ha

Так как я поехал на LinuxCon Europe 2016, то новостей от конкретно меня пока не будет, зато я сделал маленький канал где буду флудить конспектами докладов и фоточками
https://telegram.me/linuxconnotes

#linuxcon #notes #talks

O'Reilly выложил немного бесплатных книжек по разным языкам программирования (Java, Python, C++, общее по инженирингу):
http://www.oreilly.com/programming/free/
#oreilly #books