Forwarded from Code News
Bouke van der Bijl в своем блоге привел Proof of concept атаки на локальные базы данных, запущенные на компьютерах разработчиков и доступные по http, например #redis, #memcached или #elasticsearch с использованием вебсайта в интернете и DNS-записи с маленьким TTL
#PoC #hack
http://bouk.co/blog/hacking-developers/
#PoC #hack
http://bouk.co/blog/hacking-developers/
На хабре перевод майской статьи о GitLab Container Registry - реестре образов Docker, интегрированом в GitLab
#GitLab #docker #automation #CI
https://habrahabr.ru/company/softmart/blog/309102/
#GitLab #docker #automation #CI
https://habrahabr.ru/company/softmart/blog/309102/
Habr
GitLab Container Registry
В мае этого года вышел релиз ГитЛаба 8.8. Частью этого релиза был запуск встроенного Docker Container Registry. Ниже перевод майской статьи, посвященной этому. Недавно нами был выпущен GitLab версии...
Пару недель назад Amazon анонсировал #aws ALB - Application Load Balancer, балансировщик нагрузки для контейнеров и микросервисов.
Подробный обзор возможностей by Convox по ссылке
#containers #architecture #microservices #aws_alb
https://convox.com/blog/alb/
Подробный обзор возможностей by Convox по ссылке
#containers #architecture #microservices #aws_alb
https://convox.com/blog/alb/
С появлением #AWS #Lambda появились последователи так называемого serverless-подхода. Вместо аренды виртуальных машин, почему бы не абстрагироваться полностью от ОС и не писать приложение для AWS Lambda? Это может в некоторых случаях позволить полностью сосредоточиться на разработке непосредственно кода.
https://gojko.net/2016/08/27/serverless.html
#serverless #aws #lambda
https://gojko.net/2016/08/27/serverless.html
#serverless #aws #lambda
В данной статье рассказыватеся о событиях, влияющих на несколько баз данных. Их сложно распознать и они могут стать серьезной проблемой при построении архитектуры сервиса. Казалось бы работавший многие месяцы код может в один момент привести к проблемам, когда системе не удастся изменить данные во всех необходимых базах. Один из подходов к решению данной проблемы описан в данной статье.
http://www.grahamlea.com/2016/08/distributed-transactions-microservices-icebergs/
#architecture #transactions #consistency
http://www.grahamlea.com/2016/08/distributed-transactions-microservices-icebergs/
#architecture #transactions #consistency
Evolvable Me
Distributed Transactions: The Icebergs of Microservices
Why are distributed transactions icebergs? It’s not because they’re cool and beautiful and you have to look under the surface to comprehend them.Distributed transactions are icebergs because (
На днях Facebook поделился опытом эксплуатации Apache Spark на 60+ ТБ сжатых массивах данных. Статья посвящена проблемам с которыми они столкнулись и методам их решения.
https://databricks.com/blog/2016/08/31/apache-spark-scale-a-60-tb-production-use-case.html
#spark #bigdata #facebook
https://databricks.com/blog/2016/08/31/apache-spark-scale-a-60-tb-production-use-case.html
#spark #bigdata #facebook
Databricks
%%title%%
This is a guest
На github'е SoundCloud обнаружилось небольшой gem, призванное помочь обновлять структуры данных больших Ruby on Rails приложениях при обновлении версий. Данный модуль позволяет мигрировать данные без использования alter. Подход чем-то похож на таковой у Facebook и может быть полезен даже в отрыве от Ruby.
https://github.com/soundcloud/lhm
#mysql #ruby #ror #migration #soundcloud
https://github.com/soundcloud/lhm
#mysql #ruby #ror #migration #soundcloud
GitHub
GitHub - soundcloud/lhm: Online MySQL schema migrations
Online MySQL schema migrations. Contribute to soundcloud/lhm development by creating an account on GitHub.
GitHub опубликовал немного подробностей о устройстве своего Distributed git (Spokes). Статья фокусируется на доступности сервиса и средствах восстановления после инцидентов.
http://githubengineering.com/building-resilience-in-spokes/
#github #highavailability #ha #git #dgit #spokes
http://githubengineering.com/building-resilience-in-spokes/
#github #highavailability #ha #git #dgit #spokes
GitHub Engineering
Building resilience in Spokes
Spokes is the replication system for the file servers where we store over 38 million Git repositories and over 36 million gists. It keeps at least three copies of every repository and every gist so that we can provide durable, highly available access to content…
Forwarded from Code News
Серия блог-постов, рассказывающая о статистике на примере котиков.
http://www.statcats.ru/p/blog-page_29.html
http://www.statcats.ru/p/blog-page_29.html
Yahoo выложил в OpenSource систему доставки сообщений Pulsar. Она создавалась как горизонтально-масштабируемая альтернатива Kafk'е для близкого к Real-Time применения (99% процентиль задержки доставки сообщения должен быть меньше 5мс).
Внутри самой Yahoo инсталяция Pulsar передает более 100 млрд сообщений в день по более чем 1.4 млн топиков со средней задержкой 5мс.
http://siliconangle.com/blog/2016/09/08/yahoo-open-sources-pulsar-a-low-latency-alternative-to-apache-kafka/
#messagequeue #yahoo #messages #queues #kafka #pulsar
Внутри самой Yahoo инсталяция Pulsar передает более 100 млрд сообщений в день по более чем 1.4 млн топиков со средней задержкой 5мс.
http://siliconangle.com/blog/2016/09/08/yahoo-open-sources-pulsar-a-low-latency-alternative-to-apache-kafka/
#messagequeue #yahoo #messages #queues #kafka #pulsar
SiliconANGLE
Yahoo open-sources Pulsar, a low-latency alternative to Apache Kafka - SiliconANGLE
Организация доступа через ssh может оказаться не такой тривиально задачей, особенно в большой компании. Facebook опубликовал статью о том, как они решают проблему доступов у себя без использования LDAP авторизации.
https://code.facebook.com/posts/365787980419535/scalable-and-secure-access-with-ssh/
https://code.facebook.com/posts/365787980419535/scalable-and-secure-access-with-ssh/
Facebook Code
Scalable and secure access with SSH
Facebook leverages signed certificates with principals for scalable, reliable security access.
У btrfs наконец появилась вики страничка с актуальным статусом каждого компонента (по мнению разработчиков):
https://btrfs.wiki.kernel.org/index.php/Status
https://btrfs.wiki.kernel.org/index.php/Status
Когда в вашей инфраструктуре появляется слишком много контейнеров возникает потребность в отдельных балансировщиках нагрузки для DHCP. Facebook выложил свое решение в OpenSource и выпустил статью про то зачем им пришлось сделать еще один балансер и почему чистый anycast не подошел для этой задачи.
https://code.facebook.com/posts/1734309626831603/dhcplb-an-open-source-load-balancer/
https://code.facebook.com/posts/1734309626831603/dhcplb-an-open-source-load-balancer/
Facebook Code
DHCPLB: An open source load balancer
From hackathon prototype to internship project, the new load balancer is now deployed across Facebook's server fleet to manage DHCP traffic.
Forwarded from Code News
Опубликованы записи докладов с конференции Strange Loop 2016. Конференция посвящена в основном разработке и архитектуре высоконагруженных приложений, но также есть доклады на более приземленные темы.
https://www.youtube.com/playlist?list=PLcGKfGEEONaDvuLDFFKRfzbsaBuVVXdYa
#conference #video #development
https://www.youtube.com/playlist?list=PLcGKfGEEONaDvuLDFFKRfzbsaBuVVXdYa
#conference #video #development
GitHub начал публиковать заметки про свой балансировщик нагрузки. В будущем обещают опубликовать и часть исходного кода.
http://githubengineering.com/introducing-glb/
#github #loadbalancer #lb #ha #hl #highavailability
http://githubengineering.com/introducing-glb/
#github #loadbalancer #lb #ha #hl #highavailability
Forwarded from Code News
На YouTube обнаружились записи Intermediate Go Programming Tutorial от O'Reilly. Не очень понятно опубликованы ли они официально или по ошибке (видео 9 и 13 можно найти на канале, но они не включены в плейлист).
https://www.youtube.com/playlist?list=PLkmJREe6CMdnCsikhw7anHZTBgSKn7CyH
#oreilly #golang #tutorials
https://www.youtube.com/playlist?list=PLkmJREe6CMdnCsikhw7anHZTBgSKn7CyH
#oreilly #golang #tutorials
Uber делает более миллиона записей в секунду в свои Cassandra-кластера. При этом для отказоустойчивости и простоты масштабирования они используют Mesos. Интересно как и почему? Тогда читайте новую статью в highscalability блоге.
http://highscalability.com/blog/2016/9/28/how-uber-manages-a-million-writes-per-second-using-mesos-and.html
#uber #cassandra #mesos #highavailability #highload #hl #ha
http://highscalability.com/blog/2016/9/28/how-uber-manages-a-million-writes-per-second-using-mesos-and.html
#uber #cassandra #mesos #highavailability #highload #hl #ha
Highscalability
How Uber Manages a Million Writes Per Second Using Mesos and Cassandra Across Multiple Datacenters - High Scalability -
If you are Uber and you need to store the location data that is sent out every 30 seconds by bo...
Так как я поехал на LinuxCon Europe 2016, то новостей от конкретно меня пока не будет, зато я сделал маленький канал где буду флудить конспектами докладов и фоточками
https://telegram.me/linuxconnotes
#linuxcon #notes #talks
https://telegram.me/linuxconnotes
#linuxcon #notes #talks
Forwarded from Code News
O'Reilly выложил немного бесплатных книжек по разным языкам программирования (Java, Python, C++, общее по инженирингу):
http://www.oreilly.com/programming/free/
#oreilly #books
http://www.oreilly.com/programming/free/
#oreilly #books
Oreilly
O'Reilly Media - Technology and Business Training
Gain technology and business knowledge and hone your skills with learning resources created and curated by O'Reilly's experts: live online training, video, books, our platform has content from 200+ of the world's best publishers.
Оказывается, Twitch активно использует PostgreSQL - более 125 хостов только под него. В своем блоге они опубликовали историю того как они масштабируют postgres на несколько регионов в Амазоне.
https://blog.twitch.tv/how-twitch-uses-postgresql-c34aa9e56f58
#twitch #postgresql #postgres #amazon #aws
https://blog.twitch.tv/how-twitch-uses-postgresql-c34aa9e56f58
#twitch #postgresql #postgres #amazon #aws
Twitch Blog
How Twitch uses PostgreSQL
Twitch has approximately 125 database hosts serving OLTP workloads in production, usually as part of a cluster. Approximately 4% run MySQL…
Тем временем Dropbox использует, неожиданно, Elasticsearch и Kafka для мониторинга своей сети (в реальном времени!).
Описание этого неожиданного решения находится в их блоге.
https://blogs.dropbox.com/tech/2016/10/netflash-tracking-dropbox-network-traffic-in-real-time-with-elasticsearch/
#dropbox #monitoring #elasticsearch
Описание этого неожиданного решения находится в их блоге.
https://blogs.dropbox.com/tech/2016/10/netflash-tracking-dropbox-network-traffic-in-real-time-with-elasticsearch/
#dropbox #monitoring #elasticsearch
dropbox.tech
NetFlash: Tracking Dropbox network traffic in real-time with Elasticsearch