DevOps&SRE Library
17.8K subscribers
458 photos
4 videos
2 files
4.75K links
Библиотека статей по теме DevOps и SRE.

Реклама: @ostinostin
Контент: @mxssl

РКН: https://knd.gov.ru/license?id=67704b536aa9672b963777b3&registryType=bloggersPermission
Download Telegram
APPLE SILICON M1 AS-A-SERVICE

Scaleway has begun to offer cloud-based Apple Silicon-based Mac Minis.

https://www.scaleway.com/en/hello-m1
How to unit-test your helm charts with Golang

Learn how to write Golang unit tests for your Helm charts to keep quality high and make changes with confidence.

https://blog.heyal.co.uk/unit-testing-helm-charts
This SRE atempted to roll out an HAProxy config change. You won't believe what happened next...

https://about.gitlab.com/blog/2021/01/14/this-sre-attempted-to-roll-out-an-haproxy-change
Altair GraphQL Client

Altair is a beautiful feature-rich GraphQL Client IDE for all platforms.

https://github.com/imolorhe/altair
Kubernetes Readiness Probes - Examples & Common Pitfalls

https://loft.sh/blog/kubernetes-readiness-probes-examples-common-pitfalls
Forwarded from AWS Notes
Весёлый ролик от Corey Quinn не всем понятен, а весьма полезен. Потому далее расшифровка каждого пункта (моя версия).

💸 Managed NAT Gateway — популярная проблема, когда кажущиеся пустыми окружения жрут деньги из-за цены за NAT GW для private subnets.

💸 Amazon EBS — забытые неиспользуемые (не примонтированные) диски в разных аккаунтах жрут деньги, а в случае, если они Provisioned IOPS, то огромные деньги.

💸 Insecure S3 buckets - 450 independent "Security" researchers — в данном случае здесь, видимо, какая-то пародия на аудит безопасности, хотя при большом количестве данных расходы на S3 могут быть огромными. В помощь S3 Intelligent-Tiering и Amazon S3 Storage Lens.

💸 The Data Science team — так понимаю, команда резвящихся датасайенсистов стоит дорого.

💸 Cross AZ Data Transfer — малоприметная проблема пожирает незаметно деньги (и может большие), прикрытая общей уверенностью, что трафик внутри одного региона бесплатен.

💸 Your AWS Account Team — видимо шарж на команду AWS, которая лениво смотрит, как вы спонсируете их коктейли.

💸 RIs in the wrong region — про то, что Reserved Instances берутся на конкретный регион, иначе они просто проедают деньги. В помощь Savings Plans!

💸 CloudWatch Metrics и DataDog polling — одни из самых дорогих источников расходов на мониторинг, соревнующиеся в первенстве, кто дороже. Настраивайте нужные метрики с нужным интервалом. Как вариант – используйте Amazon Managed Prometheus.

💸 OverProvisioned IOPSEBS диски с IOPS-ами дорогое удовольствие, потому не стоит привычно "брать с запасом", а руководствоваться адекватными метриками.

💸 Infrastructure in us-west-1 — регион N.California географически совсем рядом с Oregon (us-west-2), однако ресурсы в N.California на 20+ процентов дороже.

💸 Deployed Amazon Macie — первая версия Macie была (есть) негуманно дорогая. Используйте вторую.

💸 Amazon Redshift — серьёзные вещи стоят серьёзные деньги и требуют серьёзного отношения.

💸 AWS Marketplace Vendors — поставленные из Marketplace продукты могут стоить (больших) денег – нужно не забывать отписываться от ставшего ненужным.

💸 Extra Snowball days — за каждый день свыше 10 включённых изначально, списываются деньги за пользование Snowball и это могут быть большие деньги (от десятков до сотен долларов в день).

💸 Business support on Developer accounts — план техподдержки Business стоит 100 долларов в месяц и привязан к конкретному аккаунту. Если это аккаунт для разработки, то по сравнению с Developer планом за 29$ в месяц в нём нет ничего, кроме дополнительных коктейлей для AWS Account Team выше.

💸 No expiry configured - CloudWatch logs everywhere — логи, которые никогда не удаляются, вечные ненужные бэкапы, ECR образы и куча всего другого ­­- всё это пожирает деньги. Даже если не самые большие, но умноженное на всегда получается бесконечно много. Настраивайте lifecycle policy для всего.

💸 Frequent Glacier Retrievals — получение данных из Glacier – дорогая операция, не нужно увлекаться, а лучше использовать S3 Intelligent Tier Archive, который теперь умеет сам складывать в Glacier и забирать оттуда бесплатно.

💸 EMR without Spot fleets — использование Spot fleets для EMR существенно экономит, стоит их использовать.

💸 Creds leaked on Github — не нужно публиковать свои ключи доступа на GitHub, это может стоить дорого.

💸 AWS Contracts Team — вот это я не расшифровал, буду признателен объяснению в комментариях. 


p.s. Хороший пост про 10 простых и очевидных способов уменьшить стоимость вашей AWS инфраструктуры есть и на русском:

https://aws.amazon.com/ru/blogs/rus/10-things-you-can-do-today-to-reduce-aws-costs/

#cost_optimization
Как Netflix ведет разработку продукта

Обзор на книгу No Rules Rules: Netflix and the Culture of Reinvention

https://newsletter.maxua.com/p/-netflix-
Project Agumbe: Share Objects Across Namespaces in Kubernetes

At Salesforce, we use Kubernetes to orchestrate our services layer and recently ran into a use case where we wanted to apply and manage certain common objects across Kubernetes namespaces. Since there’s no native solution to share objects across namespaces or the concept of a global object, we used Kubernetes’ extensibility to solve the problem. In this post, I’ll shed light on how we accomplished this.

https://engineering.salesforce.com/project-agumbe-share-objects-across-namespaces-in-kubernetes-1fc2e1ddb3eb
Building a Kubernetes CI/CD Pipeline with GitLab and Helm

https://nextlinklabs.com/insights/kubernetes-ci-cd-gitlab-with-helm
System Design для самых маленьких

Собрались вы как-то с другом детства Василием и решили создать стартап. Василий предлагает оригинальную идею: «а давай сделаем русский Craigslist, будет Vasyaslist?». Идея отличная, свежая. Вам нравится. Василий будет CEO, а вы — CTO.

Ваша задача — спроектировать всю платформу с технической точки зрения. У вас есть маркерная доска, кофе и пару часов времени. Во-первых, надо понять что из себя будет представлять эта «платформа», а так же спланировать её развитие на 5 лет и понять какие нужны будут для этого ресурсы.

Вы делаете глубокий вдох, и начинаете свой рассказ. Василий внимательно слушает.

https://vitkarpov.me/posts/what-is-system-design
Four levels of maturity that bridge the AppSec / engineering divide

Level 1: Security finds problems; Engineering fixes them
Level 2: Security and Engineering collaborate to produce test cases and remediations
Level 3: After the issue is fixed, Security and Engineering collaborate to find systemic fixes and develop checks
Level 4: Security and Engineering now also proactively look for new classes of issues and create systemic checks before an actual problem occurs

https://r2c.dev/blog/2021/four-levels-of-maturity-that-bridge-the-app-sec-engineering-divide
A visual guide on troubleshooting Kubernetes deployments

UPDATED IN JANUARY 2021

https://learnk8s.io/troubleshooting-deployments
Konveyor

Konveyor is a community of people passionate about helping others modernize and migrate their applications to the hybrid cloud by building tools, identifying patterns, and providing advice on how to break down monoliths, adopt containers, and embrace Kubernetes.

The Konveyor Community is working on tools in many areas. Here is a quick overview of some of the tools:

crane - Migrate namespaces between Kubernetes clusters.
forklift - Migrate virtual machines to KubeVirt.
move2kube - Migrate from Cloud Foundry or Docker Swarm to Kubernetes.
pelorus - Measure the four critical measures to software delivery performance.
windup - Analyze applications for modernization paths.

https://konveyor.io
Chaos Experiments on Kubernetes using Litmus to ensure your cluster is production ready

https://www.civo.com/learn/chaos-engineering-kubernetes-litmus
A visual guide to SSH tunnels

This page explains use cases and examples of SSH tunnels while visually presenting the traffic flows.

https://robotmoon.com/ssh-tunnels