How we migrated our Prometheus and Grafana based monitoring solution to AWS

https://medium.com/i-love-my-local-farmer-engineering-blog/enterprise-monitoring-using-amazon-managed-prometheus-and-grafana-650e76814656

#grafana #prometheus #monitoring #aws #amazon

​​Подкасты — «AWS на русском»:

🔸 Яндекс.Музыка
🔸 Apple Podcasts
🔸 Google Подкасты
🔸 Spotify (подкасты не доступны для Украины, Беларуси - нужно использовать VPN)
🔸 Anchor

#podcasts

​​AWS re:Invent 2021 — DevOps and Developer Productivity

https://www.youtube.com/playlist?list=PL2yQDdvlhXf8IJuIGCoPbO2HXxWFFml8Z

1 Using feature flags to avoid downtime during migrations
2 The journey from telemetry to business metrics
3 OutSystems and AWS: The modern application platform for the cloud
4 On AWS, details matter: Why full-stack observability wins
5 Deploying container applications with cloud-native CI/CD pipelines
6 Enterprise networking and SD-WAN with Cisco and AWS
7 Enabling decentralized development teams with a shared services platform
8 Incorporating continuous resilience in your development ecosystem
9 Observing your applications from development through production
10 Write, deploy, and provision cloud resources with AWS Developer Tools
11 Infrastructure as code and modern data resilience on AWS
12 Modern and confident: DevSecOps for enhanced cloud security
13 Slack is the digital HQ for AWS developers and DevOps teams
14 How to reuse patterns when developing infrastructure as code
15 Amazon Builders' Library: Operational Excellence at Amazon
16 Best practices for securing your software delivery lifecycle
17 Building with the new AWS SDKs for Rust, Kotlin, and Swift
18 Cloud-native operations: Agility and speed through distributed ownership
19 Automating cross-account CI/CD pipelines [repeat]
20 Automating cross-account CI/CD pipelines [repeat]
21 What's new with AWS CloudFormation and AWS CDK
22 DevOps revolution [repeat]

#reInvent #videos #devops

#машины_aws

Распространненный миф о безопасных клавдиях больно ударил, что по Capital One в 2019 что по Twitch в 2021.

Непопулярное мнение: все эти инциденты - вина владельцев и инженеров сервисов и инфраструктуры и только их.

Особая близость с платежами и деньгами в целом сделала из меня параноика в хорошем смысле этого слова. Если это доступно где-то в интернете - это можно спиз… скачать.

Последний пост в этом году, после чего я могу спокойно отправляться на каникулы: вводная в событийно-ориентированное реагирование на мониторинг безопасности.

Читаем, применяем, не даем злодеям и своим наделать глупостей.

Всех с наступающим! Увидимся в 2022.

NitroTPM:

https://aws.amazon.com/blogs/compute/deep-dive-into-nitrotpm-and-uefi-secure-boot-support-in-amazon-ec2/

На re:Invent без особых подробностей и внимания был анонсирован NitroTPM с поддержкой UEFI Secure Boot и теперь на AWS можно запускать ПО, подразумевающее их наличие. Для этого потребуется AMI образ с поддержкой TPM 2.0.

#NitroTPM #security

​​Weekly Summary on AWS (December 19-25)

🔹 Lambda + IPv6 endpoints for inbound connections

🔹 DataSync + copy data to and from Amazon FSx for Lustre

🔹 RDS for Oracle + Oracle Connection Manager (CMAN)

🔹 MSK + Kafka 2.7.2 and 2.6.3

🔹 Cost Management + hourly granularity in Savings Plans Utilization and Coverage reports

🔹 NICE DCV v2021.3 with DCV Connection Gateway and web client SDK v1.0.4 with multiple concurrent connections.

🔹 Translate + profanity masking

#AWS_week

🔰 AWS ANS-C00 Certified Advanced Networking | Udemy
AWS ANS-C00 Certified Advanced Networking Practice Tests

384 questions

⏳ FREE for: ⚠️ First 1000 enrolls
📶 Rating: 0.0 ⭐️
✅ Rated by: 0 students
🧲 Category: #IT_And_Software
🔄 Last Updated: 12/2021
👤 Instructor: Youssef elbayed

Опрос не содержит правильного ответа. The effect of the fail-open is to allow traffic to all targets in all enabled Availability Zones, ...,based on the load balancing algorithm. Ключевое тут based on the load balancing algorithm. Т.е все тоже самое если мы имеем все таргеты healthy

​​AWS notes — итоги года

Большое спасибо читателям и писателям! 😀

Ссылка на пост в картинке: Обычный день девопса в стартапе. За статистику и картинку отдельное спасибо TGStat.ru.

С Наступающим!

#statistics

​​Ещё одна уязвимость Log4j2 CVE-2021-44832, исправленная в 2.17.1:

https://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2021-44832

Итого на сейчас:
• 10 декабря CVE-2021-44228 - исправлена в 2.15.0
• 11 декабря CVE-2021-45046 - исправлена в 2.16.0
• 16 декабря CVE-2021-45105 - исправлена в 2.17.0
• 28 декабря CVE-2021-44832 - исправлена в 2.17.1

Последняя уязвимость (CVE-2021-44832) чисто теоретическая, т.к. предполагает возможность атакующего предварительно изменить файл настройки, чтобы активировать уязвимость.

Первоисточник картинки:

https://twitter.com/JGamblin/status/1475937931047186445

#security

На re:Invent 2021 был анонсирован новый сервис FSx for OpenZFS:

https://www.youtube.com/watch?v=hPJSIZD099o

Статья в блоге про FSx for OpenZFS:

https://aws.amazon.com/blogs/aws/new-amazon-fsx-for-openzfs/

Интересно отметить, как заметил @Seboreia, что FSx for OpenZFS работает лишь в одной AZ подзоне:

▫️ Your data is stored in encrypted form and replicated within an AWS Availability Zone, with components replaced automatically and transparently as necessary.

То есть данные между разными подзонами не реплицируются. И при наличии таких требований (доступность одних и тех же данных в разных AZ подзонах) придётся использовать (более массивный/продвинутый/дорогой) FSx for NetApp ONTAP.

#OpenZFS

​​Специальный подарок 📦 для подписчиков канала 😁 — теперь все AWS Regions имеют 3 AZ и больше! 💪

Ежели сомневаетесь, значит у вас устаревшие знания/данные, ведь регионы с 2 AZ теперь в прошлом — пройдите и убедитесь сами:

https://aws.amazon.com/about-aws/global-infrastructure/regions_az/

Наверняка вы просто пропустили, что теперь по 3 AZ подзоны в:

🔹 AWS China (Beijing) — с лета 2021
🔹 AWS Asia Pacific (Osaka) — с весны 2021
🔹 AWS Canada (Central) — с весны 2020
🔹 AWS Asia Pacific (Seoul) — с весны 2019
🔹 AWS Asia Pacific (Mumbai) — с весны 2019

Итого — везде 3 AZ и больше. Как минимум это справедливо на начало 2022-го года.

Ура, с Наступающим 2022! 🎄

#AWS_Regions

​​Weekly Summary on AWS (December 26, 2021 - January 1, 2022)

🔸 AWS resources to address Apache Log4j vulnerabilities

🔹 Amazon Fraud Detector + phone number enrichments

#AWS_week

​​Popular Open Source projects developed by AWS

🔸 AWS Distro for OpenTelemetry
🔸 BabelBabelfish for PostgreSQL
🔸 Bottlerocket OS
🔸 Corretto
🔸 EKS Distro
🔸 Firecracker
🔸 FreeRTOS
🔸 Gluon API
🔸 Karpenter
🔸 OpenSearch
🔸 s2n-tls

🔹 https://github.com/aws
🔹 https://github.com/aws-samples
🔹 https://github.com/awslabs

#opensources

🔰 AWS Certified Security Speciality Exam Certification 2021 | Udemy
Get your AWS Certified Security Speciality (SCS-C0) Certification from the first attempt

330 questions

⏳ FREE for: ⚠️ First 1000 enrolls
📶 Rating: 0.0 ⭐️
✅ Rated by: 0 students
🧲 Category: #IT_And_Software
🔄 Last Updated: 1/2022
👤 Instructor: OUSSAMA EL FELLAH

Плохие практики — VPC с двумя AZ подзонами или сколько правильно иметь AZ в VPC

Как показал опрос, 20% читателей используют фиксированные 2 AZ для разворота VPC. И действительно, для простоты и экономии, казалось бы, логично, использовать две AZ подзоны. Кучи примеров с такими настройками, презентаций, видео. Также многие просто руководствуются требованиями в документации, например, это минимальная рекомендация для ALB:

You must select at least two Availability Zone subnets.

Другие считают, что всё равно некоторые AWS регионы имеют лишь две AZ подзоны, потому логично ориентироваться на минимум для своих deployment скриптов, который подойдёт для всех.

Две (минимум) AZ

Попробуем разобраться в деталях, почему использовать лишь 2 AZ — плохая практика.

1️⃣ Во-первых, на текущий момент (начало 2022-го года) все AWS Regions имеют 3 AZ и больше.

2️⃣ Во-вторых, сами по себе AZ подзоны (как подсети для VPC) не стоят денег, потому в качестве экономического фактора не валидны.

3️⃣ В-третьих, это минимальное значение может стать крайне проблематичным в случае реального падения одной из AZ подзон.

Показательный случай был совсем недавно, 22 декабря 21-го года, когда упала USE1-AZ4 в N.Virginia после отключения электричества в её датацентре. По результатам падения, один из обладателей конфигурации с 2 AZ написал пост на Reddit, где пытался разобраться, почему 2 AZ не спасли от ошибок по таймауту.

Главные вывод следующий. Наблюдая проблемы в процессе их развития, он не мог быстро отреагировать на них, например, просто временно отключив одну из подсетей ALB (упавшей AZ4). А не смог он этого сделать как раз потому что минимальное значение подсетей для ALB, как было указано выше — 2 AZ! И потому ALB не дал возможности выбросить упавшую подзону.

Три AZ

Итого, если в VPC всего лишь 2 AZ, то нет возможности быстро/временно переконфигурировать сервисы, удалив из них проблемную AZ. Потому нормальным значением правильно считать 3 AZ или больше.

Максимум AZ

Про максимальное количество также стоит сказать. Кроме достаточно логичного, что в зависимости от используемого IaC, это может быть просто не шибко удобно по количеству кода, есть проблема другого характера. Некоторые AZ очень старые и уже давно не обновляются, в результате чего не имеют современных инстансов и можно получить ошибку "Your requested instance type is not supported in your requested Availability Zone":

https://aws.amazon.com/premiumsupport/knowledge-center/ec2-instance-type-not-supported-az-error/

Такая точно есть в N.Virginia и если нет возможности обрабатывать данную ошибку, то можно использовать лишь 5 AZ.

Сколько нужно AZ

А если добавить Local Zones, которые можно/нужно подключать, то управление и выбор подзон нонче правильно выносить в отдельный процесс, который нужно иметь возможность гибко конфигурировать.

#VPC #design

Максимальное покрытие тестами имеют баги, найденные на проде.

#qa

EKS + IPv6:

https://aws.amazon.com/blogs/aws/amazon-elastic-kubernetes-service-adds-ipv6-networking/

🔸 First, you can run more pods on one single host or subnet without the risk of exhausting all available IPv4 addresses available in your VPC.
🔸 Second, it allows for lower-latency communications with other IPv6 services, running on-premises, on AWS, or on the internet, by avoiding an extra NAT hop.
🔸 Third, it relieves network engineers of the burden of maintaining complex routing configurations.

#EKS #IPv6