​​AWS notes — итоги года

Большое спасибо читателям и писателям! 😀

Ссылка на пост в картинке: Обычный день девопса в стартапе. За статистику и картинку отдельное спасибо TGStat.ru.

С Наступающим!

#statistics

​​Ещё одна уязвимость Log4j2 CVE-2021-44832, исправленная в 2.17.1:

https://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2021-44832

Итого на сейчас:
• 10 декабря CVE-2021-44228 - исправлена в 2.15.0
• 11 декабря CVE-2021-45046 - исправлена в 2.16.0
• 16 декабря CVE-2021-45105 - исправлена в 2.17.0
• 28 декабря CVE-2021-44832 - исправлена в 2.17.1

Последняя уязвимость (CVE-2021-44832) чисто теоретическая, т.к. предполагает возможность атакующего предварительно изменить файл настройки, чтобы активировать уязвимость.

Первоисточник картинки:

https://twitter.com/JGamblin/status/1475937931047186445

#security

На re:Invent 2021 был анонсирован новый сервис FSx for OpenZFS:

https://www.youtube.com/watch?v=hPJSIZD099o

Статья в блоге про FSx for OpenZFS:

https://aws.amazon.com/blogs/aws/new-amazon-fsx-for-openzfs/

Интересно отметить, как заметил @Seboreia, что FSx for OpenZFS работает лишь в одной AZ подзоне:

▫️ Your data is stored in encrypted form and replicated within an AWS Availability Zone, with components replaced automatically and transparently as necessary.

То есть данные между разными подзонами не реплицируются. И при наличии таких требований (доступность одних и тех же данных в разных AZ подзонах) придётся использовать (более массивный/продвинутый/дорогой) FSx for NetApp ONTAP.

#OpenZFS

​​Специальный подарок 📦 для подписчиков канала 😁 — теперь все AWS Regions имеют 3 AZ и больше! 💪

Ежели сомневаетесь, значит у вас устаревшие знания/данные, ведь регионы с 2 AZ теперь в прошлом — пройдите и убедитесь сами:

https://aws.amazon.com/about-aws/global-infrastructure/regions_az/

Наверняка вы просто пропустили, что теперь по 3 AZ подзоны в:

🔹 AWS China (Beijing) — с лета 2021
🔹 AWS Asia Pacific (Osaka) — с весны 2021
🔹 AWS Canada (Central) — с весны 2020
🔹 AWS Asia Pacific (Seoul) — с весны 2019
🔹 AWS Asia Pacific (Mumbai) — с весны 2019

Итого — везде 3 AZ и больше. Как минимум это справедливо на начало 2022-го года.

Ура, с Наступающим 2022! 🎄

#AWS_Regions

​​Weekly Summary on AWS (December 26, 2021 - January 1, 2022)

🔸 AWS resources to address Apache Log4j vulnerabilities

🔹 Amazon Fraud Detector + phone number enrichments

#AWS_week

​​Popular Open Source projects developed by AWS

🔸 AWS Distro for OpenTelemetry
🔸 BabelBabelfish for PostgreSQL
🔸 Bottlerocket OS
🔸 Corretto
🔸 EKS Distro
🔸 Firecracker
🔸 FreeRTOS
🔸 Gluon API
🔸 Karpenter
🔸 OpenSearch
🔸 s2n-tls

🔹 https://github.com/aws
🔹 https://github.com/aws-samples
🔹 https://github.com/awslabs

#opensources

🔰 AWS Certified Security Speciality Exam Certification 2021 | Udemy
Get your AWS Certified Security Speciality (SCS-C0) Certification from the first attempt

330 questions

⏳ FREE for: ⚠️ First 1000 enrolls
📶 Rating: 0.0 ⭐️
✅ Rated by: 0 students
🧲 Category: #IT_And_Software
🔄 Last Updated: 1/2022
👤 Instructor: OUSSAMA EL FELLAH

Плохие практики — VPC с двумя AZ подзонами или сколько правильно иметь AZ в VPC

Как показал опрос, 20% читателей используют фиксированные 2 AZ для разворота VPC. И действительно, для простоты и экономии, казалось бы, логично, использовать две AZ подзоны. Кучи примеров с такими настройками, презентаций, видео. Также многие просто руководствуются требованиями в документации, например, это минимальная рекомендация для ALB:

You must select at least two Availability Zone subnets.

Другие считают, что всё равно некоторые AWS регионы имеют лишь две AZ подзоны, потому логично ориентироваться на минимум для своих deployment скриптов, который подойдёт для всех.

Две (минимум) AZ

Попробуем разобраться в деталях, почему использовать лишь 2 AZ — плохая практика.

1️⃣ Во-первых, на текущий момент (начало 2022-го года) все AWS Regions имеют 3 AZ и больше.

2️⃣ Во-вторых, сами по себе AZ подзоны (как подсети для VPC) не стоят денег, потому в качестве экономического фактора не валидны.

3️⃣ В-третьих, это минимальное значение может стать крайне проблематичным в случае реального падения одной из AZ подзон.

Показательный случай был совсем недавно, 22 декабря 21-го года, когда упала USE1-AZ4 в N.Virginia после отключения электричества в её датацентре. По результатам падения, один из обладателей конфигурации с 2 AZ написал пост на Reddit, где пытался разобраться, почему 2 AZ не спасли от ошибок по таймауту.

Главные вывод следующий. Наблюдая проблемы в процессе их развития, он не мог быстро отреагировать на них, например, просто временно отключив одну из подсетей ALB (упавшей AZ4). А не смог он этого сделать как раз потому что минимальное значение подсетей для ALB, как было указано выше — 2 AZ! И потому ALB не дал возможности выбросить упавшую подзону.

Три AZ

Итого, если в VPC всего лишь 2 AZ, то нет возможности быстро/временно переконфигурировать сервисы, удалив из них проблемную AZ. Потому нормальным значением правильно считать 3 AZ или больше.

Максимум AZ

Про максимальное количество также стоит сказать. Кроме достаточно логичного, что в зависимости от используемого IaC, это может быть просто не шибко удобно по количеству кода, есть проблема другого характера. Некоторые AZ очень старые и уже давно не обновляются, в результате чего не имеют современных инстансов и можно получить ошибку "Your requested instance type is not supported in your requested Availability Zone":

https://aws.amazon.com/premiumsupport/knowledge-center/ec2-instance-type-not-supported-az-error/

Такая точно есть в N.Virginia и если нет возможности обрабатывать данную ошибку, то можно использовать лишь 5 AZ.

Сколько нужно AZ

А если добавить Local Zones, которые можно/нужно подключать, то управление и выбор подзон нонче правильно выносить в отдельный процесс, который нужно иметь возможность гибко конфигурировать.

#VPC #design

Максимальное покрытие тестами имеют баги, найденные на проде.

#qa

EKS + IPv6:

https://aws.amazon.com/blogs/aws/amazon-elastic-kubernetes-service-adds-ipv6-networking/

🔸 First, you can run more pods on one single host or subnet without the risk of exhausting all available IPv4 addresses available in your VPC.
🔸 Second, it allows for lower-latency communications with other IPv6 services, running on-premises, on AWS, or on the internet, by avoiding an extra NAT hop.
🔸 Third, it relieves network engineers of the burden of maintaining complex routing configurations.

#EKS #IPv6

GKE in the EKS console:

https://aws.amazon.com/blogs/containers/connecting-google-kubernetes-engine-gke-clusters-to-amazon-eks/

With Amazon EKS Connector, customers can view their GKE cluster’s information along with Amazon EKS clusters in the EKS console.
In addition to GKE, Amazon EKS Connector allows you to register and connect any conformant Kubernetes cluster to Amazon EKS. Any external cluster information shown in the EKS console is view-only.

#EKS #GKE

Получаем тэги на виртуалке через метадата:

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/Using_Tags.html#work-with-tags-in-IMDS

Сначала включаем:

aws ec2 modify-instance-metadata-options --instance-id $(curl -s http://169.254.169.254/latest/meta-data/instance-id) --instance-metadata-tags enabled

Теперь получаем:

curl -s http://169.254.169.254/latest/meta-data/tags/instance/Name
test.instance

#metadata

​​Weekly Summary on AWS (January 2-8)

🔹 EMR on EKS
• Custom Image Validation Tool
• Error message details
• Customized container images including Graviton-based
• EMR Studio JupyterLab v3.1.4

🔹 OpenSearch + version 1.1
• Cross-cluster replication
• Anomaly detection for historical data
• Bucket Level Alerting
• Fine grained access control on existing domains

🔹 Glue
• Interactive Sessions and Job Notebooks
• Personal Identifiable Information (PII) detection and remediation
• Autoscaling

🔹 IoT Device Management + Automated Retry

🔹 IoT Core for LoRaWAN + Downlink Queue Management and Network Analyzer

🔹 Lambda + ES Modules and Top-Level Await for Node.js 14

🔹 EKS + IPv6

🔹 ACM Private CA + Kubernetes cert-manager v1.0

🔹 Redshift + AWS Data Exchange

🔹 CloudTrail Lake

🔹 CloudWatch Logs + Organizations

🔹 ECR + repository pull statistics

🔹 EC2 Instance Tags through Metadata

🔹 QLDB + JSON

🔹 Managed Blockchain + Hyperledger Fabric v2.2 LTS

🔹 EC2 On-Demand Capacity Reservations + Cluster Placement Groups

🔹 AppStream 2.0 + SAML 2.0 federated user identities

🔹 RDS for SQL Server + SSAS Multidimensional

🔹 Firewall Manager + Shield Advanced automatic application layer DDoS mitigation

#AWS_week

Вот тут дядя Витя норм поясняет за Карпентер и основные отличия от кластер-аутоскейлер

https://youtu.be/C-2v7HT-uSA

AWS Community Builders
Всем привет. Набор на весну 2022 официально открыт. Ссылка на форму - https://amazonmr.au1.qualtrics.com/jfe/form/SV_b89ma6QvizVPjWC?=CB2022-CBs

О программе я рассказывал, но вкратце расскажу о бенефитах:

SWAG от амазона(присылают посылкой)
500 долларов кредитов на все сервисы AWS(ну может быть кроме Ground Station) в год(раньше присылали физически, сейчас по e-mail)
Годовая бесплатная подписка на cloud academy
Ваучер на любой экзамен(1 раз в год)
Доступ к закрытым ивентам
Возможность постить в отдельной конфе на dev.to
Ну и конечно, самое главное - нетворкинг.

В общем много чего интересного и полезного.

Если у вас есть какие-либо блог-посты, публичные выступления, в общем абсолютно любой вклад в развитие коммунити - скорее всего вашу заявку одобрят. Не стесняйтесь и подавайтесь уже сегодня. Срок подачи заявок с сегодняшнего дня до 24 января.

Подробности поддержки IPv6 в EKS:

https://aws.amazon.com/blogs/containers/amazon-eks-launches-ipv6-support/

🔸 IPv6 support works for new and existing VPCs; you can opt in on a VPC-by-VPC basis.
🔸 Each VPC is given an IPv4 address prefix (CIDR block size can be from /16 to /28) a unique /56 IPv6 address prefix (fixed) from within Amazon’s GUA (Global Unicast Address); you can assign a /64 address prefix to each subnet in your VPC.
🔸 All the VPC features such as Security Groups, Route Tables, Network ACLs, Peering, and DNS resolution within a VPC all operate in the same way as IPv4.
🔸 Every instance gets both IPv4 and IPv6 addresses, along with corresponding DNS entries. For a given instance, only a single IPv4 address from the VPC address range is consumed.

#EKS #IPv6

​​Новая AWS Console — главная страница с полезной информацией.

Удобно, что сразу видны расходы (если включён доступ к биллингу для юзера в аккаунте), ссылки на последние сервисы и возможность расположить нужные элементы в удобных местах на дашборде.

Можно убрать или добавить виджеты (меню снизу), на текущий момент дополнительный виджет - это лишь Favorites. Можно изменить размер виджета, нажав Change Size.

В общем, реально полезное изменение для консоли, с удобным подходом, как это реализовано для AWS Activate.

Пользуемся!

#AWS_Console