​​Weekly Summary on AWS (December 26, 2021 - January 1, 2022)

🔸 AWS resources to address Apache Log4j vulnerabilities

🔹 Amazon Fraud Detector + phone number enrichments

#AWS_week

​​Popular Open Source projects developed by AWS

🔸 AWS Distro for OpenTelemetry
🔸 BabelBabelfish for PostgreSQL
🔸 Bottlerocket OS
🔸 Corretto
🔸 EKS Distro
🔸 Firecracker
🔸 FreeRTOS
🔸 Gluon API
🔸 Karpenter
🔸 OpenSearch
🔸 s2n-tls

🔹 https://github.com/aws
🔹 https://github.com/aws-samples
🔹 https://github.com/awslabs

#opensources

🔰 AWS Certified Security Speciality Exam Certification 2021 | Udemy
Get your AWS Certified Security Speciality (SCS-C0) Certification from the first attempt

330 questions

⏳ FREE for: ⚠️ First 1000 enrolls
📶 Rating: 0.0 ⭐️
✅ Rated by: 0 students
🧲 Category: #IT_And_Software
🔄 Last Updated: 1/2022
👤 Instructor: OUSSAMA EL FELLAH

Плохие практики — VPC с двумя AZ подзонами или сколько правильно иметь AZ в VPC

Как показал опрос, 20% читателей используют фиксированные 2 AZ для разворота VPC. И действительно, для простоты и экономии, казалось бы, логично, использовать две AZ подзоны. Кучи примеров с такими настройками, презентаций, видео. Также многие просто руководствуются требованиями в документации, например, это минимальная рекомендация для ALB:

You must select at least two Availability Zone subnets.

Другие считают, что всё равно некоторые AWS регионы имеют лишь две AZ подзоны, потому логично ориентироваться на минимум для своих deployment скриптов, который подойдёт для всех.

Две (минимум) AZ

Попробуем разобраться в деталях, почему использовать лишь 2 AZ — плохая практика.

1️⃣ Во-первых, на текущий момент (начало 2022-го года) все AWS Regions имеют 3 AZ и больше.

2️⃣ Во-вторых, сами по себе AZ подзоны (как подсети для VPC) не стоят денег, потому в качестве экономического фактора не валидны.

3️⃣ В-третьих, это минимальное значение может стать крайне проблематичным в случае реального падения одной из AZ подзон.

Показательный случай был совсем недавно, 22 декабря 21-го года, когда упала USE1-AZ4 в N.Virginia после отключения электричества в её датацентре. По результатам падения, один из обладателей конфигурации с 2 AZ написал пост на Reddit, где пытался разобраться, почему 2 AZ не спасли от ошибок по таймауту.

Главные вывод следующий. Наблюдая проблемы в процессе их развития, он не мог быстро отреагировать на них, например, просто временно отключив одну из подсетей ALB (упавшей AZ4). А не смог он этого сделать как раз потому что минимальное значение подсетей для ALB, как было указано выше — 2 AZ! И потому ALB не дал возможности выбросить упавшую подзону.

Три AZ

Итого, если в VPC всего лишь 2 AZ, то нет возможности быстро/временно переконфигурировать сервисы, удалив из них проблемную AZ. Потому нормальным значением правильно считать 3 AZ или больше.

Максимум AZ

Про максимальное количество также стоит сказать. Кроме достаточно логичного, что в зависимости от используемого IaC, это может быть просто не шибко удобно по количеству кода, есть проблема другого характера. Некоторые AZ очень старые и уже давно не обновляются, в результате чего не имеют современных инстансов и можно получить ошибку "Your requested instance type is not supported in your requested Availability Zone":

https://aws.amazon.com/premiumsupport/knowledge-center/ec2-instance-type-not-supported-az-error/

Такая точно есть в N.Virginia и если нет возможности обрабатывать данную ошибку, то можно использовать лишь 5 AZ.

Сколько нужно AZ

А если добавить Local Zones, которые можно/нужно подключать, то управление и выбор подзон нонче правильно выносить в отдельный процесс, который нужно иметь возможность гибко конфигурировать.

#VPC #design

Максимальное покрытие тестами имеют баги, найденные на проде.

#qa

EKS + IPv6:

https://aws.amazon.com/blogs/aws/amazon-elastic-kubernetes-service-adds-ipv6-networking/

🔸 First, you can run more pods on one single host or subnet without the risk of exhausting all available IPv4 addresses available in your VPC.
🔸 Second, it allows for lower-latency communications with other IPv6 services, running on-premises, on AWS, or on the internet, by avoiding an extra NAT hop.
🔸 Third, it relieves network engineers of the burden of maintaining complex routing configurations.

#EKS #IPv6

GKE in the EKS console:

https://aws.amazon.com/blogs/containers/connecting-google-kubernetes-engine-gke-clusters-to-amazon-eks/

With Amazon EKS Connector, customers can view their GKE cluster’s information along with Amazon EKS clusters in the EKS console.
In addition to GKE, Amazon EKS Connector allows you to register and connect any conformant Kubernetes cluster to Amazon EKS. Any external cluster information shown in the EKS console is view-only.

#EKS #GKE

Получаем тэги на виртуалке через метадата:

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/Using_Tags.html#work-with-tags-in-IMDS

Сначала включаем:

aws ec2 modify-instance-metadata-options --instance-id $(curl -s http://169.254.169.254/latest/meta-data/instance-id) --instance-metadata-tags enabled

Теперь получаем:

curl -s http://169.254.169.254/latest/meta-data/tags/instance/Name
test.instance

#metadata

​​Weekly Summary on AWS (January 2-8)

🔹 EMR on EKS
• Custom Image Validation Tool
• Error message details
• Customized container images including Graviton-based
• EMR Studio JupyterLab v3.1.4

🔹 OpenSearch + version 1.1
• Cross-cluster replication
• Anomaly detection for historical data
• Bucket Level Alerting
• Fine grained access control on existing domains

🔹 Glue
• Interactive Sessions and Job Notebooks
• Personal Identifiable Information (PII) detection and remediation
• Autoscaling

🔹 IoT Device Management + Automated Retry

🔹 IoT Core for LoRaWAN + Downlink Queue Management and Network Analyzer

🔹 Lambda + ES Modules and Top-Level Await for Node.js 14

🔹 EKS + IPv6

🔹 ACM Private CA + Kubernetes cert-manager v1.0

🔹 Redshift + AWS Data Exchange

🔹 CloudTrail Lake

🔹 CloudWatch Logs + Organizations

🔹 ECR + repository pull statistics

🔹 EC2 Instance Tags through Metadata

🔹 QLDB + JSON

🔹 Managed Blockchain + Hyperledger Fabric v2.2 LTS

🔹 EC2 On-Demand Capacity Reservations + Cluster Placement Groups

🔹 AppStream 2.0 + SAML 2.0 federated user identities

🔹 RDS for SQL Server + SSAS Multidimensional

🔹 Firewall Manager + Shield Advanced automatic application layer DDoS mitigation

#AWS_week

Вот тут дядя Витя норм поясняет за Карпентер и основные отличия от кластер-аутоскейлер

https://youtu.be/C-2v7HT-uSA

AWS Community Builders
Всем привет. Набор на весну 2022 официально открыт. Ссылка на форму - https://amazonmr.au1.qualtrics.com/jfe/form/SV_b89ma6QvizVPjWC?=CB2022-CBs

О программе я рассказывал, но вкратце расскажу о бенефитах:

SWAG от амазона(присылают посылкой)
500 долларов кредитов на все сервисы AWS(ну может быть кроме Ground Station) в год(раньше присылали физически, сейчас по e-mail)
Годовая бесплатная подписка на cloud academy
Ваучер на любой экзамен(1 раз в год)
Доступ к закрытым ивентам
Возможность постить в отдельной конфе на dev.to
Ну и конечно, самое главное - нетворкинг.

В общем много чего интересного и полезного.

Если у вас есть какие-либо блог-посты, публичные выступления, в общем абсолютно любой вклад в развитие коммунити - скорее всего вашу заявку одобрят. Не стесняйтесь и подавайтесь уже сегодня. Срок подачи заявок с сегодняшнего дня до 24 января.

Подробности поддержки IPv6 в EKS:

https://aws.amazon.com/blogs/containers/amazon-eks-launches-ipv6-support/

🔸 IPv6 support works for new and existing VPCs; you can opt in on a VPC-by-VPC basis.
🔸 Each VPC is given an IPv4 address prefix (CIDR block size can be from /16 to /28) a unique /56 IPv6 address prefix (fixed) from within Amazon’s GUA (Global Unicast Address); you can assign a /64 address prefix to each subnet in your VPC.
🔸 All the VPC features such as Security Groups, Route Tables, Network ACLs, Peering, and DNS resolution within a VPC all operate in the same way as IPv4.
🔸 Every instance gets both IPv4 and IPv6 addresses, along with corresponding DNS entries. For a given instance, only a single IPv4 address from the VPC address range is consumed.

#EKS #IPv6

​​Новая AWS Console — главная страница с полезной информацией.

Удобно, что сразу видны расходы (если включён доступ к биллингу для юзера в аккаунте), ссылки на последние сервисы и возможность расположить нужные элементы в удобных местах на дашборде.

Можно убрать или добавить виджеты (меню снизу), на текущий момент дополнительный виджет - это лишь Favorites. Можно изменить размер виджета, нажав Change Size.

В общем, реально полезное изменение для консоли, с удобным подходом, как это реализовано для AWS Activate.

Пользуемся!

#AWS_Console

Бесплатные курсы AWS по ML - https://www.amazon.science/latest-news/machine-learning-course-free-online-from-amazon-machine-learning-university

Полезный пост с описанием моментов по созданию мультирегиональных приложений:

https://aws.amazon.com/blogs/architecture/creating-a-multi-region-application-with-aws-services-part-2-data-and-replication/

When building a distributed system, consider the consistency, availability, partition tolerance (CAP) theorem. This theorem states that an application can only pick 2 out of the 3, and tradeoffs should be considered.
▫️ Consistency – all clients always have the same view of data
▫️ Availability – all clients can always read and write data
▫️ Partition Tolerance – the system will continue to work despite physical partitions

#design

​​Weekly Summary on AWS (January 9-15)

🔸 AppSync + cache entry eviction
🔸 AWS Toolkit for JetBrains IDEs + ECS-Exec
🔸 EC2 + Hpc6a instance type
🔸 EC2 Windows Server + Launch Speed Optimizations
🔸 ElastiCache + publish logs (6.2+)
🔸 EMR Studio
• Real-time collaborative notebooks
• SQL Explorer
🔸 IoT SiteWise Edge + Data Upload Prioritization
🔸 Kendra + query language
🔸 Lex + PrivateLink
🔹 Local Zones + Atlanta / Phoenix / Seattle
🔸 Redshift Spectrum + custom data validation rules
🔸 RDS for MySQL + 5.7.36 & 8.0.27
🔸 RDS Performance Insights + GetResourceMetadata, ListAvailableResourceDimensions, ListAvailableResourceMetrics
🔸 SageMaker Feature Store + connector for Spark
🔸 SNS + ABAC (Attribute-based access controls)
🔸 SSM + Command Document
🔹 Well-Architected Framework + Streaming Media Lens

#AWS_week

​​📚 FREE resources to prepare for AWS Certified Solution Architect Associate (SAA-CO2) exam.

1️⃣ AWS Ramp-Up Guide: Architect ✅
https://d1.awsstatic.com/training-and-certification/ramp-up_guides/Ramp-Up_Guide_Architect.pdf

2️⃣ Exam Readiness: AWS Certified Solutions Architect – Associate (Digital) ✅
https://explore.skillbuilder.aws/learn/course/external/view/elearning/125/exam-readiness-aws-certified-solutions-architect-associate-digital

3️⃣ AWS Certification Official Practice Question Sets (English) ✅
https://explore.skillbuilder.aws/learn/course/external/view/elearning/9153/aws-certification-official-practice-question-sets-english

4️⃣ AWS Whitepapers + Well architected Framework + FAQs ✅
https://aws.amazon.com/certification/certified-solutions-architect-associate/

5️⃣ Practice Exams ✅
http://www.koenig-solutions.com/aws

p.s. Original source.

#AWS_certification

Хорошая статья-сравнение параллельного запуска Lambda, App Runner и Fargate:

https://nathanpeck.com/concurrency-compared-lambda-fargate-app-runner/

🔸 Concurrency
🔹 Scaling

Lambda
🔸 Single concurrent request per Lambda function instance, but many separate Lambda function instances
🔹 Fully managed by AWS Lambda, default limit of 1000 concurrent executions. Scale out more function instances in under a second.

App Runner
🔸 Multiple concurrent requests per container, enforces a configurable hard limit such as 100 concurrent reqs/container
🔹 Fully managed by App Runner. Configure a concurrency limit per containerized process. Scale out more container instances in less than 1 min.

Fargate
🔸 Multiple concurrent requests per container, no built-in limits on concurrency per container
🔹 Managed by you. Scale out more container instances based on your desired metric: CPU, concurrency, or a custom metric. Scale out in less than 1 min.

#design