Python While Loop.

​​Weekly Summary on AWS (January 23-29)

🔸 Chime SDK + background replacement
🔸 Cloud Map API + IPv6
🔸 DocumentDB
➖ 1-month free trial (t3.medium, 750 hours / 30M IOs / 5GB)
➖ $geoIntersects
➖ $geoWithin
➖ $mergeObjects
➖ $reduce
🔸 EC2 X2iezn instances (32:1 ratio of memory to vCPU)
🔸 ECS Anywhere + ECS Exec and Amazon Linux 2
🔸 EFS Replication
🔸 Fraud Detector + prediction explanations
🔸 FSx for ONTAP + increase storage capacity
🔸 GuardDuty + EKS
🔸 Lightsail CDN + Lightsail Container Services
as origin
🔸 MWAA (Airflow) + version 2.2
🔸 PrivateLink + CloudWatch metrics
🔸 QuickSight + comparative and cumulative date/time calculations
🔸 RDS for PostgreSQL 14.1, 13.5, 12.9, 11.14, 10.19, and 9.6.24
🔸 RDS Performance Insights + query execution plan
🔸 S3 File Gateway + schedule-based network bandwidth throttling
🔸 SageMaker Autopilot
➖ 100 GB datasets (before - 10GB)
➖ Apache Parquet file format
🔸 Textract + single page PDF documents & JPEG 2000 encoded images
🔹 Panorama Appliances + available for purchase

#AWS_week

​​S3 Replication vs AWS Datasync vs S3 Batch Operations vs S3 CopyObject API:

https://aws.amazon.com/blogs/storage/considering-four-different-replication-options-for-data-in-amazon-s3/

#S3

​​Как добавить дополнительную информацию об AWS аккаунте в Security Hub:

https://aws.amazon.com/blogs/security/how-to-enrich-aws-security-hub-findings-with-account-metadata/

По умолчанию в Security Hub показывается лишь AWS ID, что становится совершенно бесполезным, как только у вас 10+ аккаунтов (всех по айдишнику не запомнишь).

Ситуацию можно исправить с помощью Лямбды, которая будет тригериться на каждый эвент Security Hub findings, обрабатывая его через через EventBridge.

В результате можно легко увидеть имя AWS аккаунта (см. картинку). Я бы ещё добавил туда и тэги.

#SecurityHub

#машины_aws

Одно из моих любимых занятий - ковырять нелюбимые инструменты, чтобы не любить их экспертно и за дело. Один из таких инструментов - CodeDeploy - до неприятия муторный, сложный и противный.

Чего только стоит необходимость запускать Shell скрипты из spec-файла. Да, даже если весь скрипт состоит из одной команды.

Предлагаю разделить мою нелюбовь и начать эту неделю с мультирегионального развертывания приложений с помощью CodePipeline и CodeDeploy. Да еще и на виртуальные машины, чтоб жизнь совсем уж медом не казалась.

​​В AWS сертификации теперь есть бэджи, которые можно получить для какого-то направления.

https://aws.amazon.com/training/badges/

Получить их можно бесплатно, на текущий момент есть лишь блок по хранилищам данных.

AWS Learning badges are credentials that offer these benefits:
🔸 AWS digital badges demonstrate your knowledge and skills for specific AWS Cloud topics, such as Object Storage
🔸 AWS digital badges are shareable on social networks to help you stand out to recruiters and prospective hiring managers
🔸 AWS digital badges are free to earn and share

#AWS_certification

​​How to send repeated notifications for CloudWatch Alarms:

https://aws.amazon.com/blogs/mt/how-to-enable-amazon-cloudwatch-alarms-to-send-repeated-notifications/

1️⃣ CloudWatch alarm is triggered and goes into the ALARM state.
2️⃣ CloudWatch alarm sends the first alarm notification to the associated SNS alarm actions.
3️⃣ CloudWatch Alarms service sends an alarm state change event which triggers the EventBridge rule.
4️⃣ With a match event, the EventBridge rule invokes the Step Function target.
5️⃣ Once the Step Function starts execution, it first enters a Wait state.
6️⃣ The Step Function enters the Lambda Invocation task. The Lambda invocation task:
▫️ Checks if the alarm has the specific tag key and value (e.g., RepeatedAlarm:true). If not, the function exits
▫️ Checks the alarm’s current state by performing a DescribeAlarms API with the alarm name.
▫️ Publishes the existing alarm’s status returned from the DescribeAlarms API call to all the SNS topics subscribed on the alarm
▫️ Returns the alarm’s current state together with the original received event back to the Step Function.
7️⃣ The Choice state checks the alarm state returned by the Lambda function and directs the workflow to go back to the Wait state if the alarm state is ‘ALARM’ otherwise it ends the step function’s execution.
8️⃣ The repeated notification for an alarm within the workflow above stops when:
▫️ The alarm transitions to a non-ALARM state.
▫️ The alarm is deleted.
▫️ A specific tag is removed from the alarm.

#CloudWatch

​​Terraform module for setting up OIDC federation between AWS and Github Actions/Gitlab CI:

https://github.com/marco-lancini/utils/tree/main/terraform/aws-oidc-ci

module "ci_oidc" {
source = "./aws-oidc-ci"
allow_github = true
github_org = "<org_name>"
github_repos = [
"<repo2_name>:*",
# To restrict to a branch,
# replace `*` with `ref_type:branch:ref:main`
"<repo1_name>:ref_type:branch:ref:main",
]
}

#Terraform

Подведение итогов reCap re:Invent 2021 - бизнес-трек:

https://www.youtube.com/watch?v=E6CgUapKl9o

#reInvent

​​Weekly Summary on AWS (January 30 - February 5)

🔸AppFlow + Custom Connector SDK for Python and Java
🔸Amazon Connect Chat + ChatDurationInMinutes from 1 hour to 7 days
🔸EC2 AMI + Recycle Bin
🔸FSx for OpenZFS + full-copy volumes
🔸IoT Core + per-device level logging
🔸Lambda + auto scaling improvements for MSK and self-managed Kafka
🔸Lex + multiple transcripts and confidence scores for speech input
🔸MSK (Kafka) + 1000 MiB/s per broker
🔸QuickSight + rich text formatting options for visual titles and subtitles
🔸PrivateLink
➖ ElastiCache
➖ MemoryDB
🔸RDS Custom for Oracle + version 12.1
🔸RDS for MariaDB + version 10.6
🔸SageMaker Data Wrangler + JSON, JSONL, and ORC
🔸SageMaker JumpStart + custom VPC and KMS
🔸Secrets Manager + rotation windows
🔸Step Functions Local
🔸Storage Gateway + recover previous versions of files for on-premises

Solutions:
🔹Maintaining Personalized Experiences with Machine Learning version 1.2.0
🔹MLOps Workload Orchestrator version 1.5.0

#AWS_week

Что такое Sustainability

Вдруг вы пропустили появление Sustainability Pillar, думаете, что это что-то несущественное или вообще не знаете о чём речь, что за Sustainability такой (такая, такое).

Кратко и упрощённо, Sustainability — широкое понятие, которое используется, чтобы отразить стремление к учёту влияния на окружающую среду как важного (или даже главного) фактора. Как для бизнеса вообще, так и для конкретной реализации каких-то задач.

Приведу пример, чтобы объяснить смысл. Без учёта Sustainability компании Amazon Web Services выгодно, если вы накликали себе в консоли 8-процессорную виртуалку 5 лет назад, на которой сайт на полтора пользователя в сутки и платите за всё это исправно. Не считая просто забытых и не используемых виртуалок, БД, дисков с IOPs, терабайтов бессмысленных логов и так далее и тому подобное, список может быть бесконечным.

Главное вы платите, а значит AWS зарабатывает. Зарабатывает, по сути, просто на увеличении энтропии, бессмысленно расходуя энергию на вашу страсть быть спонсором Амазона. С точки зрения чисто бизнеса — это очень круто.

Однако если бизнес хочет быть "Sustainability", то это уже перестаёт быть круто. Как когда-то перестало быть круто зарабатывать на детском труде. Нужно много чего менять у себя, нужно много чего делать, нужно много чего помогать изменить другим.

Несколько лет назад AWS начала делать. Это можно наблюдать и в инициативах по создании своих ветряков и солнечных станций. И в крупных инициативах типа The Climate Pledge. И в чисто техническом плане — все вот эти S3 Intelligent-Tiering, где за пользователя AWS сама пытается ему же сэкономить. Ведь это большие вложения на разработку, эксплуатацию и поддержку, а на выходе выгодоприобретатель кто? Пользователь.

Именно — пользователь, он же клиент, который меньше платит, то есть как бы дважды в минус с точки зрения бизнеса. Однако это и есть Sustainability — компания вкладывается, улучшает свои процессы внутри, использует сама. А также даёт их другим, увеличивая как свою эффективность, так и эффективность других. Sustainability, однако.

#Sustainability

запилил перевод третьей части - https://mykola.today/glubokoe-pogruzhenie-v-dynamodb-chast-tretja/

Kong Data Plane Life Cycle With AWS Cloud Development Kit

https://konghq.com/blog/aws-cloud-development-kit

#k8s #kubernetes #aws #tool #ingress #kong

​​Replicate Existing Objects with S3 Batch Replication:

https://aws.amazon.com/blogs/aws/new-replicate-existing-objects-with-amazon-s3-batch-replication/

When to Use Amazon S3 Batch Replication
◻️ Replicate existing objects – use S3 Batch Replication to replicate objects that were added to the bucket before the replication rules were configured.
◻️ Replicate objects that previously failed to replicate – retry replicating objects that failed to replicate previously with the S3 Replication rules due to insufficient permissions or other reasons.
◻️ Replicate objects that were already replicated to another destination – you might need to store multiple copies of your data in separate AWS accounts or Regions. S3 Batch Replication can replicate objects that were already replicated to new destinations.
◻️ Replicate replicas of objects that were created from a replication rule – S3 Replication creates replicas of objects in destination buckets. Replicas of objects cannot be replicated again with live replication. These replica objects can only be replicated with S3 Batch Replication.

#S3 #Batch

App Runner теперь поддерживает VPC (да, раньше не поддерживал😀):

https://aws.amazon.com/blogs/containers/deep-dive-on-aws-app-runner-vpc-networking/

Очень полезный пост с подробностями, которые не так часто бывают при появлении новых фич сервисов — как устроено под капотом, как было и как стало, сетевая часть, амазоновская часть. Очень стоит почитать, даже если не планируете использовать AppRunner.

Кто пропустил, AppRunner — рекомендуемый AWS сервис для запуска контейнеров, условно (не точно, но по смыслу точно 😁) замена давно устаревшему Beanstalk.

#AppRunner

​​Terraform AWS Provider 4.0:

https://www.hashicorp.com/blog/terraform-aws-provider-4-0-refactors-s3-bucket-resource

Version 4.0 of the Terraform AWS provider brings four major updates:
1️⃣ Updating the Amazon S3 bucket resource, creating additional resources for S3 bucket management
2️⃣ Implementing the full CRUD lifecycle for default resources
3️⃣ Ensuring all plural data sources can return zero results
4️⃣ Updating the provider configuration

#Terraform

​​Weekly Summary on AWS (February 6-12)

🔸App Runner + VPC
🔸CloudFormation Hooks
🔸CloudFront + AWS-managed prefix list
🔸Connect + CloudWatch for Chat metrics
🔸Control Tower + updated support for AWS best practices and Region deny
🔸Fraud Detector Variable Geolocation enrichment
🔸Glue DataBrew
➖ E.164 phone number standardization
➖ Multi-column and custom sort as transformations
🔸Migration Hub Refactor Spaces
🔸Neptune
➖ 128 TiB of storage per cluster (up from 64 TiB)
➖ Custom models and SPARQL
🔸Organizations + centrally manage alternate contacts on AWS accounts in AWS Console
🔸PrivateLink
➖ Forecast
➖ Elemental MediaConnect
➖ SSM Incident Manager
🔸Redshift + Streaming Ingestion for Kinesis Data Streams
🔸S3 Batch Replication
🔸SageMaker Autopilot + new Model Insights for classification problems
🔸SSM Distributor + deploy Alert Logic MDR Agent
🔹ParallelCluster v3.1.1 with multi-user environments through AWS Directory Service

#AWS_week