Весёлый ролик от Corey Quinn не всем понятен, а весьма полезен. Потому далее расшифровка каждого пункта (моя версия).
💸 Managed NAT Gateway — популярная проблема, когда кажущиеся пустыми окружения жрут деньги из-за цены за NAT GW для private subnets.
💸 Amazon EBS — забытые неиспользуемые (не примонтированные) диски в разных аккаунтах жрут деньги, а в случае, если они Provisioned IOPS, то огромные деньги.
💸 Insecure S3 buckets - 450 independent "Security" researchers — в данном случае здесь, видимо, какая-то пародия на аудит безопасности, хотя при большом количестве данных расходы на S3 могут быть огромными. В помощь S3 Intelligent-Tiering и Amazon S3 Storage Lens.
💸 The Data Science team — так понимаю, команда резвящихся датасайенсистов стоит дорого.
💸 Cross AZ Data Transfer — малоприметная проблема пожирает незаметно деньги (и может большие), прикрытая общей уверенностью, что трафик внутри одного региона бесплатен.
💸 Your AWS Account Team — видимо шарж на команду AWS, которая лениво смотрит, как вы спонсируете их коктейли.
💸 RIs in the wrong region — про то, что Reserved Instances берутся на конкретный регион, иначе они просто проедают деньги. В помощь Savings Plans!
💸 CloudWatch Metrics и DataDog polling — одни из самых дорогих источников расходов на мониторинг, соревнующиеся в первенстве, кто дороже. Настраивайте нужные метрики с нужным интервалом. Как вариант – используйте Amazon Managed Prometheus.
💸 OverProvisioned IOPS — EBS диски с IOPS-ами дорогое удовольствие, потому не стоит привычно "брать с запасом", а руководствоваться адекватными метриками.
💸 Infrastructure in us-west-1 — регион N.California географически совсем рядом с Oregon (
💸 Deployed Amazon Macie — первая версия Macie была (есть) негуманно дорогая. Используйте вторую.
💸 Amazon Redshift — серьёзные вещи стоят серьёзные деньги и требуют серьёзного отношения.
💸 AWS Marketplace Vendors — поставленные из Marketplace продукты могут стоить (больших) денег – нужно не забывать отписываться от ставшего ненужным.
💸 Extra Snowball days — за каждый день свыше 10 включённых изначально, списываются деньги за пользование Snowball и это могут быть большие деньги (от десятков до сотен долларов в день).
💸 Business support on Developer accounts — план техподдержки Business стоит 100 долларов в месяц и привязан к конкретному аккаунту. Если это аккаунт для разработки, то по сравнению с Developer планом за 29$ в месяц в нём нет ничего, кроме дополнительных коктейлей для AWS Account Team выше.
💸 No expiry configured - CloudWatch logs everywhere — логи, которые никогда не удаляются, вечные ненужные бэкапы, ECR образы и куча всего другого - всё это пожирает деньги. Даже если не самые большие, но умноженное на всегда получается бесконечно много. Настраивайте
💸 Frequent Glacier Retrievals — получение данных из Glacier – дорогая операция, не нужно увлекаться, а лучше использовать S3 Intelligent Tier Archive, который теперь умеет сам складывать в Glacier и забирать оттуда
💸 EMR without Spot fleets — использование Spot fleets для EMR существенно экономит, стоит их использовать.
💸 Creds leaked on Github — не нужно публиковать свои ключи доступа на GitHub, это может стоить дорого.
💸 AWS Contracts Team — вот это я не расшифровал, буду признателен объяснению в комментариях.
p.s. Хороший пост про 10 простых и очевидных способов уменьшить стоимость вашей AWS инфраструктуры есть и на русском:
https://aws.amazon.com/ru/blogs/rus/10-things-you-can-do-today-to-reduce-aws-costs/
#cost_optimization
💸 Managed NAT Gateway — популярная проблема, когда кажущиеся пустыми окружения жрут деньги из-за цены за NAT GW для private subnets.
💸 Amazon EBS — забытые неиспользуемые (не примонтированные) диски в разных аккаунтах жрут деньги, а в случае, если они Provisioned IOPS, то огромные деньги.
💸 Insecure S3 buckets - 450 independent "Security" researchers — в данном случае здесь, видимо, какая-то пародия на аудит безопасности, хотя при большом количестве данных расходы на S3 могут быть огромными. В помощь S3 Intelligent-Tiering и Amazon S3 Storage Lens.
💸 The Data Science team — так понимаю, команда резвящихся датасайенсистов стоит дорого.
💸 Cross AZ Data Transfer — малоприметная проблема пожирает незаметно деньги (и может большие), прикрытая общей уверенностью, что трафик внутри одного региона бесплатен.
💸 Your AWS Account Team — видимо шарж на команду AWS, которая лениво смотрит, как вы спонсируете их коктейли.
💸 RIs in the wrong region — про то, что Reserved Instances берутся на конкретный регион, иначе они просто проедают деньги. В помощь Savings Plans!
💸 CloudWatch Metrics и DataDog polling — одни из самых дорогих источников расходов на мониторинг, соревнующиеся в первенстве, кто дороже. Настраивайте нужные метрики с нужным интервалом. Как вариант – используйте Amazon Managed Prometheus.
💸 OverProvisioned IOPS — EBS диски с IOPS-ами дорогое удовольствие, потому не стоит привычно "брать с запасом", а руководствоваться адекватными метриками.
💸 Infrastructure in us-west-1 — регион N.California географически совсем рядом с Oregon (
us-west-2
), однако ресурсы в N.California на 20+ процентов дороже.💸 Deployed Amazon Macie — первая версия Macie была (есть) негуманно дорогая. Используйте вторую.
💸 Amazon Redshift — серьёзные вещи стоят серьёзные деньги и требуют серьёзного отношения.
💸 AWS Marketplace Vendors — поставленные из Marketplace продукты могут стоить (больших) денег – нужно не забывать отписываться от ставшего ненужным.
💸 Extra Snowball days — за каждый день свыше 10 включённых изначально, списываются деньги за пользование Snowball и это могут быть большие деньги (от десятков до сотен долларов в день).
💸 Business support on Developer accounts — план техподдержки Business стоит 100 долларов в месяц и привязан к конкретному аккаунту. Если это аккаунт для разработки, то по сравнению с Developer планом за 29$ в месяц в нём нет ничего, кроме дополнительных коктейлей для AWS Account Team выше.
💸 No expiry configured - CloudWatch logs everywhere — логи, которые никогда не удаляются, вечные ненужные бэкапы, ECR образы и куча всего другого - всё это пожирает деньги. Даже если не самые большие, но умноженное на всегда получается бесконечно много. Настраивайте
lifecycle policy
для всего.💸 Frequent Glacier Retrievals — получение данных из Glacier – дорогая операция, не нужно увлекаться, а лучше использовать S3 Intelligent Tier Archive, который теперь умеет сам складывать в Glacier и забирать оттуда
бесплатно
.💸 EMR without Spot fleets — использование Spot fleets для EMR существенно экономит, стоит их использовать.
💸 Creds leaked on Github — не нужно публиковать свои ключи доступа на GitHub, это может стоить дорого.
💸 AWS Contracts Team — вот это я не расшифровал, буду признателен объяснению в комментариях.
p.s. Хороший пост про 10 простых и очевидных способов уменьшить стоимость вашей AWS инфраструктуры есть и на русском:
https://aws.amazon.com/ru/blogs/rus/10-things-you-can-do-today-to-reduce-aws-costs/
#cost_optimization
Twitter
Corey Quinn
"Okay Corey, I read duckbillgroup.com/services and still don't understand what it is you do exactly. Can you explain it differently? Perhaps via something with music and is more than a little horrifying?" Can do!
Запись вебинара «Оптимизация затрат в Облаке AWS»:
https://www.youtube.com/watch?v=e8R1UqfMMzo
#cost_optimization #video
https://www.youtube.com/watch?v=e8R1UqfMMzo
#cost_optimization #video
YouTube
Оптимизация затрат в Облаке AWS
Развертывая приложения в облаке AWS, вы хотите быть уверены, что ваше решение безопасно, работает на пике производительности и обладает нужными эксплуатационными характеристиками. Управление всей этой системой само по себе может быть довольно непростой задачей…
Cost Optimization для Serverless проектов:
https://blog.ecrazytechnologies.com/optimize-with-aws-cost-explorer
#serverless #cost_optimization
https://blog.ecrazytechnologies.com/optimize-with-aws-cost-explorer
#serverless #cost_optimization
eCrazy Technologies
Optimize with AWS Cost Explorer
AWS provides us a lavish free tier and generous developer credits. That made me kind of lax with any kind of budgeting. Whatever I do, I knew it would be covered. So I seldom cared for the costs.
My application is 100% serverless, and I was always wi...
My application is 100% serverless, and I was always wi...
Очистка S3 multipart uploads:
https://aws.amazon.com/blogs/aws-cost-management/discovering-and-deleting-incomplete-multipart-uploads-to-lower-amazon-s3-costs/
#S3 #cost_optimization
https://aws.amazon.com/blogs/aws-cost-management/discovering-and-deleting-incomplete-multipart-uploads-to-lower-amazon-s3-costs/
If the complete multipart upload request isn’t sent successfully, Amazon S3 will not assemble the parts and will not create any object. The parts remain in your Amazon S3 account until the multipart upload completes or is aborted, and you pay for the parts that are stored in Amazon S3.
#S3 #cost_optimization
Amazon
Discovering and Deleting Incomplete Multipart Uploads to Lower Amazon S3 Costs | Amazon Web Services
This blog post is contributed by Steven Dolan, Senior Enterprise Support TAM Amazon S3’s multipart upload feature allows you to upload a single object to an S3 bucket as a set of parts, providing benefits such as improved throughput and quick recovery from…
Если настраиваете S3 Lifecycle configuration rules для того, чтобы объекты переезжали в Glacier и Glacier Deep Archive, то стоит учесть допиздержки:
▪️
▪️
Это значит, что для мелких файлов - (меньше 10KB для Glacier Deep Archive и 16 для Glacier Deep Archive) стоимость файла на "обычном" S3 получается дешевле (и это не считая ещё траты за Lifecycle Transition requests).
В том числе поэтому S3 Intelligent-Tiering не работает с объектами меньше 128 KB:
The S3 Intelligent-Tiering storage class is suitable for objects larger than 128 KB that you plan to store for at least 30 days. If the size of an object is less than 128 KB, it is not eligible for auto-tiering.
#S3 #cost_optimization
▪️
For each object archived to S3 Glacier or S3 Glacier Deep Archive, Amazon S3 uses 8 KB of storage for the name of the object and other metadata. Amazon S3 stores this metadata so that you can get a real-time list of your archived objects by using the Amazon S3 API. For more information, see Get Bucket (List Objects). You are charged Amazon S3 Standard rates for this additional storage.
▪️
For each object that is archived to S3 Glacier or S3 Glacier Deep Archive, Amazon S3 adds 32 KB of storage for index and related metadata. This extra data is necessary to identify and restore your object. You are charged S3 Glacier or S3 Glacier Deep Archive rates for this additional storage.
Это значит, что для мелких файлов - (меньше 10KB для Glacier Deep Archive и 16 для Glacier Deep Archive) стоимость файла на "обычном" S3 получается дешевле (и это не считая ещё траты за Lifecycle Transition requests).
В том числе поэтому S3 Intelligent-Tiering не работает с объектами меньше 128 KB:
The S3 Intelligent-Tiering storage class is suitable for objects larger than 128 KB that you plan to store for at least 30 days. If the size of an object is less than 128 KB, it is not eligible for auto-tiering.
#S3 #cost_optimization
Всегда актуальные пояснения, как формируется (почему так много !?!😀) стоимость трафика в AWS:
https://aws.amazon.com/blogs/architecture/overview-of-data-transfer-costs-for-common-architectures/
▫️
▫️
▪️
▪️
▪️
#EC2 #cost_optimization
https://aws.amazon.com/blogs/architecture/overview-of-data-transfer-costs-for-common-architectures/
▪️ Avoid routing traffic over the internet when connecting to AWS services from within AWS by using VPC endpoints:
▫️
VPC gateway endpoints allow communication to Amazon S3 and Amazon DynamoDB without incurring data transfer charges.
▫️
VPC interface endpoints are available for some AWS services. This type of endpoint incurs hourly service charges and data transfer charges.
▪️
Use Direct Connect instead of the internet for sending data to on-premises networks.
▪️
Traffic that crosses an Availability Zone boundary typically incurs a data transfer charge. Use resources from the local Availability Zone whenever possible.
▪️
Traffic that crosses a Regional boundary will typically incur a data transfer charge. Avoid cross-Region data transfer unless your business case requires it.
#EC2 #cost_optimization
Amazon
Overview of Data Transfer Costs for Common Architectures | Amazon Web Services
Data transfer charges are often overlooked while architecting a solution in AWS. Considering data transfer charges while making architectural decisions can help save costs. This blog post will help identify potential data transfer charges you may encounter…
Сравнение производительности Lambda-
https://blog.thundra.io/a-performance-perspective-for-graviton-based-lambda-functions
#Lambda #cost_optimization
x86
vs Lambda-arm64
:https://blog.thundra.io/a-performance-perspective-for-graviton-based-lambda-functions
In conclusion, we can see the benefit of AWS Graviton2 for both price and performance.
#Lambda #cost_optimization
Как посчитать расходы на передачу данных для RDS, DynamoDB, Redshift и DocumentDB:
https://aws.amazon.com/blogs/architecture/exploring-data-transfer-costs-for-aws-managed-databases/
#cost_optimization
https://aws.amazon.com/blogs/architecture/exploring-data-transfer-costs-for-aws-managed-databases/
This blog post is intended to help you make informed decisions for designing your workload using managed databases in AWS. Note that service charges and charges related to network topology, such as AWS Transit Gateway, VPC Peering, and AWS Direct Connect, are out of scope for this blog but should be carefully considered when designing any architecture.
#cost_optimization
Amazon
Exploring Data Transfer Costs for AWS Managed Databases | Amazon Web Services
When selecting managed database services in AWS, it’s important to understand how data transfer charges are calculated – whether it’s relational, key-value, document, in-memory, graph, time series, wide column, or ledger. This blog will outline the data transfer…
DynamoDB
https://aws.amazon.com/blogs/aws/new-dynamodb-table-class-save-up-to-60-in-your-dynamodb-costs/
Отличная возможность сэкономить в два с половиной раза на стоимости редко используемых объёмных таблиц DynamoDB.
Важно отметить, что данный тариф для большого объёма данных, ибо на малых и часто востребованных данных можно лишь потерять, т.к. запросы записи-чтения дороже, а первые 25 ГБ не бесплатны для нового тарифа
DynamoDB Standard table class
▪️ First 25 GB stored per month is free using the DynamoDB Standard table class
▪️ $0.25 per GB-month thereafter
DynamoDB Standard-Infrequent Access (DynamoDB
▪️ $0.10 per GB-month
#DynamoDB #cost_optimization
Standard-IA
:https://aws.amazon.com/blogs/aws/new-dynamodb-table-class-save-up-to-60-in-your-dynamodb-costs/
Отличная возможность сэкономить в два с половиной раза на стоимости редко используемых объёмных таблиц DynamoDB.
Важно отметить, что данный тариф для большого объёма данных, ибо на малых и часто востребованных данных можно лишь потерять, т.к. запросы записи-чтения дороже, а первые 25 ГБ не бесплатны для нового тарифа
Standard-IA
.DynamoDB Standard table class
▪️ First 25 GB stored per month is free using the DynamoDB Standard table class
▪️ $0.25 per GB-month thereafter
DynamoDB Standard-Infrequent Access (DynamoDB
Standard-IA
) table class▪️ $0.10 per GB-month
#DynamoDB #cost_optimization
Amazon
New DynamoDB Table Class – Save Up To 60% in Your DynamoDB Costs | Amazon Web Services
Today we are announcing Amazon DynamoDB Standard-Infrequent Access (DynamoDB Standard-IA). A new table class for DynamoDB that reduces storage costs by 60 percent compared to existing DynamoDB Standard tables, and that delivers the same performance, durability…
aws-amicleaner — a cost-saving tool for deleting unused AMIs and EBS snapshots.
https://github.com/widdix/aws-amicleaner
#EC2 #AMI #cost_optimization
https://github.com/widdix/aws-amicleaner
#EC2 #AMI #cost_optimization
GitHub
GitHub - widdix/aws-amicleaner: To clean up your AWS AMIs: First, include AMIs by name or tag. Second, exclude AMIs in use, younger…
To clean up your AWS AMIs: First, include AMIs by name or tag. Second, exclude AMIs in use, younger than N days, or the newest N images. Third, manually confirm the list of AMIs for deletion. - wid...
📊 Get powerful visuals and deep insights to optimize costs on AWS with Cloud Intelligence Dashboards.
https://catalog.workshops.aws/awscid/en-US/dashboards
Foundational
▪️ CUDOS Dashboard
▪️ Cost Intelligence Dashboard
▪️ KPI Dashboard
Advanced
▪️ Compute Optimizer Dashboard
▪️ Trusted Advisor Organizational Dashboard
▪️ Cost Anomaly Dashboard
▪️ Extended Support - Cost Projection
▪️ Graviton Opportunities Dashboard
Additional
▪️ Trends Dashboard
▪️ DataTransfer Cost Analysis Dashboard
▪️ AWS Marketplace Single Pane of Glass Dashboard
▪️ Kubecost Containers Cost Allocation Dashboard
▪️ SCAD Containers Cost Allocation Dashboard
#Cost_Optimization #QuickSight
https://catalog.workshops.aws/awscid/en-US/dashboards
Foundational
▪️ CUDOS Dashboard
▪️ Cost Intelligence Dashboard
▪️ KPI Dashboard
Advanced
▪️ Compute Optimizer Dashboard
▪️ Trusted Advisor Organizational Dashboard
▪️ Cost Anomaly Dashboard
▪️ Extended Support - Cost Projection
▪️ Graviton Opportunities Dashboard
Additional
▪️ Trends Dashboard
▪️ DataTransfer Cost Analysis Dashboard
▪️ AWS Marketplace Single Pane of Glass Dashboard
▪️ Kubecost Containers Cost Allocation Dashboard
▪️ SCAD Containers Cost Allocation Dashboard
#Cost_Optimization #QuickSight
AWS Notes
Использование ресурсов в AWS: https://www.datadoghq.com/state-of-cloud-costs/ Каждая шестая виртуалка — GPU Каждая шестая виртуалка — ARM • Каждая десятая виртуалка — T4g 💪 Треть клиентов крутят контейнеры (ECS/EKS) Контейнеры загружены лишь на одну шестую…
Интересные цифры по загрузке контейнеров. Получается, что в среднем контейнеры загружены чуть более, чем на половину (17/29=59%).
Однако из-за общего оверпровизионинга кластеров это даёт всего лишь 17% загрузки.
Итого.
Fargate на бумаге на 20-30% дороже EC2.
А на деле — в 2-3 раза выгоднее!
#Fargate #EC2 #cost_optimization
Однако из-за общего оверпровизионинга кластеров это даёт всего лишь 17% загрузки.
Итого.
Fargate на бумаге на 20-30% дороже EC2.
А на деле — в 2-3 раза выгоднее!
#Fargate #EC2 #cost_optimization