Что у VPC под капотом — Mapping Service, Virtual Router и Blackfoot.
https://www.sentiatechblog.com/amazon-vpc-the-picasso-of-software-defined-networking
Детальная и при этом просто красивая статья о том, как работает VPC под капотом. Очень рекомендуется для глубокого понимания.
Кроме того добавлю, что статья примерно-показательная в том плане, что написана по открытым источникам и в ней много того, что в том числе неоднократно рассказывал Василий Пантюхин в своих обязательных к просмотру видео о внутренностях AWS сервисов.
Сам делаю также, когда надо хорошо разобраться в какой-то теме. Собираю информацию в кучу из разных источников, смотрю Deep Dive видео и конспектирую ссылки. После, если требуется — можно легко погрузиться и освежить знания.
У автора такой же подробный (длинный — и это правильно) список ссылок по теме VPC (в конце статьи). Отлично и уже сделанная работа — сам буду использовать и вам рекомендую. :)
#VPC
https://www.sentiatechblog.com/amazon-vpc-the-picasso-of-software-defined-networking
Детальная и при этом просто красивая статья о том, как работает VPC под капотом. Очень рекомендуется для глубокого понимания.
Кроме того добавлю, что статья примерно-показательная в том плане, что написана по открытым источникам и в ней много того, что в том числе неоднократно рассказывал Василий Пантюхин в своих обязательных к просмотру видео о внутренностях AWS сервисов.
Сам делаю также, когда надо хорошо разобраться в какой-то теме. Собираю информацию в кучу из разных источников, смотрю Deep Dive видео и конспектирую ссылки. После, если требуется — можно легко погрузиться и освежить знания.
У автора такой же подробный (длинный — и это правильно) список ссылок по теме VPC (в конце статьи). Отлично и уже сделанная работа — сам буду использовать и вам рекомендую. :)
#VPC
Лучшие посты из AWS блога по VPC за 2020-ый год:
• Securing VPCs Egress using IDS/IPS leveraging Transit Gateway
• New – Amazon Simple Email Service (SES) for VPC Endpoints
• Building an egress VPC with AWS Transit Gateway and the AWS CDK
• Use Amazon VPC Endpoint Policies for granular control of Amazon EC2 APIs
• Migrate from Transit VPC to AWS Transit Gateway
• Using VPC Sharing for a Cost-Effective Multi-Account Microservice Architecture
• Using VPC Flow Logs to capture and query EKS network communications
• Use AWS Firewall Manager and VPC security groups to protect your applications hosted on EC2 instances
• Using AWS Lambda IAM condition keys for VPC settings
• Reduce Cost and Increase Security with Amazon VPC Endpoints
• VPC Flow Log automation using AWS Control Tower LifeCycle
• Managing Amazon S3 access with VPC endpoints and S3 Access Points
#VPC
• Securing VPCs Egress using IDS/IPS leveraging Transit Gateway
• New – Amazon Simple Email Service (SES) for VPC Endpoints
• Building an egress VPC with AWS Transit Gateway and the AWS CDK
• Use Amazon VPC Endpoint Policies for granular control of Amazon EC2 APIs
• Migrate from Transit VPC to AWS Transit Gateway
• Using VPC Sharing for a Cost-Effective Multi-Account Microservice Architecture
• Using VPC Flow Logs to capture and query EKS network communications
• Use AWS Firewall Manager and VPC security groups to protect your applications hosted on EC2 instances
• Using AWS Lambda IAM condition keys for VPC settings
• Reduce Cost and Increase Security with Amazon VPC Endpoints
• VPC Flow Log automation using AWS Control Tower LifeCycle
• Managing Amazon S3 access with VPC endpoints and S3 Access Points
#VPC
VPC Reachability Analyzer:
https://aws.amazon.com/blogs/aws/new-vpc-insights-analyzes-reachability-and-visibility-in-vpcs/
Позволяет проверить доступность между различными элементами в одной или разных VPC. В простом случае – между двумя виртуалками (на картинке).
Может быть хорошим инструментом для быстрого поиска причин недоступности — чтобы найти и визуально показать забытые NACL или отвалившийся пиринг.
#VPC
https://aws.amazon.com/blogs/aws/new-vpc-insights-analyzes-reachability-and-visibility-in-vpcs/
Позволяет проверить доступность между различными элементами в одной или разных VPC. В простом случае – между двумя виртуалками (на картинке).
Может быть хорошим инструментом для быстрого поиска причин недоступности — чтобы найти и визуально показать забытые NACL или отвалившийся пиринг.
#VPC
Нажав в AWS Console для VPC кнопку See all regions можно быстро увидеть количество различных ресурсов по всем регионам в аккаунте. Что удобно для поиска, где находятся забытые VPC с NAT GW, незаметно пожирающих деньги, Elastic IP или просто быстро найти используемые регионы с поднятыми виртуалками.
p.s. Полезную кнопку подсказал вопросом Виктор, за что ему большое спасибо.
#AWS_Console #VPC
p.s. Полезную кнопку подсказал вопросом Виктор, за что ему большое спасибо.
#AWS_Console #VPC
Приятный бонус для систем с VPC Peering — передача данных между инстансами в разных VPC, находящимисия при этом в одной и той же AZ-подзоне — бесплатна:
https://aws.amazon.com/about-aws/whats-new/2021/05/amazon-vpc-announces-pricing-change-for-vpc-peering/
То есть тарификация такая же, как если бы инстансы были внутри одной VPC. До этого тарификация взималась за исходящий и входящий трафик в каждом из аккаунтов.
#VPC
https://aws.amazon.com/about-aws/whats-new/2021/05/amazon-vpc-announces-pricing-change-for-vpc-peering/
То есть тарификация такая же, как если бы инстансы были внутри одной VPC. До этого тарификация взималась за исходящий и входящий трафик в каждом из аккаунтов.
#VPC
Amazon
Amazon VPC Announces Pricing Change for VPC Peering
Теперь можно вешать целую подсетку (
https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-prefix-eni.html
Это значит вскоре лимиты количества подов на одну виртуалку резко увеличится и можно будет даже на самых слабеньких инстансах крутить сотни подов, а также позволит внедрить полноценный IPv6 для них.
#VPC
/28
для IPv4 и /80
для IPv6) на каждый сетевой интерфейс: https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-prefix-eni.html
Это значит вскоре лимиты количества подов на одну виртуалку резко увеличится и можно будет даже на самых слабеньких инстансах крутить сотни подов, а также позволит внедрить полноценный IPv6 для них.
#VPC
Amazon
Assign prefixes to Amazon EC2 network interfaces - Amazon Elastic Compute Cloud
You can assign a private IPv4 or IPv6 CIDR range, either automatically or manually, to your network interfaces. By assigning prefixes, you scale and simplify the management of applications, including container and networking applications that require multiple…
Как объединить сеть проектов в Azure и AWS с помощью managed решения:
https://techcommunity.microsoft.com/t5/fasttrack-for-azure/how-to-create-a-vpn-between-azure-and-aws-using-only-managed/ba-p/2281900
Отличная штука, чтобы не плодить свои костыли для соединения в общую сеть — полностью managed решение на базе сервисов Azure VPN Gateway и AWS Virtual Private Gateway. Особенно круто, что аналогично можно подключить и к AWS Transit Gateway.
#Azure #VPC
https://techcommunity.microsoft.com/t5/fasttrack-for-azure/how-to-create-a-vpn-between-azure-and-aws-using-only-managed/ba-p/2281900
Отличная штука, чтобы не плодить свои костыли для соединения в общую сеть — полностью managed решение на базе сервисов Azure VPN Gateway и AWS Virtual Private Gateway. Особенно круто, что аналогично можно подключить и к AWS Transit Gateway.
#Azure #VPC
TECHCOMMUNITY.MICROSOFT.COM
How to create a VPN between Azure and AWS using only managed solutions
What if you can establish a connection between Azure and AWS using only managed solutions instead to have to use virtual machines? This is exactly what..
Advanced Amazon VPC design and new capabilities:
https://www.youtube.com/watch?v=fi3vcenH6UY
🔸 VPC networking overview
🔸 IPv6 only subnets
🔸 DNS64
🔸 NAT64
🔸 Resource-based instance naming
🔸 IPv6 targets for ALB/NLB
🔸 IPAM (IP Address Manager)
🔸 VPC enhanced routing
🔸 Private NATGW
🔸 S3 Interface Endpoint
🔸 PrivateLink: ALB + NLB integration
🔸 TGW Connect
🔸 TGW intra-region peering
🔸 Direct Connect overview
🔸 Direct Connect MACsec
🔸 Direct Connect + Local Zones
🔸 Direct Connect SiteLink
🔸 AWS Cloud WAN
🔸 Network Access Analyzer
🔸 VPC Reachability Analyzer
#VPC #TGW #IPv6 #reInvent #video
https://www.youtube.com/watch?v=fi3vcenH6UY
🔸 VPC networking overview
🔸 IPv6 only subnets
🔸 DNS64
🔸 NAT64
🔸 Resource-based instance naming
🔸 IPv6 targets for ALB/NLB
🔸 IPAM (IP Address Manager)
🔸 VPC enhanced routing
🔸 Private NATGW
🔸 S3 Interface Endpoint
🔸 PrivateLink: ALB + NLB integration
🔸 TGW Connect
🔸 TGW intra-region peering
🔸 Direct Connect overview
🔸 Direct Connect MACsec
🔸 Direct Connect + Local Zones
🔸 Direct Connect SiteLink
🔸 AWS Cloud WAN
🔸 Network Access Analyzer
🔸 VPC Reachability Analyzer
#VPC #TGW #IPv6 #reInvent #video
YouTube
AWS re:Invent 2021 - Advanced Amazon VPC design and new capabilities
Amazon VPC gives you complete control over your AWS virtual networking environment. Have you ever wondered how new Amazon VPC features affect the way you design your AWS networking infrastructure or change existing architectures that you use today? This session…
Плохие практики — VPC с двумя AZ подзонами или сколько правильно иметь AZ в VPC
Как показал опрос, 20% читателей используют фиксированные 2 AZ для разворота VPC. И действительно, для простоты и экономии, казалось бы, логично, использовать две AZ подзоны. Кучи примеров с такими настройками, презентаций, видео. Также многие просто руководствуются требованиями в документации, например, это минимальная рекомендация для ALB:
You must select at least two Availability Zone subnets.
Другие считают, что всё равно некоторые AWS регионы имеют лишь две AZ подзоны, потому логично ориентироваться на минимум для своих deployment скриптов, который подойдёт для всех.
Две (минимум) AZ
Попробуем разобраться в деталях, почему использовать лишь 2 AZ — плохая практика.
1️⃣ Во-первых, на текущий момент (начало 2022-го года) все AWS Regions имеют 3 AZ и больше.
2️⃣ Во-вторых, сами по себе AZ подзоны (как подсети для VPC) не стоят денег, потому в качестве экономического фактора не валидны.
3️⃣ В-третьих, это минимальное значение может стать крайне проблематичным в случае реального падения одной из AZ подзон.
Показательный случай был совсем недавно, 22 декабря 21-го года, когда упала
Главные вывод следующий. Наблюдая проблемы в процессе их развития, он не мог быстро отреагировать на них, например, просто временно отключив одну из подсетей ALB (упавшей
Три AZ
Итого, если в VPC всего лишь 2 AZ, то нет возможности быстро/временно переконфигурировать сервисы, удалив из них проблемную AZ. Потому нормальным значением правильно считать 3 AZ или больше.
Максимум AZ
Про максимальное количество также стоит сказать. Кроме достаточно логичного, что в зависимости от используемого IaC, это может быть просто не шибко удобно по количеству кода, есть проблема другого характера. Некоторые AZ очень старые и уже давно не обновляются, в результате чего не имеют современных инстансов и можно получить ошибку "
https://aws.amazon.com/premiumsupport/knowledge-center/ec2-instance-type-not-supported-az-error/
Такая точно есть в
Сколько нужно AZ
А если добавить Local Zones, которые можно/нужно подключать, то управление и выбор подзон нонче правильно выносить в отдельный процесс, который нужно иметь возможность гибко конфигурировать.
#VPC #design
Как показал опрос, 20% читателей используют фиксированные 2 AZ для разворота VPC. И действительно, для простоты и экономии, казалось бы, логично, использовать две AZ подзоны. Кучи примеров с такими настройками, презентаций, видео. Также многие просто руководствуются требованиями в документации, например, это минимальная рекомендация для ALB:
You must select at least two Availability Zone subnets.
Другие считают, что всё равно некоторые AWS регионы имеют лишь две AZ подзоны, потому логично ориентироваться на минимум для своих deployment скриптов, который подойдёт для всех.
Две (минимум) AZ
Попробуем разобраться в деталях, почему использовать лишь 2 AZ — плохая практика.
1️⃣ Во-первых, на текущий момент (начало 2022-го года) все AWS Regions имеют 3 AZ и больше.
2️⃣ Во-вторых, сами по себе AZ подзоны (как подсети для VPC) не стоят денег, потому в качестве экономического фактора не валидны.
3️⃣ В-третьих, это минимальное значение может стать крайне проблематичным в случае реального падения одной из AZ подзон.
Показательный случай был совсем недавно, 22 декабря 21-го года, когда упала
USE1-AZ4
в N.Virginia после отключения электричества в её датацентре. По результатам падения, один из обладателей конфигурации с 2 AZ написал пост на Reddit, где пытался разобраться, почему 2 AZ не спасли от ошибок по таймауту.Главные вывод следующий. Наблюдая проблемы в процессе их развития, он не мог быстро отреагировать на них, например, просто временно отключив одну из подсетей ALB (упавшей
AZ4
). А не смог он этого сделать как раз потому что минимальное значение подсетей для ALB, как было указано выше — 2 AZ! И потому ALB не дал возможности выбросить упавшую подзону.Три AZ
Итого, если в VPC всего лишь 2 AZ, то нет возможности быстро/временно переконфигурировать сервисы, удалив из них проблемную AZ. Потому нормальным значением правильно считать 3 AZ или больше.
Максимум AZ
Про максимальное количество также стоит сказать. Кроме достаточно логичного, что в зависимости от используемого IaC, это может быть просто не шибко удобно по количеству кода, есть проблема другого характера. Некоторые AZ очень старые и уже давно не обновляются, в результате чего не имеют современных инстансов и можно получить ошибку "
Your requested instance type is not supported in your requested Availability Zone
":https://aws.amazon.com/premiumsupport/knowledge-center/ec2-instance-type-not-supported-az-error/
Такая точно есть в
N.Virginia
и если нет возможности обрабатывать данную ошибку, то можно использовать лишь 5 AZ.Сколько нужно AZ
А если добавить Local Zones, которые можно/нужно подключать, то управление и выбор подзон нонче правильно выносить в отдельный процесс, который нужно иметь возможность гибко конфигурировать.
#VPC #design
Telegram
aws_notes
Сколько AZ подзон обычно используете для VPC?
#опрос
Фиксированно 2 / Фиксированно 3 / Определяю динамически - максимальное значение для региона / Не знаю / Посмотреть результат
#опрос
Фиксированно 2 / Фиксированно 3 / Определяю динамически - максимальное значение для региона / Не знаю / Посмотреть результат
🆕 Transfer Elastic IP addresses from one AWS account to another:
https://docs.aws.amazon.com/vpc/latest/userguide/vpc-eips.html#transfer-EIPs-intro
✅ You can transfer Elastic IP addresses to accounts within the same AWS Organization.
✅ You can transfer Elastic IP addresses to standalone AWS accounts outside of AWS Organization.
✅ You can transfer Elastic IP addresses only within the same AWS Region.
❌ You cannot transfer Elastic IP addresses between AWS Organizations.
When you transfer an Elastic IP address, there is a two-step handshake between AWS accounts:
▪️ the source account (either a standard AWS account or an AWS Organizations account) and the transfer accounts.
▪️ when the source account starts the transfer, the transfer accounts have seven hours to accept the Elastic IP address transfer, or the Elastic IP address will return to its original owner.
#VPC
https://docs.aws.amazon.com/vpc/latest/userguide/vpc-eips.html#transfer-EIPs-intro
✅ You can transfer Elastic IP addresses to accounts within the same AWS Organization.
✅ You can transfer Elastic IP addresses to standalone AWS accounts outside of AWS Organization.
✅ You can transfer Elastic IP addresses only within the same AWS Region.
❌ You cannot transfer Elastic IP addresses between AWS Organizations.
When you transfer an Elastic IP address, there is a two-step handshake between AWS accounts:
▪️ the source account (either a standard AWS account or an AWS Organizations account) and the transfer accounts.
▪️ when the source account starts the transfer, the transfer accounts have seven hours to accept the Elastic IP address transfer, or the Elastic IP address will return to its original owner.
#VPC
⛅ AWS re:Invent 2022 - Advanced VPC design and new Amazon VPC capabilities:
https://www.youtube.com/watch?v=cbUNbK8ZdA0
The main video from each re:Invent — and so every year. 😀
#VPC #Lattice #CloudWatchInternetMonitor #AVA #reInvent
https://www.youtube.com/watch?v=cbUNbK8ZdA0
The main video from each re:Invent — and so every year. 😀
1:26
From the beginning4:33
IPv6 (2021 releases)7:20
ENA Express 💥 New9:54
Network Address Usage13:08
VPC Peering14:07
Transit Gateway19:22
Cloud WAN (2021)25:15
Application networking27:27
VPC Lattice 💥 New37:00
Network Operations37:39
Network Manager38:29
Infrastructure Performance40:23
CloudWatch Internet Monitor 💥 New44:03
AWS Verified Access (AVA) 💥 New#VPC #Lattice #CloudWatchInternetMonitor #AVA #reInvent
Теперь можно ссылаться на Security Groups из другой VPC, которая присоединена через Transit Gateway:
https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/security-group-rules-reference.html#tgw-vpc-rules
Раньше можно было ссылаться на SG из других VPC только через VPC peering, теперь можно из через TGW. Правда для этого потребуется обновить TGW или VPC attachment:
https://docs.aws.amazon.com/vpc/latest/tgw/tgw-sg-updates.html
Особенности:
▪️ Ссылаться через TGW peering нельзя (VPC -> TGW -> TGW peering -> TGW -> VPC, только VPC -> TGW -> VPC).
▪️ Ссылаться можно лишь в правиле для входящего трафика.
▪️ Не работает на древних виртуалках (только Nitro-based EC2 instances).
▪️ Не работает на любых виртуалках, расположенных в древних датацентрах, конкретно подзона
▪️ Не работает, как минимум пока, с PrivateLink и Reachability Analyzer.
Кому-то мелкая вещь и бессмысленная вещь, а кому-то упрощение управление зоопарком Security Groups в сложной сети.
#VPC #TransitGateway #SecurityGroup
https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/security-group-rules-reference.html#tgw-vpc-rules
Раньше можно было ссылаться на SG из других VPC только через VPC peering, теперь можно из через TGW. Правда для этого потребуется обновить TGW или VPC attachment:
https://docs.aws.amazon.com/vpc/latest/tgw/tgw-sg-updates.html
Особенности:
▪️ Ссылаться через TGW peering нельзя (VPC -> TGW -> TGW peering -> TGW -> VPC, только VPC -> TGW -> VPC).
▪️ Ссылаться можно лишь в правиле для входящего трафика.
▪️ Не работает на древних виртуалках (только Nitro-based EC2 instances).
▪️ Не работает на любых виртуалках, расположенных в древних датацентрах, конкретно подзона
use1-az3
(которую всегда рекомендовал исключать).▪️ Не работает, как минимум пока, с PrivateLink и Reachability Analyzer.
Кому-то мелкая вещь и бессмысленная вещь, а кому-то упрощение управление зоопарком Security Groups в сложной сети.
#VPC #TransitGateway #SecurityGroup