Передача переменных в ECS task definition одним файлом (̶п̶о̶ ̶п̶р̶я̶м̶о̶й̶ ̶с̶с̶ы̶л̶к̶е̶ ̶б̶е̶з̶ ̶р̶е̶г̶и̶с̶т̶р̶а̶ц̶и̶и̶ ̶в̶ ̶х̶о̶р̶о̶ш̶е̶м̶ ̶к̶а̶ч̶е̶с̶т̶в̶е̶)̶:
https://docs.aws.amazon.com/AmazonECS/latest/developerguide/taskdef-envfiles.html
Очевидное удобство, простой и рабочий способ для централизованной раздачи переменных с S3 по окружениям.
#ECS
https://docs.aws.amazon.com/AmazonECS/latest/developerguide/taskdef-envfiles.html
{
"family": "",
"containerDefinitions": [
{
"name": "",
"image": "",
...
"environmentFiles": [
{
"value": "arn:aws:s3:::my-bucket/config.env",
"type": "s3"
}
],
...
}
],
...
}
Очевидное удобство, простой и рабочий способ для централизованной раздачи переменных с S3 по окружениям.
#ECS
Amazon
Pass an individual environment variable to an Amazon ECS container - Amazon Elastic Container Service
Use the environment container definition parameter to pass environment variables to a container.
EC2 Instance Connect теперь работает через ABAC. Это значит, что для того, чтобы зайти по SSH на виртуалку, теперь достаточно прописать на ней правильные тэги:
https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-instance-connect-set-up.html#ec2-instance-connect-configure-IAM-role
Вы всё ещё кипятите Bastion host? Тогда мы идём к вам!
#EC2 #SSH #ABAC
https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-instance-connect-set-up.html#ec2-instance-connect-configure-IAM-role
{
"Version":"2012-10-17",
"Statement":[
{
"Effect":"Allow",
"Action":"ec2-instance-connect:SendSSHPublicKey",
"Resource": "arn:aws:ec2:eu-west-1:123456789012:instance/*",
"Condition":{
"StringEquals":{
"aws:ResourceTag/my-tag":"my-value"
}
}
},
{
"Effect": "Allow",
"Action": "ec2:DescribeInstances",
"Resource": "*"
}
]
}
Вы всё ещё кипятите Bastion host? Тогда мы идём к вам!
#EC2 #SSH #ABAC
Amazon
Install EC2 Instance Connect on your EC2 instances - Amazon Elastic Compute Cloud
Configure your Amazon EC2 instance to support EC2 Instance Connect.
Forwarded from GEEK EXPORT
☁️{7 ключевых AWS навыков в 2020}📇
Вышла статья от крупного американского рекрутингового агенства про то, что стоит указать в своем CV. Агенство специализируется на инженерах со знаниями именно этого public cloud. Но конечно тренды применимы и к другим провайдерам. Если вкратце - разбирайтесь в serverless, python, devops, cloud security, чтобы не отставать. Ниже приводим ссылку на статью.
Вышла статья от крупного американского рекрутингового агенства про то, что стоит указать в своем CV. Агенство специализируется на инженерах со знаниями именно этого public cloud. Но конечно тренды применимы и к другим провайдерам. Если вкратце - разбирайтесь в serverless, python, devops, cloud security, чтобы не отставать. Ниже приводим ссылку на статью.
Нашёл классную книжку на Амазоне по Амазону:
https://www.amazon.com/Mastering-AWS-CloudFormation-infrastructure-effectively/dp/178913093X
Однако читаю лишь в бумажном виде, потому попытался заказать её на Packt, где обещают бесплатную доставку, но заказ для Беларуси так и не удалось сделать.
Потому просьба, если (когда) кто-то «оттуда» будет в Минске — напишите в личку, буду крайне признателен (помощи по доставке ценного образца).
Счастливы, читающие с экрана.
p.s. @mykola7799 перевёл AWS Open Guide (кто не видел - обязательно почитайте) — теперь есть задача посерьёзней!
p.s. p.s. Имею честь быть знакомым с автором книжки лично, настоящим профи и не только в части CloudFormation, с удовольствием почитаю, а также без зазрения совести порекомендую всем, кто серьёзно работает с AWS.
#CloudFormation
https://www.amazon.com/Mastering-AWS-CloudFormation-infrastructure-effectively/dp/178913093X
Однако читаю лишь в бумажном виде, потому попытался заказать её на Packt, где обещают бесплатную доставку, но заказ для Беларуси так и не удалось сделать.
Потому просьба, если (когда) кто-то «оттуда» будет в Минске — напишите в личку, буду крайне признателен (помощи по доставке ценного образца).
Счастливы, читающие с экрана.
p.s. @mykola7799 перевёл AWS Open Guide (кто не видел - обязательно почитайте) — теперь есть задача посерьёзней!
p.s. p.s. Имею честь быть знакомым с автором книжки лично, настоящим профи и не только в части CloudFormation, с удовольствием почитаю, а также без зазрения совести порекомендую всем, кто серьёзно работает с AWS.
#CloudFormation
Well-Architected по Machine Learning:
https://aws.amazon.com/blogs/architecture/introducing-the-well-architected-framework-for-machine-learning/
#design #ML #best_practices
https://aws.amazon.com/blogs/architecture/introducing-the-well-architected-framework-for-machine-learning/
#design #ML #best_practices
Amazon
Introducing the Well-Architected Framework for Machine Learning | Amazon Web Services
We have published a new whitepaper, Machine Learning Lens, to help you design your machine learning (ML) workloads following cloud best practices. This whitepaper gives you an overview of the iterative phases of ML and introduces you to the ML and artificial…
Как выглядит типичное современное serverless приложение на AWS:
https://medium.com/serverless-transformation/what-a-typical-100-serverless-architecture-looks-like-in-aws-40f252cd0ecb
Очень качественно и чётко написано. Каждой функции — по Лямбде, одна задача — одна Лямбда. Разделяем на микросервисы, объединяем через EventBridge, фронт на Amplify + S3 + CloudFront, бэкенд через API GW на Лямбдах с DynamoDB, асинхронные задачи — SNS, SQS, авторизация на Cognito, безопасность — IAM, сложные вещи — с помощью Step Functions.
Замечаете совпадение с 10 рекомендуемыми сервисами AWS для начинающих? 10 из 10. А статья более свежая. :)
#serverless #design
https://medium.com/serverless-transformation/what-a-typical-100-serverless-architecture-looks-like-in-aws-40f252cd0ecb
Очень качественно и чётко написано. Каждой функции — по Лямбде, одна задача — одна Лямбда. Разделяем на микросервисы, объединяем через EventBridge, фронт на Amplify + S3 + CloudFront, бэкенд через API GW на Лямбдах с DynamoDB, асинхронные задачи — SNS, SQS, авторизация на Cognito, безопасность — IAM, сложные вещи — с помощью Step Functions.
Замечаете совпадение с 10 рекомендуемыми сервисами AWS для начинающих? 10 из 10. А статья более свежая. :)
#serverless #design
Medium
What a typical 100% Serverless Architecture looks like in AWS!
If you are new to serverless and looking for a high level web architecture guide, you’ve come to the right place!
В школе рисовал глайдеры из игры Life, изучая графику, матрицы и упражняясь в минимизации кода для отрисовки. Добрался до нескольких килобайт. С приходом Pentium и регистров MMX монстры Ассемблера умудрились засунуть такое в сотню байт.
К чему это я. Нонче, в качестве похожего полезного упражнения в оттачивании кодинга, модно пытаться изобразить структуру AWS аккаунта.
https://github.com/rdkls/aws_infra_map_neo4j
Почти всегда получается совершенно бессмысенно, но временами красиво.
К чему это я. Нонче, в качестве похожего полезного упражнения в оттачивании кодинга, модно пытаться изобразить структуру AWS аккаунта.
https://github.com/rdkls/aws_infra_map_neo4j
Почти всегда получается совершенно бессмысенно, но временами красиво.
Forwarded from Человек и машина
Всем, кто хочет сдавать экзамены AWS, настоятельно рекомендую проходить Exam Readiness курсы, они бесплатные и позволяют оценить масштаб трагедии.
Регистрируем аккаунт и смотрим по этой ссылке: AWS training and certification
Пока готовился к одному из экзаменов, решил прослушать readiness и нарвался на брильянтовую классификацию "облачных" миграций, которая называется "6 Rs".
1. Retain - для очень сложных и болезненных приложений. Не трогаем, потом вернемся.
2. Re-host - так называемый lift-and-shift, тащим как есть, а там разберемся.
3. Refactor - он же метод transform. Миша, все по новой, все херня. Разрабатываем приложения с нуля уже в облаке.
4. Re-platform - lift-and-shift с модификациями.
5. Replace - вместо миграции заносим денег вендору (вместо своей Mongo покупаем DocumentDB).
6. Retire - оно тебе не нужно, сжечь и забыть.
Я повидал немало дерьма, так теперь знаю, к какой R оно относиться.
Тех же, кто еще только открывает для себя AWS, я приглашаю послушать мое выступление 4ого июня.
Регистрируем аккаунт и смотрим по этой ссылке: AWS training and certification
Пока готовился к одному из экзаменов, решил прослушать readiness и нарвался на брильянтовую классификацию "облачных" миграций, которая называется "6 Rs".
1. Retain - для очень сложных и болезненных приложений. Не трогаем, потом вернемся.
2. Re-host - так называемый lift-and-shift, тащим как есть, а там разберемся.
3. Refactor - он же метод transform. Миша, все по новой, все херня. Разрабатываем приложения с нуля уже в облаке.
4. Re-platform - lift-and-shift с модификациями.
5. Replace - вместо миграции заносим денег вендору (вместо своей Mongo покупаем DocumentDB).
6. Retire - оно тебе не нужно, сжечь и забыть.
Я повидал немало дерьма, так теперь знаю, к какой R оно относиться.
Тех же, кто еще только открывает для себя AWS, я приглашаю послушать мое выступление 4ого июня.
devops-nsk.timepad.ru
Тонем в облаках: краткое руководство освоения AWS / События на TimePad.ru
Эта встреча предназначен для тех, кто никогда не работал с AWS, да и вообще
оказался в положении 22-летнего сеньора. Мы не будем определяться с тем,
«зачем» нам копаться в AWS, но будет искать ответы на вопросы «Как?».
оказался в положении 22-летнего сеньора. Мы не будем определяться с тем,
«зачем» нам копаться в AWS, но будет искать ответы на вопросы «Как?».
AWS Cloud Week
Серия онлайн-выступлений от представителей компаний РФ и Украины об их случаях использования AWS.
https://go.aws/3bLI30T
Расписание:
25 мая • понедельник
26 мая • вторник
27 мая • среда
28 мая • четверг
29 мая • пятница
Регистрируйтесь и подключайтесь!
Серия онлайн-выступлений от представителей компаний РФ и Украины об их случаях использования AWS.
https://go.aws/3bLI30T
Расписание:
25 мая • понедельник
13:00-14:00
— MailRu Cloud Solutions: Строим мультикластерный K8s - кейсы использования KubeFed и Istio26 мая • вторник
13:00-14:00
— JetBrains: Гетерогенное облако для билд-фермы27 мая • среда
13:00-14:00
— Bitrix24: Опыт боевого использования DynamoDB в Bitrix24 и облачных сервисах компании28 мая • четверг
13:00-14:00
— Kupibilet: Практика использования AWS Web Application Firewall в компании Kupibilet29 мая • пятница
13:00-14:00
— SoftServe: Опыт миграции приложений на Amazon EKS в больших компаниях14:30-15:30
— Ciklum: Использование AWS Well Architecture Framework для Software Architecture Evaluations & InnovationsРегистрируйтесь и подключайтесь!
Кто активно использует CodeCommit, у него есть свой credentials helper — git-remote-codecommit:
https://docs.aws.amazon.com/codecommit/latest/userguide/setting-up-git-remote-codecommit.html
Ему можно прописать нужного IAM юзера и работать с GIT через него, а не используя логин-пароль (HTTPS) или ключ (SSH).
#CodeCommit
https://docs.aws.amazon.com/codecommit/latest/userguide/setting-up-git-remote-codecommit.html
Ему можно прописать нужного IAM юзера и работать с GIT через него, а не используя логин-пароль (HTTPS) или ключ (SSH).
#CodeCommit
Amazon
Setup steps for HTTPS connections to AWS CodeCommit with git-remote-codecommit - AWS CodeCommit
Provides steps for setting up to connect to CodeCommit repositories over HTTPS with git-remote-codecommit, a utility that modifies Git. This is the recommended approach for federated or temporary access connections to CodeCommit repositories. You can also…
Первый день Serverless First Function, впервые онлайн:
https://pages.awscloud.com/GLOBAL-event-OE-serverless-first-function-2020-reg-event.html
Начнётся через 1 час. Подключайтесь!
#Serverless
https://pages.awscloud.com/GLOBAL-event-OE-serverless-first-function-2020-reg-event.html
Начнётся через 1 час. Подключайтесь!
#Serverless
Пример проекта на Django (GitLab CI + ECS), переехавшего с CloudFormation на CDK:
https://gitlab.com/verbose-equals-true/django-postgres-vue-gitlab-ecs
#CDK
https://gitlab.com/verbose-equals-true/django-postgres-vue-gitlab-ecs
#CDK
GitLab
Verbose Equals True / django-postgres-vue-gitlab-ecs · GitLab
An example project that demonstrates local development, CI/CD and production setup for a full stack web app using Django, Django REST Framework, Django Channels, Postgres, VueJS, Redis, Celery,...
Serverless голосовалка как пример использования AWS Amplify:
https://github.com/dabit3/this-or-that
Посмотреть действующий экземпляр (и проголосовать) можно здесь:
https://www.thisorthat.cloud/serverless-or-containers
А также создать свою голосовалку там же или развернуть такую же у себя.
#Amplify #Serverless
https://github.com/dabit3/this-or-that
Посмотреть действующий экземпляр (и проголосовать) можно здесь:
https://www.thisorthat.cloud/serverless-or-containers
А также создать свою голосовалку там же или развернуть такую же у себя.
#Amplify #Serverless
Facebook начинает набирать удалёнщиков на работу:
https://www.protocol.com/mark-zuckerberg-remote-work-facebook
Пока лишь USA/Canada, но наверняка потом везде. Главное, что гиганты индустрии пересматривают свои подходы к удалённой работе.
В общем, на очереди — AWS. :)
https://www.protocol.com/mark-zuckerberg-remote-work-facebook
Пока лишь USA/Canada, но наверняка потом везде. Главное, что гиганты индустрии пересматривают свои подходы к удалённой работе.
В общем, на очереди — AWS. :)
Protocol
Mark Zuckerberg: Remote work is the future of Facebook
Even as the company reopens offices, it's only going to operate them at about 25% capacity for the foreseeable future.
Использование Control Tower для управления организацией в мульти-аккаунт схеме:
https://aws.amazon.com/blogs/apn/reducing-the-cost-of-managing-multiple-aws-accounts-using-aws-control-tower/
Расписаны отличия Control Tower от AWS Landing Zone и что в нём было урезано в последней версии для упрощения развёртывания.
#ControlTower #multi_account_strategy
https://aws.amazon.com/blogs/apn/reducing-the-cost-of-managing-multiple-aws-accounts-using-aws-control-tower/
Расписаны отличия Control Tower от AWS Landing Zone и что в нём было урезано в последней версии для упрощения развёртывания.
#ControlTower #multi_account_strategy
Terraform 0.13 —
https://github.com/hashicorp/terraform/issues/25016
#Terraform
count
, for_each
, depends_on
и другие ожидаемые фичи:https://github.com/hashicorp/terraform/issues/25016
v0.13.0 beta
выйдет в следующем месяце.#Terraform
GitHub
Terraform v0.13.0 beta program · Issue #25016 · hashicorp/terraform
We just launched Terraform 0.13.0 beta 3! We need your help, and want to hear from you. You can download beta 2 on releases.hashicorp.com. Updated Release Schedule We found (and fixed) two issues l...
Хороший пример использования AWS App Mesh:
https://medium.com/containers-on-aws/aws-app-mesh-walkthrough-deploy-the-color-app-on-amazon-ecs-de3452846e9d
Очень подробное описание — каждая стадия детально расписана. Также интересно посмотреть на мониторинг с помощью X-Ray для визуализации распределённых сервисов.
#AppMesh
https://medium.com/containers-on-aws/aws-app-mesh-walkthrough-deploy-the-color-app-on-amazon-ecs-de3452846e9d
Очень подробное описание — каждая стадия детально расписана. Также интересно посмотреть на мониторинг с помощью X-Ray для визуализации распределённых сервисов.
#AppMesh
Medium
AWS App Mesh Walkthrough
How to Deploy the Color App on Amazon ECS
У CodeBuild есть возможность сохранять результаты тестов — Test Reports:
https://docs.aws.amazon.com/codebuild/latest/userguide/test-reporting.html
В Test Reports есть поддержка JUnit, Cucumber, TestNG и TRX форматов, история хранится 30 дней в самом сервисе, а чтобы больше - нужно закидывать на S3.
Пример конфигурации в блоге:
https://aws.amazon.com/blogs/devops/test-reports-with-aws-codebuild/
#CodeBuild
https://docs.aws.amazon.com/codebuild/latest/userguide/test-reporting.html
В Test Reports есть поддержка JUnit, Cucumber, TestNG и TRX форматов, история хранится 30 дней в самом сервисе, а чтобы больше - нужно закидывать на S3.
Пример конфигурации в блоге:
https://aws.amazon.com/blogs/devops/test-reports-with-aws-codebuild/
#CodeBuild
Проектируем и эксплуатируем Well-Architected аналитику с помощью Analytics Lens:
https://aws.amazon.com/blogs/big-data/build-an-aws-well-architected-environment-with-the-analytics-lens/
Даже если не связаны с проектами по аналитике, полезно глянуть, как рекомендуется выстраивать такие процессы. С помощью таких рекомендаций можно с ходу придумать схему, которая при этом подпадёт под #best_practices.
Например, данные собираются в S3 через Storage Gateway. Анализируем их с помощью Athena, метаданные отправляем в Elasticsearch для возможности классификации и поиска, везде используем шифрование с помощью своего KMS ключа, а пользовательский доступ к конечным данным реализуем с помощью Cognito.
#design
https://aws.amazon.com/blogs/big-data/build-an-aws-well-architected-environment-with-the-analytics-lens/
Даже если не связаны с проектами по аналитике, полезно глянуть, как рекомендуется выстраивать такие процессы. С помощью таких рекомендаций можно с ходу придумать схему, которая при этом подпадёт под #best_practices.
Например, данные собираются в S3 через Storage Gateway. Анализируем их с помощью Athena, метаданные отправляем в Elasticsearch для возможности классификации и поиска, везде используем шифрование с помощью своего KMS ключа, а пользовательский доступ к конечным данным реализуем с помощью Cognito.
#design
Amazon
Build an AWS Well-Architected environment with the Analytics Lens | Amazon Web Services
Building a modern data platform on AWS enables you to collect data of all types, store it in a central, secure repository, and analyze it with purpose-built tools. Yet you may be unsure of how to get started and the impact of certain design decisions. To…