Serverless Cloud - в текущем виде надстройка над AWS, выглядит очень привлекательно, нужно попробовать.
https://www.serverless.com/blog/introducing-serverless-cloud-public-preview
#serverless
https://www.serverless.com/blog/introducing-serverless-cloud-public-preview
#serverless
Serverless
Introducing Serverless Cloud
Introducing the hyper-productive serverless app platform with single second deployments
wss://serverless
Полезные размышления на тему — как можно реализовать websocket-архитектуру на serverless схеме.
https://dev.to/aws-builders/serverless-websockets-on-aws-3nm9
🔹 Использовать одну Лямбду для поддержания коннекта, а другую для обработки сообщений
🔹 Использовать GraphQL подписки сервиса AWS AppSync
🔹 Использовать возможности AWS IoT Core MQTT
#serverless
Полезные размышления на тему — как можно реализовать websocket-архитектуру на serverless схеме.
https://dev.to/aws-builders/serverless-websockets-on-aws-3nm9
🔹 Использовать одну Лямбду для поддержания коннекта, а другую для обработки сообщений
🔹 Использовать GraphQL подписки сервиса AWS AppSync
🔹 Использовать возможности AWS IoT Core MQTT
#serverless
Записи EPAM AWS RU Community Meetup от 21.10.21:
🔹 Николай Пойда @mykola7799 объявил победителей EPAM AWS WordPress Challenge.
🔹 Александр Бармин сделал доклад по теме Writing serverless app with AWS SAM.
🔹 Роман Бойко (Serverless Specialist Solution Architect, AWS) подробно рассказал про внутренности Лямбды — AWS Lambda deep dive.
#video #serverless #Lambda
🔹 Николай Пойда @mykola7799 объявил победителей EPAM AWS WordPress Challenge.
🔹 Александр Бармин сделал доклад по теме Writing serverless app with AWS SAM.
🔹 Роман Бойко (Serverless Specialist Solution Architect, AWS) подробно рассказал про внутренности Лямбды — AWS Lambda deep dive.
#video #serverless #Lambda
AWS SAM Accelerate:
https://aws.amazon.com/blogs/compute/accelerating-serverless-development-with-aws-sam-accelerate/
#SAM #serverless
https://aws.amazon.com/blogs/compute/accelerating-serverless-development-with-aws-sam-accelerate/
When testing serverless applications, developers must get to the cloud as soon as possible. AWS SAM Accelerate helps developers escape from emulating the cloud locally and move to the fidelity of testing in the cloud.
In this post, I walk through the philosophy of why the AWS SAM team built AWS SAM Accelerate. I provide an example application and demonstrate the different features designed to remove barriers from testing in the cloud.
#SAM #serverless
Amazon
Accelerating serverless development with AWS SAM Accelerate | Amazon Web Services
Building a serverless application changes the way developers think about testing their code. Previously, developers would emulate the complete infrastructure locally and only commit code ready for testing. However, with serverless, local emulation can be…
17 и 18 ноября пройдёт Serverless Summit 2021:
https://www.serverless-summit.io/
Очень крутые спикеры, самые известные по части Serverless - Yan Cui, Jeremy Daly, Marc Schröter и другие. Дискуссионные панели с участием Alex Casalboni, Darko Mesaroš, а также от AWS в команде экспертов будет в том числе Роман Бойко (Serverless Specialist Solutions Architect).
Мероприятие бесплатное (онлайн), в качестве главного спонсора AWS — точно будет интересно, присоединяйтесь!
#serverless
https://www.serverless-summit.io/
Очень крутые спикеры, самые известные по части Serverless - Yan Cui, Jeremy Daly, Marc Schröter и другие. Дискуссионные панели с участием Alex Casalboni, Darko Mesaroš, а также от AWS в команде экспертов будет в том числе Роман Бойко (Serverless Specialist Solutions Architect).
Мероприятие бесплатное (онлайн), в качестве главного спонсора AWS — точно будет интересно, присоединяйтесь!
#serverless
Serverless Summit
Serverless Summit 24
The Serverless Summit is the world's largest conference about modern application development using serverless on AWS. Community-driven, annual, global, and hybrid 1-day event.
SLIC Starter - шаблон-заготовка для Serverless:
https://github.com/fourTheorem/slic-starter
Шаблон объёмный (как видно по количеству вовлечённых сервисов), позволяет получить на выходе production-ready проект с CI/CD и широким функционалом.
Использует AWS CDK, потому можно просто развивать, в том числе под нужный язык (изначально
Проект не новый, продолжает активно развиваться, если планировали подыскать что-то себе под POC на Serverless — очень стоит обратить внимание.
Прошлогоднее видео от авторов с описанием причины создания и внутренностей проекта:
https://www.youtube.com/watch?v=RWi9g8Topic
#serverless #CDK
https://github.com/fourTheorem/slic-starter
Шаблон объёмный (как видно по количеству вовлечённых сервисов), позволяет получить на выходе production-ready проект с CI/CD и широким функционалом.
Использует AWS CDK, потому можно просто развивать, в том числе под нужный язык (изначально
Node.js
).Проект не новый, продолжает активно развиваться, если планировали подыскать что-то себе под POC на Serverless — очень стоит обратить внимание.
Прошлогоднее видео от авторов с описанием причины создания и внутренностей проекта:
https://www.youtube.com/watch?v=RWi9g8Topic
#serverless #CDK
GitHub
GitHub - fourTheorem/slic-starter: A complete, serverless starter project
A complete, serverless starter project. Contribute to fourTheorem/slic-starter development by creating an account on GitHub.
Serverless Kafka (MSK), EMR, Kinesis и Redshift!
🔹 https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-msk-serverless-public-preview/
🔹 https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-emr-serverless-preview/
🔹 https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-kinesis-data-streams-on-demand/
🔹 https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-redshift-serverless/
#serverless
🔹 https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-msk-serverless-public-preview/
🔹 https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-emr-serverless-preview/
🔹 https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-kinesis-data-streams-on-demand/
🔹 https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-redshift-serverless/
#serverless
Amazon EMR Serverless:
https://aws.amazon.com/blogs/big-data/announcing-amazon-emr-serverless-preview-run-big-data-applications-without-managing-servers/
#EMR #serverless
https://aws.amazon.com/blogs/big-data/announcing-amazon-emr-serverless-preview-run-big-data-applications-without-managing-servers/
Pricing is based on vCPU, memory, and storage resources used by workers, aggregated across all workers.
• per vCPU per hour
$0.052624
• per GB per hour
$0.0057785
#EMR #serverless
Amazon
Announcing Amazon EMR Serverless (Preview): Run big data applications without managing servers | Amazon Web Services
Today we’re happy to announce Amazon EMR Serverless, a new option in Amazon EMR that makes it easy and cost-effective for data engineers and analysts to run petabyte-scale data analytics in the cloud. With EMR Serverless, you can run applications built using…
Amazon Redshift Serverless:
https://aws.amazon.com/blogs/aws/introducing-amazon-redshift-serverless-run-analytics-at-any-scale-without-having-to-manage-infrastructure/
👉 $500 in AWS credits to try the Amazon Redshift Serverless!
#Redshift #Serverless
https://aws.amazon.com/blogs/aws/introducing-amazon-redshift-serverless-run-analytics-at-any-scale-without-having-to-manage-infrastructure/
Compute capacity is measured in Redshift Processing Units (RPUs), and you pay for the workloads in RPU-hours with per-second billing.
👉 $500 in AWS credits to try the Amazon Redshift Serverless!
#Redshift #Serverless
Amazon
Introducing Amazon Redshift Serverless – Run Analytics At Any Scale Without Having to Manage Data Warehouse Infrastructure | Amazon…
We’re seeing the use of data analytics expanding among new audiences within organizations, for example with users like developers and line of business analysts who don’t have the expertise or the time to manage a traditional data warehouse. Also, some customers…
Serverless SageMaker Inference:
https://aws.amazon.com/about-aws/whats-new/2021/12/amazon-sagemaker-serverless-inference/
Уже 5-й Serverless сервис за два дня. 😀
#Serverless #SageMaker
https://aws.amazon.com/about-aws/whats-new/2021/12/amazon-sagemaker-serverless-inference/
Уже 5-й Serverless сервис за два дня. 😀
#Serverless #SageMaker
Aurora Serverless v2:
https://aws.amazon.com/blogs/aws/amazon-aurora-serverless-v2-is-generally-available-instant-scaling-for-demanding-workloads/
Aurora Serverless v2 enables you to scale your database to hundreds of thousands of transactions per second and cost-effectively manage the most demanding workloads. It scales database capacity in fine-grained increments to closely match the needs of your workload without disrupting connections or transactions.
If you have an existing Aurora cluster, you can create an Aurora Serverless v2 instance within the same cluster. This way, you’ll have a mixed configuration cluster where both provisioned and Aurora Serverless v2 instances can coexist within the same cluster.
Aurora Serverless v2 capacity scales up and down within the minimum
Versions supported:
🔹 PostgreSQL 13
🔸 MySQL 8.0
#Aurora #Serverless
https://aws.amazon.com/blogs/aws/amazon-aurora-serverless-v2-is-generally-available-instant-scaling-for-demanding-workloads/
Aurora Serverless v2 enables you to scale your database to hundreds of thousands of transactions per second and cost-effectively manage the most demanding workloads. It scales database capacity in fine-grained increments to closely match the needs of your workload without disrupting connections or transactions.
If you have an existing Aurora cluster, you can create an Aurora Serverless v2 instance within the same cluster. This way, you’ll have a mixed configuration cluster where both provisioned and Aurora Serverless v2 instances can coexist within the same cluster.
Aurora Serverless v2 capacity scales up and down within the minimum
0.5 ACUs
and maximum 128 ACUs
configuration. Versions supported:
🔹 PostgreSQL 13
🔸 MySQL 8.0
#Aurora #Serverless
Serverless 101
🔹 Intro - https://www.youtube.com/watch?v=uSW_9pzvQg4
🔸 Lambda - https://www.youtube.com/watch?v=n4Cfu6uJ16M
🔹 API Gateway - https://www.youtube.com/watch?v=aCyg0tAl_X0
🔸 Step Functions - https://www.youtube.com/watch?v=dHDr5THHCNI
🔹 SQS - https://www.youtube.com/watch?v=JfLH-0HeHkY
🔸 SNS - https://www.youtube.com/watch?v=52lWX0lBvSI
🔹 S3 - https://www.youtube.com/watch?v=xfi_zQv_M1Q
🔸 Kinesis - https://www.youtube.com/watch?v=qecvFLVx_Xk
🔹 EventBridge - https://www.youtube.com/watch?v=e3sevLjtIQg
#Serverless
🔹 Intro - https://www.youtube.com/watch?v=uSW_9pzvQg4
🔸 Lambda - https://www.youtube.com/watch?v=n4Cfu6uJ16M
🔹 API Gateway - https://www.youtube.com/watch?v=aCyg0tAl_X0
🔸 Step Functions - https://www.youtube.com/watch?v=dHDr5THHCNI
🔹 SQS - https://www.youtube.com/watch?v=JfLH-0HeHkY
🔸 SNS - https://www.youtube.com/watch?v=52lWX0lBvSI
🔹 S3 - https://www.youtube.com/watch?v=xfi_zQv_M1Q
🔸 Kinesis - https://www.youtube.com/watch?v=qecvFLVx_Xk
🔹 EventBridge - https://www.youtube.com/watch?v=e3sevLjtIQg
#Serverless
YouTube
Serverless 101: Intro - Old
Serverless 101: Is a series to help you understand what the AWS serverless services do. It talks through how to use the services together to build highly sca...
🆕 Step Functions Distributed Map:
https://aws.amazon.com/blogs/aws/step-functions-distributed-map-a-serverless-solution-for-large-scale-parallel-data-processing/
Step Function’s map state executes the same processing steps for multiple entries in a dataset. The existing map state is limited to 40 parallel iterations at a time.
Glue vs EMR vs S3 Batch Operations
◆ Data scientists and data engineers use Glue and EMR to process large amounts of data.
◆ On the other hand, application developers will use Step Functions to add serverless data processing into their applications. Step Functions is able to scale from zero quickly, which makes it a good fit for interactive workloads where customers may be waiting for the results.
◆ System administrators and IT operation teams are likely to use S3 Batch Operations for single-step IT automation operations such as copying, tagging, or changing permissions on billions of S3 objects.
#Step_Functions #serverless
https://aws.amazon.com/blogs/aws/step-functions-distributed-map-a-serverless-solution-for-large-scale-parallel-data-processing/
Step Function’s map state executes the same processing steps for multiple entries in a dataset. The existing map state is limited to 40 parallel iterations at a time.
Glue vs EMR vs S3 Batch Operations
◆ Data scientists and data engineers use Glue and EMR to process large amounts of data.
◆ On the other hand, application developers will use Step Functions to add serverless data processing into their applications. Step Functions is able to scale from zero quickly, which makes it a good fit for interactive workloads where customers may be waiting for the results.
◆ System administrators and IT operation teams are likely to use S3 Batch Operations for single-step IT automation operations such as copying, tagging, or changing permissions on billions of S3 objects.
#Step_Functions #serverless
Микросервисы → Монолит
Статья от Amazon Prime Video, где рассказывается, как удалось уменьшить расходы в десять раз после перехода с микросервисов на монолитную архитектуру:
https://www.primevideotech.com/video-streaming/scaling-up-the-prime-video-audio-video-monitoring-service-and-reducing-costs-by-90
Статья достаточно скудная на факты, потому попробую изложить свою версию развития событий исходя из данного текста.
v.0.0.0
— Привет, Дмитро. Тут задача срочная прилетела — клиенту нужно запилить сервис по проверке качества роликов. А вы, помню, уже как-то что-то делали для тестирования видео?
— Было дело, накрапали костылик для внутренних нужд, чтобы отчёты слать аналитикам.
— Вот и отлично, приступайте.
— А какая нагрузка планируется?
— Подробностей не знаю, если что, чего-нибудь помощней поставим.
— Не, мы ж на Лямбдах всё написали.
— О, отлично, передам маркетингу — у нас будет Serverless-решение!
v.0.1.0
— Макс, что по нагрузке?
— Всё должно работать рилтайм и в перспективе держать тысячи параллельных задач на обработку.
— <censored>! Мы ж никогда пробовали на таких объёмах.
— Поздно, уже всё продано, продолжайте делать.
— А денег у клиента хватит?
— Деньги не проблема, главное сделать быстро!
v.1.0.0
— Дмитро, у нас проблемы. Клиент увидел счёт за прошлый месяц и офигел.
— Я предупреждал. И это лишь 5% от полной нагрузки.
— А почему так дорого?
— Так мы ж каждый кадр видео на S3 гоняем Лямбдами по несколько раз с помощью дорогущих Step Functions.
— И как это исправить?
— Никак, нужно всё переделывать. Проанализировать результаты под нагрузкой, попробовать различные варианты, спроектировать...
— ...А если нужно вчера?
— Ну, можно всё тупо засунуть в один контейнер и масштабировать как монолит с помощью ECS. Ещё и дешевле получится.
— О, супер, так и сделаем. И продадим как версию 2.0. А я напишу маркетингу, пусть они статейку накатают, как мы сэкономили клиенту кучу денег, перейдя на монолит с микросервисов. Все будут обсуждать только это и никто не вспомнит, как мы облажались с первой версией.
#serverless #monolith #design
Статья от Amazon Prime Video, где рассказывается, как удалось уменьшить расходы в десять раз после перехода с микросервисов на монолитную архитектуру:
https://www.primevideotech.com/video-streaming/scaling-up-the-prime-video-audio-video-monitoring-service-and-reducing-costs-by-90
Статья достаточно скудная на факты, потому попробую изложить свою версию развития событий исходя из данного текста.
v.0.0.0
— Привет, Дмитро. Тут задача срочная прилетела — клиенту нужно запилить сервис по проверке качества роликов. А вы, помню, уже как-то что-то делали для тестирования видео?
— Было дело, накрапали костылик для внутренних нужд, чтобы отчёты слать аналитикам.
— Вот и отлично, приступайте.
— А какая нагрузка планируется?
— Подробностей не знаю, если что, чего-нибудь помощней поставим.
— Не, мы ж на Лямбдах всё написали.
— О, отлично, передам маркетингу — у нас будет Serverless-решение!
v.0.1.0
— Макс, что по нагрузке?
— Всё должно работать рилтайм и в перспективе держать тысячи параллельных задач на обработку.
— <censored>! Мы ж никогда пробовали на таких объёмах.
— Поздно, уже всё продано, продолжайте делать.
— А денег у клиента хватит?
— Деньги не проблема, главное сделать быстро!
v.1.0.0
— Дмитро, у нас проблемы. Клиент увидел счёт за прошлый месяц и офигел.
— Я предупреждал. И это лишь 5% от полной нагрузки.
— А почему так дорого?
— Так мы ж каждый кадр видео на S3 гоняем Лямбдами по несколько раз с помощью дорогущих Step Functions.
— И как это исправить?
— Никак, нужно всё переделывать. Проанализировать результаты под нагрузкой, попробовать различные варианты, спроектировать...
— ...А если нужно вчера?
— Ну, можно всё тупо засунуть в один контейнер и масштабировать как монолит с помощью ECS. Ещё и дешевле получится.
— О, супер, так и сделаем. И продадим как версию 2.0. А я напишу маркетингу, пусть они статейку накатают, как мы сэкономили клиенту кучу денег, перейдя на монолит с микросервисов. Все будут обсуждать только это и никто не вспомнит, как мы облажались с первой версией.
#serverless #monolith #design
US About Amazon
Entertainment
We create and provide access to world-class entertainment through Amazon Originals, Prime Video, Audible, Amazon Games, Twitch, Amazon Music, Prime Gaming, and more. Amazon’s digital entertainment products enable customers to access the latest apps and games…
Compare where to store static data for serverless apps:
🔹 DynamoDB
🔸 S3
🔹 SSM Parameter Store
🔸 AppConfig
https://www.serverlessguru.com/blog/cost-effective-management-of-static-data-in-serverless-apps
#serverless #cost_optimisation
🔹 DynamoDB
🔸 S3
🔹 SSM Parameter Store
🔸 AppConfig
https://www.serverlessguru.com/blog/cost-effective-management-of-static-data-in-serverless-apps
#serverless #cost_optimisation