Forwarded from Software Engineer Labdon
Linkedin
Soheib Kiani on LinkedIn: #webinarfarsi #scalability
لیست 11 تایی از برترین مقالات Spotify, Netflix و . . . درخصوص Scalability
دیتاها و مواردی که بهش اشاره شده جزو بهترین ها هستش
Containerization at Pinterest (کانتینر کردن تو پینترست)
https://lnkd.in/de6jtzfe
The Evolution of Container Usage at Netflix…
دیتاها و مواردی که بهش اشاره شده جزو بهترین ها هستش
Containerization at Pinterest (کانتینر کردن تو پینترست)
https://lnkd.in/de6jtzfe
The Evolution of Container Usage at Netflix…
👍1
🔵 عنوان مقاله
Orchestrating thousands of speedtests, using Kubernetes
🟢 خلاصه مقاله:
اجرای هزاران تست سرعت در مقیاس بالا یک مسئله هماهنگی و مقیاس‌پذیری است. با کانتینری‌کردن رانرها و اجرای آن‌ها به‌صورت Jobs/CronJobs در Kubernetes می‌توان تعداد زیادی Pod را موازی اجرا کرد، منابع را با requests/limits کنترل نمود و با برچسب‌گذاری، affinity و taints/tolerations آن‌ها را در نودها و ریجن‌های مناسب جای‌گذاری کرد. HPA و autoscaling کلاستر امکان انفجار مقیاس و جمع‌شدن تا صفر را می‌دهند و با زمان‌بندی پله‌ای، پین‌کردن CPU و policyهای شبکه، خطای اندازه‌گیری کاهش می‌یابد. جمع‌آوری داده از اجرای تست‌ها از مسیر صف/ذخیره‌سازی شی‌گرا یا پایگاه سری‌زمان مستقل می‌شود و یک سرویس aggregator اعتبارسنجی و خلاصه‌سازی را انجام می‌دهد. مشاهده‌پذیری با Prometheus و داشبوردهای Grafana خط سیر اجرا، نرخ خطا و توزیع تاخیرها را نشان می‌دهد؛ همچنین با backoff، idempotency، rate limiting و مدیریت secrets پایداری افزایش می‌یابد و همگام‌سازی زمان، مقایسه‌پذیری را بهبود می‌دهد. برای هزینه و تاب‌آوری، از batch window، priority class، نودهای spot/preemptible، PDB و چندریجنی/چندابری استفاده می‌شود. نتیجه اینکه با تکیه بر الگوهای بومی Kubernetes مانند Jobs، CronJobs، autoscaling و صف‌ها، ارکستریشن هزاران تست سرعت قابل اتکا، تکرارپذیر و مقرون‌به‌صرفه می‌شود.
#Kubernetes #SpeedTest #LoadTesting #NetworkPerformance #Scalability #DevOps #CloudNative #Observability
🟣لینک مقاله:
https://ku.bz/m-yzWmZCh
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Orchestrating thousands of speedtests, using Kubernetes
🟢 خلاصه مقاله:
اجرای هزاران تست سرعت در مقیاس بالا یک مسئله هماهنگی و مقیاس‌پذیری است. با کانتینری‌کردن رانرها و اجرای آن‌ها به‌صورت Jobs/CronJobs در Kubernetes می‌توان تعداد زیادی Pod را موازی اجرا کرد، منابع را با requests/limits کنترل نمود و با برچسب‌گذاری، affinity و taints/tolerations آن‌ها را در نودها و ریجن‌های مناسب جای‌گذاری کرد. HPA و autoscaling کلاستر امکان انفجار مقیاس و جمع‌شدن تا صفر را می‌دهند و با زمان‌بندی پله‌ای، پین‌کردن CPU و policyهای شبکه، خطای اندازه‌گیری کاهش می‌یابد. جمع‌آوری داده از اجرای تست‌ها از مسیر صف/ذخیره‌سازی شی‌گرا یا پایگاه سری‌زمان مستقل می‌شود و یک سرویس aggregator اعتبارسنجی و خلاصه‌سازی را انجام می‌دهد. مشاهده‌پذیری با Prometheus و داشبوردهای Grafana خط سیر اجرا، نرخ خطا و توزیع تاخیرها را نشان می‌دهد؛ همچنین با backoff، idempotency، rate limiting و مدیریت secrets پایداری افزایش می‌یابد و همگام‌سازی زمان، مقایسه‌پذیری را بهبود می‌دهد. برای هزینه و تاب‌آوری، از batch window، priority class، نودهای spot/preemptible، PDB و چندریجنی/چندابری استفاده می‌شود. نتیجه اینکه با تکیه بر الگوهای بومی Kubernetes مانند Jobs، CronJobs، autoscaling و صف‌ها، ارکستریشن هزاران تست سرعت قابل اتکا، تکرارپذیر و مقرون‌به‌صرفه می‌شود.
#Kubernetes #SpeedTest #LoadTesting #NetworkPerformance #Scalability #DevOps #CloudNative #Observability
🟣لینک مقاله:
https://ku.bz/m-yzWmZCh
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Medium
Orchestrating thousands of Speedtests, using Kubernetes
Orchestrating thousands of Speedtests, using Kubernetes To monitor the network usability and speed of our store systems over time, we addressed the challenge by implementing a distributed speed test …
🔵 عنوان مقاله
Scalable ML with Azure, Kubernetes and KEDA: Generating Inputs with 500 Pods
🟢 خلاصه مقاله:
**
این مطالعهٔ موردی نشان می‌دهد چگونه می‌توان یک خط لولهٔ ML مقیاس‌پذیر روی Azure ساخت که با استفاده از Kubernetes و KEDA ورودی‌ها را به‌صورت رویدادمحور و تا سقف 500 پاد تولید می‌کند و سپس مدل‌ها را از طریق Azure ML آموزش، ثبت و استقرار می‌دهد. در این معماری، KEDA با پایش صف‌ها یا استریم‌ها اندازهٔ خوشه را به‌طور خودکار بالا و پایین می‌برد، هر پاد بخشی از کار را پردازش می‌کند، و خروجی‌ها در ذخیره‌سازی پایدار ذخیره می‌شوند تا Azure ML آن‌ها را برای آموزش و ارزیابی مصرف کند. استقرار مدل‌ها روی online/batch endpoints (مدیریت‌شده یا AKS) انجام می‌شود و کل فرایند با CI/CD، مانیتورینگ در Azure Monitor/Application Insights، کنترل هزینه و ملاحظات امنیتی (managed identity و شبکه خصوصی) پشتیبانی می‌گردد. نتیجه، الگویی مطمئن برای آماده‌سازی ورودی با توان انفجاری 500 پاد و MLOps استاندارد روی Azure است.
#Azure #Kubernetes #KEDA #AzureML #AKS #MLOps #Scalability #DataEngineering
🟣لینک مقاله:
https://ku.bz/0lYz58fTX
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Scalable ML with Azure, Kubernetes and KEDA: Generating Inputs with 500 Pods
🟢 خلاصه مقاله:
**
این مطالعهٔ موردی نشان می‌دهد چگونه می‌توان یک خط لولهٔ ML مقیاس‌پذیر روی Azure ساخت که با استفاده از Kubernetes و KEDA ورودی‌ها را به‌صورت رویدادمحور و تا سقف 500 پاد تولید می‌کند و سپس مدل‌ها را از طریق Azure ML آموزش، ثبت و استقرار می‌دهد. در این معماری، KEDA با پایش صف‌ها یا استریم‌ها اندازهٔ خوشه را به‌طور خودکار بالا و پایین می‌برد، هر پاد بخشی از کار را پردازش می‌کند، و خروجی‌ها در ذخیره‌سازی پایدار ذخیره می‌شوند تا Azure ML آن‌ها را برای آموزش و ارزیابی مصرف کند. استقرار مدل‌ها روی online/batch endpoints (مدیریت‌شده یا AKS) انجام می‌شود و کل فرایند با CI/CD، مانیتورینگ در Azure Monitor/Application Insights، کنترل هزینه و ملاحظات امنیتی (managed identity و شبکه خصوصی) پشتیبانی می‌گردد. نتیجه، الگویی مطمئن برای آماده‌سازی ورودی با توان انفجاری 500 پاد و MLOps استاندارد روی Azure است.
#Azure #Kubernetes #KEDA #AzureML #AKS #MLOps #Scalability #DataEngineering
🟣لینک مقاله:
https://ku.bz/0lYz58fTX
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Medium
Scalable ML with Azure, Kubernetes and KEDA: Generating Inputs with 500 Pods
A real-world look at building a scalable ML system on Azure — from dynamic input generation to model inference using Kubernetes and…
🔵 عنوان مقاله
Kubernetes v1.33: Streaming List responses
🟢 خلاصه مقاله:
Kubernetes v1.33 قابلیت streaming برای پاسخ‌های List را معرفی می‌کند تا مصرف حافظه API server در درخواست‌های بزرگ کاهش یابد. سرور به‌جای ساختن کل پاسخ در حافظه، هر آیتم را جداگانه پردازش و ارسال می‌کند و بلافاصله حافظه را آزاد می‌سازد؛ در عین حال ساختار پاسخ، ترتیب اقلام و semantics مربوط به resourceVersion برای کلاینت‌ها تغییر نمی‌کند. نتیجه این رویکرد، کاهش پیک حافظه، بهبود تاخیرهای انتهایی و پایداری بهتر زیر بار است و با الگوهای موجود مانند pagination (limit/continue) و watch کاملاً سازگار می‌ماند، بدون نیاز به تغییر در API یا کلاینت‌ها.
#Kubernetes #APIServer #Streaming #ListAPI #Performance #Scalability #MemoryOptimization #CloudNative
🟣لینک مقاله:
https://ku.bz/1CGhwp7Ym
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Kubernetes v1.33: Streaming List responses
🟢 خلاصه مقاله:
Kubernetes v1.33 قابلیت streaming برای پاسخ‌های List را معرفی می‌کند تا مصرف حافظه API server در درخواست‌های بزرگ کاهش یابد. سرور به‌جای ساختن کل پاسخ در حافظه، هر آیتم را جداگانه پردازش و ارسال می‌کند و بلافاصله حافظه را آزاد می‌سازد؛ در عین حال ساختار پاسخ، ترتیب اقلام و semantics مربوط به resourceVersion برای کلاینت‌ها تغییر نمی‌کند. نتیجه این رویکرد، کاهش پیک حافظه، بهبود تاخیرهای انتهایی و پایداری بهتر زیر بار است و با الگوهای موجود مانند pagination (limit/continue) و watch کاملاً سازگار می‌ماند، بدون نیاز به تغییر در API یا کلاینت‌ها.
#Kubernetes #APIServer #Streaming #ListAPI #Performance #Scalability #MemoryOptimization #CloudNative
🟣لینک مقاله:
https://ku.bz/1CGhwp7Ym
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Kubernetes
Kubernetes v1.33: Streaming List responses
Managing Kubernetes cluster stability becomes increasingly critical as your infrastructure grows. One of the most challenging aspects of operating large-scale clusters has been handling List requests that fetch substantial datasets - a common operation that…
🔵 عنوان مقاله
Load Testing with Impulse at Airbnb (8 minute read)
🟢 خلاصه مقاله:
**Impulse یک چارچوب غیرمتمرکز load-testing-as-a-service در Airbnb است که تیم‌ها را قادر می‌سازد به‌صورت سلف‌سرویس بار مصنوعی بسازند، وابستگی‌ها را mock کنند، الگوهای ترافیک تولید را برای آزمون‌های واقع‌گرایانه به کار بگیرند و برای گردش‌کارهای غیرهمزمان APIهای تست ایجاد کنند. این رویکرد کمک می‌کند عملکرد و پایداری سرویس‌های توزیع‌شده در مقیاس سنجیده شود، ریسک انتشار کاهش یابد و تصمیم‌های بهینه‌تری درباره ظرفیت و انعطاف‌پذیری در برابر خطا گرفته شود.
#LoadTesting #Airbnb #Impulse #PerformanceTesting #Scalability #DevOps #SRE #AsynchronousWorkflows
🟣لینک مقاله:
https://medium.com/airbnb-engineering/load-testing-with-impulse-at-airbnb-f466874d03d2?utm_source=tldrdevops
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Load Testing with Impulse at Airbnb (8 minute read)
🟢 خلاصه مقاله:
**Impulse یک چارچوب غیرمتمرکز load-testing-as-a-service در Airbnb است که تیم‌ها را قادر می‌سازد به‌صورت سلف‌سرویس بار مصنوعی بسازند، وابستگی‌ها را mock کنند، الگوهای ترافیک تولید را برای آزمون‌های واقع‌گرایانه به کار بگیرند و برای گردش‌کارهای غیرهمزمان APIهای تست ایجاد کنند. این رویکرد کمک می‌کند عملکرد و پایداری سرویس‌های توزیع‌شده در مقیاس سنجیده شود، ریسک انتشار کاهش یابد و تصمیم‌های بهینه‌تری درباره ظرفیت و انعطاف‌پذیری در برابر خطا گرفته شود.
#LoadTesting #Airbnb #Impulse #PerformanceTesting #Scalability #DevOps #SRE #AsynchronousWorkflows
🟣لینک مقاله:
https://medium.com/airbnb-engineering/load-testing-with-impulse-at-airbnb-f466874d03d2?utm_source=tldrdevops
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Medium
Load Testing with Impulse at Airbnb
Comprehensive Load Testing with Load Generator, Dependency Mocker, Traffic Collector, and More