I really liked the book "Storytelling with data" by Cole Nussbaumer Knaflic.
It describes a good basis for working with diagrams and conveying a clear message to the user of the visualization. And my favorite sequential 'cleansing' of charts from bad to good.
I highly recommend it to anyone who is somehow faced with data presentation.
Cole and her team also have a website and blog where you can read a lot of interesting things and participate in datavis challenges. I would like to especially mention the charming drawings accompanying this project.
For example, such useful tips on using visualizations.
It describes a good basis for working with diagrams and conveying a clear message to the user of the visualization. And my favorite sequential 'cleansing' of charts from bad to good.
I highly recommend it to anyone who is somehow faced with data presentation.
Cole and her team also have a website and blog where you can read a lot of interesting things and participate in datavis challenges. I would like to especially mention the charming drawings accompanying this project.
For example, such useful tips on using visualizations.
Assalomu alaykum Hammaga!
Endilikda bu kanalimizni yuritishga urg'u bergan holatda O'zbek va english tillarida kontentlar berib borishga harakat qilaman.
Nega o'zbek tilida?
sababi O'zbek tilida Data engineer/analyt haqida umuman olganda kontent deyarli yoq deb o'ylayman bor bo'lsa ham xabarim yo'q shu uchun asosan o'zbek tilida yuritishga harakat qilaman.
Endilikda bu kanalimizni yuritishga urg'u bergan holatda O'zbek va english tillarida kontentlar berib borishga harakat qilaman.
Nega o'zbek tilida?
sababi O'zbek tilida Data engineer/analyt haqida umuman olganda kontent deyarli yoq deb o'ylayman bor bo'lsa ham xabarim yo'q shu uchun asosan o'zbek tilida yuritishga harakat qilaman.
👍4
Biz birgalikda data engineer ga kerak bo'ladigan tool larni o'rganishga harakat qilamiz
👍4
Apache Airflow data jarayonlarini boshqarish, kuzatish va kengaytirish uchun tool sifatida qarasak bo'ladi.
Apache Airflowning asosiy tarkibiy qismlari:
1.Web server (Veb server):
Bu Airflowning foydalanuvchi interfeysi (UI) bo‘lib, veb-brauzer orqali jarayonlarni boshqarish va kuzatish imkonini beradi.
2.Scheduler (Rejalashtiruvchi):
Vazifalarning qachon bajarilishini aniqlaydi va ularning to‘g‘ri tartibda bajarilishini ta'minlaydi.
3.Meta database (Meta ma'lumotlar bazasi):
Bu baza barcha vazifalar va ularning holati haqida ma'lumot saqlaydi.
4.Trigger (Trigger):
Tashqi hodisalarga bog‘liq bo‘lgan vazifalarni boshqaradi va boshqa jarayonlarni bloklamasdan ishlashni ta'minlaydi.
5.Executor (Ijrochi):
Vazifalarni qanday bajarilishini va qaysi tizimda ishlashini aniqlaydi.
6.Queue (Navbat):
Bajarilishi kerak bo‘lgan vazifalar ro‘yxati. Vazifalar tartibda bajarilishini boshqaradi.
7.Worker (Ishchi):
Bu vazifalarni amalda bajaruvchi jarayon.
Bu komponentlar bir-birini to‘ldirib, Airflowning to‘liq ishlashini ta'minlaydi.
1.Web server (Veb server):
Bu Airflowning foydalanuvchi interfeysi (UI) bo‘lib, veb-brauzer orqali jarayonlarni boshqarish va kuzatish imkonini beradi.
2.Scheduler (Rejalashtiruvchi):
Vazifalarning qachon bajarilishini aniqlaydi va ularning to‘g‘ri tartibda bajarilishini ta'minlaydi.
3.Meta database (Meta ma'lumotlar bazasi):
Bu baza barcha vazifalar va ularning holati haqida ma'lumot saqlaydi.
4.Trigger (Trigger):
Tashqi hodisalarga bog‘liq bo‘lgan vazifalarni boshqaradi va boshqa jarayonlarni bloklamasdan ishlashni ta'minlaydi.
5.Executor (Ijrochi):
Vazifalarni qanday bajarilishini va qaysi tizimda ishlashini aniqlaydi.
6.Queue (Navbat):
Bajarilishi kerak bo‘lgan vazifalar ro‘yxati. Vazifalar tartibda bajarilishini boshqaradi.
7.Worker (Ishchi):
Bu vazifalarni amalda bajaruvchi jarayon.
Bu komponentlar bir-birini to‘ldirib, Airflowning to‘liq ishlashini ta'minlaydi.
👍3
Airflow quyidagilar uchun mos emas, imkoni bor lekin juda murakkab bo'ladi va juda ehtiyot bo'lish kerak bo'ladi:
Katta hajmdagi ma'lumotlarni to‘g‘ridan-to‘g‘ri qayta ishlash.
Real vaqtli oqimlarni boshqarish.
Juda yuqori chastotali (soniyalar ichida) vazifalar.
Juda sodda ish jarayonlari.
chunki yuqoridagilar uchun Apache tomonidan Spark, Hive, Nifi kabi tool lar ishlab chiqarilgan ularni ham sekin asta o'rganamiz!
Katta hajmdagi ma'lumotlarni to‘g‘ridan-to‘g‘ri qayta ishlash.
Real vaqtli oqimlarni boshqarish.
Juda yuqori chastotali (soniyalar ichida) vazifalar.
Juda sodda ish jarayonlari.
chunki yuqoridagilar uchun Apache tomonidan Spark, Hive, Nifi kabi tool lar ishlab chiqarilgan ularni ham sekin asta o'rganamiz!
Airflow Architectures
Single Node Architectures -> bu arxitekturada Airflow ning barcha komponentlari bitta kompyuterda yoki bitta serverda ishlaydi.Bunda oddiy usulda qollaniladigan arxitekturadir.
Multi-node Architectures -> bu arxitektura Airflow ni bir nechta kompyuter yokida serverlarda ishlatilinadi.
Single Node Architectures vs Multi-node Architectures Single Node Architectures -> bu arxitekturada Airflow ning barcha komponentlari bitta kompyuterda yoki bitta serverda ishlaydi.Bunda oddiy usulda qollaniladigan arxitekturadir.
Multi-node Architectures -> bu arxitektura Airflow ni bir nechta kompyuter yokida serverlarda ishlatilinadi.
👍1
Executor -> bu task bajarmaydi!nomiga qaramasdan, u tasklarni togridan togri ishlatish uchun ishlamaydi.
U tasklarni qaysi tizimda qanday bajarilishini aniqlaydi.
Turlari 3 xil.
1.Local Executor:
2.sequential executors
3.remote executors(celery, kubernetes executor)
Ma'lumotlar orkestratsiyasi - bu turli tizimlar va jarayonlar bo'ylab ma'lumotlarning harakatlanishini, o'zgarishini va integratsiyasini muvofiqlashtirish va avtomatlashtirish jarayoni bo'lib, samarali va ishonchli ma'lumotlar ish oqimini ta'minlaydi.
Streaming: Airflow real vaqt rejimini qo‘llab-quvvatlamaydi. Uni batch oriented pipeline’lar uchun ishlating.
Data Processing: Ma'lumotlarni qayta ishlashda ehtiyot bo‘ling; resurslar yetarli ekanligini tekshiring yoki tashqi vositalardan (Masalan SPARK )foydalaning.
Data Processing: Ma'lumotlarni qayta ishlashda ehtiyot bo‘ling; resurslar yetarli ekanligini tekshiring yoki tashqi vositalardan (Masalan SPARK )foydalaning.
max_active_runs:
Faqat bitta DAG Run ishlaydi.
Yangu DAG Rn faqat oldingisi tugagandan keyin boshlanadi.
max_active_runs_per_dag:
Agar barcha Daglar uchun cheklash kiritish kerak bolsa
Faqat bitta DAG Run ishlaydi.
Yangu DAG Rn faqat oldingisi tugagandan keyin boshlanadi.
max_active_runs_per_dag:
Agar barcha Daglar uchun cheklash kiritish kerak bolsa
Bugun Spark haqida gaplashamiz biroz:
Spark'ning ikki xil bajarilish rejimi (execution mode) bor:
Client Mode – ishga tushiruvchi mijoz (client) jarayoni o‘zining lokal mashinasida ishlaydi.
Cluster Mode – ishga tushiruvchi jarayon Spark klasterining o‘zida bajariladi.
Lekin uchta asosiy ish modeli (execution model) bor:
Local Mode – mahalliy kompyuterda ishlash uchun.
Client Mode – YARN klasterida, lekin mijozning terminal yoki Notebook orqali boshqarishi.
Cluster Mode – YARN yoki boshqa klaster menejerda to‘liq avtonom ishga tushirish.
Bu tushunchalar Spark arxitekturasi va bajarilish jarayonini tushunish uchun muhim. Agar chuqurroq tushuntirish kerak bo‘lsa, bemalol so‘rang via tg!🚀
Spark'ning ikki xil bajarilish rejimi (execution mode) bor:
Client Mode – ishga tushiruvchi mijoz (client) jarayoni o‘zining lokal mashinasida ishlaydi.
Cluster Mode – ishga tushiruvchi jarayon Spark klasterining o‘zida bajariladi.
Lekin uchta asosiy ish modeli (execution model) bor:
Local Mode – mahalliy kompyuterda ishlash uchun.
Client Mode – YARN klasterida, lekin mijozning terminal yoki Notebook orqali boshqarishi.
Cluster Mode – YARN yoki boshqa klaster menejerda to‘liq avtonom ishga tushirish.
Bu tushunchalar Spark arxitekturasi va bajarilish jarayonini tushunish uchun muhim. Agar chuqurroq tushuntirish kerak bo‘lsa, bemalol so‘rang via tg!
Please open Telegram to view this post
VIEW IN TELEGRAM
Cluster Managers turlari:
1. Local[n]
2.YARN
3.Kubernetes
4.Mesos
5.Standalone
Execution Modes:
1. Client
2. Cluster
Execution tools:
1.IDE, Notebook
2. Submit
1. Local[n]
2.YARN
3.Kubernetes
4.Mesos
5.Standalone
Execution Modes:
1. Client
2. Cluster
Execution tools:
1.IDE, Notebook
2. Submit