ComputerIauba

Photo from Baharak Ahmadipoor

295 views17:01

با سلام
لیست مباحث ارائه درس تحلیل کلان داده به شرح زیر تعیین شده بود. برخی از این ارائه ها انجام شده است. با توجه به تعطیل شدن کلاس در هفته های گذشته تاریخ برخی ارائه ها تغییر کرده است. لطفا به تاریخ های ارائه جدید توجه نمایید و بر اساس آن مطالب خود را به صورت مفید و مختصر ارائه نمایید.

۱-مدیریت منابع (Resource Management) شلمل مباحث فهم نحوه تخصیص منابع در سیستم‌های داده کلان،مجازی سازی و فناوری کانتینر، بررسی YARN و Mesos،مفهوم Job Scheduling -اجزای YARN (ResourceManager, NodeManager, ApplicationMaster) - Mesos به عنوان Cluster Kernel - مقایسه YARN و Mesos- کاربرد Kubernetes در محیط‌های ابری ارائه شده است

۲-فایل‌سیستم‌های توزیع‌شده (Distributed File Systems) مباحث: درک نحوه ذخیره داده‌ها در محیط توزیع‌شده
ساختار Google File System (GFS) - HDFS در Hadoop - Data replication, fault tolerance - مقایسه HDFS با Flat FS و CephFS ارائه شده است

۳-پایگاه‌داده‌های NoSQL مباحث :شناخت انواع مدل‌های داده در NoSQL و sqoop - دلایل نیاز به NoSQL در Big Data- چهار نوع NoSQL (Key-Value, Columnar, Document, Graph)- Dynamo، BigTable، Cassandra
مقایسه با RDBMS- نمونه‌ی داده در Cassandra یا MongoDB ارائه شده است

۴-سامانه‌های پیام‌رسان توزیع‌شده (Messaging Systems) مباحث : فهم ارتباط میان سرویس‌ها و پردازش‌های جریانی
مفهوم Messaging Queue و Pub/Sub - Kafka Architecture (Producer, Broker, Consumer)- نحوه ذخیره‌سازی Topic و Partition - نقش Kafka در Stream Processing ارائه شده است

۵-پردازش دسته‌ای (Batch Data Processing) مباحث : یادگیری مدل محاسبه‌ی Batch در داده‌های کلان، محاسبات درون حافظه ای - MapReduce (Mapper, Reducer, Combiner, Shuffle) - Dryad، FlumeJava,Pig
Apache Spark و RDD و Flink - مقایسه‌ی MapReduce و Spark
این مباحث در فایل های درس با عنوان Parallel Processing – MapReduce توسط خانم سعیده حسینی نیا و Parallel Processing – Spark توسط خانم افسانه ساعدی نیا هر دو در تاریخ 4 آذر ماه ارائه شود

۶-پردازش جریانی (Streaming Data Processing) مباحث : شناخت پردازش آنی (Real-time Processing)
جمع آوری داده‌های جریانی از منابع به HDFS یا Kafka - تفاوت Batch و Stream- Storm، Spark Streaming، Flink، Google Dataflow- مفاهیم Windowing، Event Time- تحلیل داده‌ی توییتر در زمان واقعی- Spark Streaming یا Flink
از فایل های درس با عنوان Introduction to Data Stream Processing مباحث مربوط به Message Broker و KAFKA توسط آقای ملک پور ارائه شد. ادامه این مبحث از بخش Data Stream Processing توسط آقای اشکان بویری و بعد Spark Streaming توسط آقای بهزاد سکوتیان در تاریخ 11 آذر ماه ارائه شود

۷-پردازش داده‌های ساخت‌یافته (Structured Data Processing) مباحث :شناخت ابزارهای SQL محور برای داده‌های بزرگ - مفهوم DataFrame و Dataset در Spark- Spark SQL در مقابل Hive- Query Optimization در Spark - کار با داده‌های Parquet و ORC- Spark SQL example با DataFrame API
از فایل های درس با عنوان Structured Data Processing - Spark SQL توسط آقای محمد جمالیان پور در تاریخ 18 آذر ماه ارائه شود.

۸-تحلیل داده‌های گرافی (Graph Data Processing) مباحث : درک تحلیل گرافی در Big Data - کاربرد تحلیل گراف (شبکه‌های اجتماعی، وب‌گراف‌ها)- Pregel، GraphLab، PowerGraph - GraphX در Spark - الگوریتم‌های PageRank، Connected Components - ابزار Spark GraphX یا NetworkX demo
از فایل های درس با عنوان Large Scale Graph Processing - Pregel, GraphLab, and GraphX توسط خانم هدی عوض زاده در تاریخ 25 آذر ماه ارئه شود.

۹-یادگیری ماشین در داده‌های کلان (Machine Learning at Scale) مباحث : آشنایی با ML در محیط‌های توزیع‌شده
مروری بر مفاهیم ML- MLlib در Spark - TensorFlow و اجرای مدل‌ها در محیط توزیع‌شده
در تاریخ 2 دی ماه توسط آقای هاشم رنجبر ارائه شود.

10- یکپارچگی داده ها و Pipeline مباحث: ترکیب اجزای مختلف در یک معماری - Data Integration, ETL
Lambda,Kappa Architecture و نقش Flume و Sqoop در ETL

از فایل های درس با عنوان Cloud Data Lakes در تاریخ 2 دی ماه توسط آقای محمد امین عامری ارائه شود.

458 views09:04