کار مهندس داده

با توجه به نمودار بالا، میبینیم که بیشتر کار مهندس داده، مهندسی نرم افزار و آماده سازی داده است.

پوپ میگوید کار مهندس داده، ارائه و تغییر دیتا به گونه ای که قابل استفاده شود، میباشد. باید دیتای خام را بگیرد، تمیز کند، وارد دیتابیس کند، تگ بزند و انرا برای مراحل بعدی اماده کند.

مهارتهای لازم:
Apache Spark, Scala, Docker, Java, Hadoop, and Kubernetes NiFI

#part2
#machinelearning #data #science #engineer #bigdata #science

@pythonicAI

کار تحلیلگر داده

کار وی، مواجهه با کسب و کار است تا نیاز کسب و کار به دیتا را مشخص کند و همچنین visualization هایی آماده کند که به کسب و کار در درک دیتا کمک کند.

پوپ میگوید: کار تحلیلگر داده، تفسیر اطلاعات برای استفاده آن در کسب و کار است. این شغل کمتر با ماشین لرنینگ در ارتباط است.

مهارتهای لازم:
RapidMiner, PostgreSQL

#part3
#machinelearning #data #science #engineer #bigdata #science

@pythonicAI

کار دیتاساینتیست

دیتاساینتیست ها به شدت با کسب و کار درگیر هستند و با مهندسان داده کار میکنند. آنها مدلهای یادگیری ماشین را روی داده های اماده شده اموزش میدهند.

پوپ میگوید: نقش دیتاساینتیست، ساختن مدلها برای استخراج اطلاعات از دیتا و ارائه توصیه هایی مرتبط با کسب و کار است. دیتاساینتیست ها باید آمار را بفهمند اما بیشتر الگوریتم های ماشین لرنینگ براساس ریاضیات چندمتغیره و جبرخطی و غیرخطی بنا شده. تنها در همین حد ریاضیات لازم است.

#part4
#machinelearning #data #science #engineer #bigdata #science

@pythonicAI

مهندسین داده، درواقع زیر ساخت های اطلاعاتی ای را میسازند که پروژه های دیتاساینس به آنها وابسته است. این افراد مسئول طراحی و مدیریت جریان داده هایی هستند که از منابع مختلف جمع آوری شده و در یک مخزن، مانند data warehouse یکپارچه میشوند تا بعدا توسط دیتاساینتیست ها تحلیل شوند. بطور کلی، مهندسین داده براساس مدل ETL کار میکنند.

ETL: Extract, Transform, Load

نقش های مختلف مهندسی داده:
- آرشیتکت داده
پایه و اساس سیستم های مدیریت داده جهت وارد کردن، یکپارچه سازی و نگهداری منابع داده را فراهم میکند.

- ادمین دیتابیس
همانطور که از اسمش پیداست باید اطلاعات عمیقی از دیتابیس ها داشته باشد.

- مهندس داده
باید اطلاعاتی از دیتابیس ها، زبانهایی مانند پایتون و جاوا و سیستم های توزیع شده (مانند هدوپ) و... داشته باشد. درواثع ترکیبی از تمام نقش ها در یک نقش است.

ابزارهای موردنیاز مهندس داده:
Apache Hadoop
فریم ورکی جهت مرتب سازی و پردازش حجم زیادی از اطلاعات بصورت توزیع شده

Apache Spark
پلتفرم پردازش داده جهت پردازش جریان real-time و همچنین پردازش بصورت batch. این پلتفرم api هایی برای زبانهای پایتون، R، جاوا و اسکالا دارد.

Apache Kafka
ابزاری قدرتمند جهت جمع آوری و وارد کردن سریع جریان داده ها به سیستمی مانند هدوپ

SQL & NoSQL
دیتابیس های رابطه ای و غیر رابطه ای

زبانهای برنامه نویسی موردنیاز مهندس داده:
پایتون، جاوا، اسکالا scala، جولیا julia

#data #engineer #machinelearning #hadoop #kafka #scala #python #julia

@pythonicAI

برخی منابع مفید یادگیری مهندسی داده:
📙 مهندسی داده:
لینک۱
لینک۲
لینک۳

📕 پایتون
لینک۱
لینک۲
لینک۳

📗 سیستم عامل
لینک۱
لینک۲

📘 دیتابیس
لینک۱
لینک۲
لینک۳
لینک۴
لینک۵
لینک۶
لینک۷
لینک۸
لینک۹
لینک۱۰

📙 data warehouse / big data
لینک۱
لینک۲
لینک۳
لینک۴
لینک۵
لینک۶
لینک۷
لینک۸
لینک۹
لینک۱۰
لینک۱۱
لینک۱۲

📕 یادگیری ماشین
لینک۱
لینک۲
لینک۳


#hadoop #spark #python #machinelearning #data #engineer #resource

@pythonicAI

تحلیلگر داده کسی است که اعداد و دیتا را به زبان آدمیزاد تبدیل میکند تا کسب و کارها بتوانند به کمک انها تصمیم بگیرند. خواه دیتای مربوط به مارکتینگ باشد، یا اَشکال فروش یا هزینه های حمل و نقل و... تحلیلگر داده این دیتاها را گرفته و از دل آنها اطلاعاتی بیرون میکشد. مثلا اینکه قیمت مواد جدید چقدر باشد؟ یا چطور هزینه حمل و نقل را کاهش دهند؟

انها وضعیت فعلی را تحلیل میکنند و پیشبینی هایی از اینده ارائه میدهند. دیتا باید مرتب، نرمالیزه و کالیبره بشه تا بشه ازش اطلاعات استخراج کرد یا به تنهایی ازش استفاده کرد یا درکنار اعداد دیگر قرارش داد و همچنان یکپارچگی خودش را حفظ کند.

تحلیلگر داده علاوه بر توانایی رمزگشایی داده، لازم است که بتواند معانی تغییرات اعداد در یک بازه زمانی یا ساختارهای مختلف را توضیح دهد. چون انها تنها افرادی هستند که درک خوبی از داده پیدا کرده اند و معمولا باید به مدیران پروژه یا سرپرست بخش توصیه هایی درخصوص نقاط خاص دیتا و همچنین نحوه بهبود داده ها در یک بازه زمانی، بدهند.

وظایف یک تحلیلگر داده:
- کار کردن با تیم های مدیریتی و دیتاساینتیست ها
- جمع اوری دیتا از منابع اولیه و ثانویه
- تمیز کردن داده ها جهت حذف اطلاعات نامرتبط
- تحلیل و تفسیر نتایج به کمک ابزارهای اماری
- تعیین الگوهای موجود در داده ها
- شناسایی موقعیت های بهبود پروسه ها و رویه ها
- ارائه گزارش داده ها به مدیر
- طراحی، ساخت و نگهداری دیتابیس ها
- رفع ایرادات کدها و مسائل مربوط به داده ها

اهداف تحلیلگر داده و دیتاساینتیست خیلی بهم نزدیک است. گاهی اوقات به تحلیلگر داده، junior data scientist گفته میشود.

#data #analyst #scientist #artificialintelligence

@pythonicAI

#مقاله چگونه دانشمند داده شویم؟

https://towardsdatascience.com/a-long-term-data-science-roadmap-which-wont-help-you-become-an-expert-in-only-several-months-4436733e63ff

#machinelearning #data #science

@pythonicAI

خبر خوب برای دیتاساینتیست ها 💻

دیتاک، پلتفرم پردازش داده هست که مجموعه ابزارهای بازیابی اطلاعات، پردازش زبان طبیعی و یادگیری ماشینی برای استخراج دانش از داده رو ارائه میده.

این پلتفرم به مناسبت نمایشگاه الکامپ هدیه ای به شرح زیر درنظر گرفته برای علاقمندان به دیتاساینس و پردازش داده:

شما می‌توانید در هر موضوعی که مدنظرتان است تا سقف 10 هزار رکورد از پست‌های رسانه‌های اجتماعی شامل خبر، توئیتر، اینستاگرام، تلگرام، فیس‌بوک و … دیتاست سفارشی خود را از سکو دریافت نمائید.

http://bit.ly/Dk2Sko

#سکو #دیتاک
#datamining #data #science #dataset

@pythonicAI

#مقاله چگونه دانشمند داده شویم؟

https://towardsdatascience.com/a-long-term-data-science-roadmap-which-wont-help-you-become-an-expert-in-only-several-months-4436733e63ff

#machinelearning #data #science

@pythonicAI

#bigdata #datascience #data #book #tutorial
#منبع

@pythonicAI