زبان برنامه نویسی پایتون یا R (یا هر دو) را برای تحلیل داده یاد بگیرید

زبان برنامه نویسی مناسب ماشین لرنینگ چیست ؟

زبان برنامه نویسی Python در حین سادگی، بسیار قدرتمند و انعطاف‌پذیر است. پایتون در حوزه‌های مختلف مثل طراحی وب، ساخت اپلیکیشن، ساخت بازی و غیره مورد استفاده قرار می‌گیرد. زمانی که صحبت از هوش مصنوعی و یادگیری ماشین می‌شود، پایتون بیشتر از هر زبان دیگری جلب توجه می‌کند.

به عنوان یک متخصص ماشین لرنینگ باید یک زبان برنامه نویسی را یاد بگیرید که با توجه به سادگی و کتابخانه‌های قدرتمندی که پایتون دارد گزینه‌ی مناسبی برای افراد فعال در حوزه یادگیری ماشین است. هر چند زبان R هم قابلیت‌های زیادی دارد و می‌تواند در حل مسائل ماشین لرنینگ به کمک شما بیاید.

نکته :

با توجه به رشد بسیار بالای پایتون و محبوبیت آن در کشور ما توصیه ما پایتون است.

مهندس یادگیری ماشین

مهندسی یادگیری ماشین مهم‌ترین و پرتقاضاترین شغل فعلی هوش مصنوعی در جهان است. این شغل شامل متخصصانی می‌شود که تسلط بالایی در ساخت سیستم‌های مبتنی بر هوش مصنوعی دارند، سیستم‌هایی که بتوانند از خودشان چیزهای جدید یاد بگیرند. رسیدن به مهارت بالا در این عنوان شغلی کمی سخت است.

مهندسان واقعی و خبره یادگیری ماشین باید بتوانند با طیف گسترده‌ای از داده‌ها کار کرده و برنامه نویسی را در سطح قابل قبولی بلد باشند. تخمین زده می‌شود به طور میانگین ( در زمان نگارش این مقاله) هر مهندس یادگیری ماشین در ایالات متحده سالانه بین 120.000 تا 140.000 دلار درآمد دارد. البته افراد ماهر می‌توانند درآمد بیشتری هم داشته باشند.

دانشمند داده

همان‌طور که از اسم این شغل می‌توانید حدس بزنید متخصص داده باید داده‌های مختلف را جمع آوری کرده و به کمک یادگیری ماشین آن‌ها را تحلیل کند. این شغل با اینکه از مباحث آماری استفاده می‌کند اما وظیفه‌ی آن فقط جمع کردن گزارش و آمار نیست. کسانی که در این حوزه وارد می‌شوند باید در استفاده از پلتفرم‌های Big Data و ابزارهای مختلف مثل Hadoop، Pig، Hive، Spark، MapReduce و غیره، متخصص باشد. همچنین یادگیری زبان‌های برنامه نویسی و کار با پایگاه داده مثل پایتون، SQL، پرل، اسکالا یا غیره، ضروری به نظر می‌رسد. متوسط درآمد دانشمندان داده در آمریکا در زمان نگارش این مقاله سالانه در حدود 115.000 دلار در سال است.

ماژول numpy, scipy,matplotlib,pylab

ماژول scipy

دستورات در مورد مجموعه ها set

توابع در مورد تاپل

دستور append و extend در مورد لیست پایتون

دستور append و extend در مورد لیست پایتون

دستور append و extend در مورد لیست پایتون

دستور append در مورد لیست پایتون

#علم_داده
بسیاری از ما شنیده‌ایم که علم داده (Data Science) علمِ دنیای فرداست و متخصصان علم داده به سرعت توسط کسب و کارها جذب می‌شوند؛ اما شاید فرصتی پیش نیامده باشد تا درباره‌ی قلمرو علم داده و زیرمجموعه‌های آن مطالعه کنیم.

با این فرض، می‌خواهیم در این درس به صورت بسیار مختصر به تعریف علم داده و معرفی دانش‌ها و مهارتهای وابسته به آن بپردازیم.

آیا ما هم با دستاوردهای علم داده سر و کار داریم؟

ممکن است در نگاه اول به نظر برسد که بحث علم داده، یک بحث تخصصی برای محققان است و انسان‌های عادی، با دستاوردهای آن سر و کار ندارند (یا این‌که هنوز سر و کار ندارند)، اما چنین فرضی درست نیست:

هر بار که به جستجو در گوگل می‌پردازیم؛
هر بار که یک وب‌سایت را باز می‌کنیم و تبلیغاتی متناسب با سلیقه‌ی ما نمایش داده می‌شود؛
هر بار که آمازون یا سایت‌های خرده‌فروشی دیگر، بر اساس خریدهای قبلی و انتخاب‌های فعلی ما، پیشنهادهای جدیدی را مطرح می‌کنند (موتور توصیه‌گر)؛
در حال استفاده از دستاوردهای علم داده هستیم. ضمن این‌که در برخی کشورهای توسعه‌یافته، حق بیمه، مدیریت چراغ‌های راهنمایی و رانندگی و توزیع امکانات و فرصت‌های شهری هم با تکیه بر علم داده انجام می‌شود.

واقعیت این است که علم داده به معنای خاص، چند دهه قدمت دارد و به معنای عام، ریشه‌های آن را می‌توان در قرن‌های گذشته هم جستجو کرد.

اما قدرت گرفتن چند «روند» طی سال‌های اخیر، باعث شده که علم داده بیش از پیش مورد توجه قرار بگیرد. از جمله‌ی این روندها می‌توان به موارد زیر اشاره کرد:

افزایش حجم داده‌ها (در حدی که بیگ دیتا به مسئله‌ی بسیاری از کسب و کارها تبدیل شد)

افزایش قدرت محاسباتی سیستم‌های سخت‌افزاری (که پیاده‌سازی بسیاری از پروژه‌های علم داده را توجیه‌پذیر کرد)

افزایش حجم تولید داده در اینترنت (از اطلاعات تراکنش‌های انسان‌ها و فعالیت در شبکه‌های اجتماعی تا داده‌های گردآوری شده توسط سنسورها، مثلاً اطلاعات موقعیت فیزیکی انسان‌ها در لحظات مختلف)

خلق روش‌های جدیدتر برای تحلیل داده‌ها

در حال حاضر، بسیاری از کسب و کارها برای حل مسائل خود و به‌خصوص سیاست‌گذاری و انجام اقدام‌های پیشگیرانه، از علم داده کمک می‌گیرند. 

#علم_داده
تعریف علم داده چیست؟

می‌گویند علم داده گرفتارِ جنگ تعریف‌ها است (+). به این معنا که افراد مختلف، آن را به شکل‌های متفاوتی تعریف کرده‌اند و چون هیچ‌کس از تعریف دیگری راضی نیست، همه مشغول نقد تعریف یکدیگر هستند.

واقعیت این است که مدعیان تخصص علم داده هم در این میان بی‌تقصیر نیستند. در حدی که گاهی یک نفر که صرفاً توانایی ترسیم چند نمودار در اکسل را دارد، خود را متخصص علم داده معرفی می‌کند و نتیجه این می‌شود که عده‌ای می‌گویند: «متخصص علم داده، همان کارشناس آمار است که حقوق بیشتری می‌خواهد.»

اگر از این اختلاف‌نظرها و افراط‌ها بگذریم، می‌توان گفت دو تعریف زیر تقریباً در میان غالب متخصصان علم داده پذیرفته شده‌اند:

تعریف علم داده توسط براشلر و همکاران (منبع)

علم داده به ترکیب منحصر‌به‌فردی از اصول و روش‌ها، اعم از تحلیل، مهندسی، کارآفرینی و علم ارتباطات اشاره دارد که می‌کوشد از داده‌ها، ارزش اقتصادی خلق کند.

تعریف علم داده توسط کِهِلِر (منبع)

علم داده شامل مجموعه‌ای از اصول، مسائل، الگوریتم‌ها و فرایندهاست که برای استخراج الگوهای غیرواضح و قابل‌استفاده از حجم بزرگ داده‌ها به‌کار گرفته می‌شود.

این الگوها واضح نیستند؛ به این معنا که غالباً با تحلیل شهودی کارشناسان، نمی‌توان آن‌ها را یافت و درک کرد.

این الگوها کاربردی هستند؛ به این معنا که صرفاً داده‌های پیش رو را توصیف نمی‌کنند؛ بلکه مسیری برای اقدام عملی در اختیار ما می‌گذارند.

#علم_داده
آیا علم داده همان داده کاوی است؟

گاهی اوقات علم داده (Data Science) را با داده کاوی (Data Mining) و گاه با یادگیری ماشین (Machine Learning) مترادف در نظر می‌گیرند.

گاهی هم پیش می‌آید که آن را زیرمجموعه‌ی علم آمار فرض می‌کنند. اما منطقی‌تر است که برای علم داده تعریف گسترده‌تری در نظر بگیریم. زیرا:

علم داده ، بر خلاف داده کاوی، تمام فرایند مرتبط با داده، از گردآوری اولیه تا عرضه‌ی محصول مبتنی بر داده‌ها را در برمی‌گیرد و صرفاً به تحلیل داده محدود نیست.

علم داده بر خلاف روش غالب در آمار، معمولاً از جنبه‌ی توصیفی و استنتاجی فاصله می‌گیرد و می‌کوشد بر اساس داده‌های موجود، به پیش‌بینی و تجویز بپردازد.

بنابراین بهتر است علم داده را به معنای عام‌تر در نظر بگیریم و فرض کنیم سایر شاخه‌ها (مثل آمار، داده کاوی و یادگیری ماشینی) دستاوردهای خود را در اختیار علم داده قرار می‌دهند.

#علم_داده
آیا علم داده همان داده کاوی است؟

گاهی اوقات علم داده (Data Science) را با داده کاوی (Data Mining) و گاه با یادگیری ماشین (Machine Learning) مترادف در نظر می‌گیرند.

گاهی هم پیش می‌آید که آن را زیرمجموعه‌ی علم آمار فرض می‌کنند. اما منطقی‌تر است که برای علم داده تعریف گسترده‌تری در نظر بگیریم. زیرا:

علم داده ، بر خلاف داده کاوی، تمام فرایند مرتبط با داده، از گردآوری اولیه تا عرضه‌ی محصول مبتنی بر داده‌ها را در برمی‌گیرد و صرفاً به تحلیل داده محدود نیست.

علم داده بر خلاف روش غالب در آمار، معمولاً از جنبه‌ی توصیفی و استنتاجی فاصله می‌گیرد و می‌کوشد بر اساس داده‌های موجود، به پیش‌بینی و تجویز بپردازد.

بنابراین بهتر است علم داده را به معنای عام‌تر در نظر بگیریم و فرض کنیم سایر شاخه‌ها (مثل آمار، داده کاوی و یادگیری ماشینی) دستاوردهای خود را در اختیار علم داده قرار می‌دهند.

اضافه کردن داده به لیست پایتون