پایتون مالی

📑 مفهوم کلان‌داده‌

امروزه با داده‌های بسيار زياد، مختلف، و با پيچيدگي بالا سروکار داريم که مديريت، سازمان‌دهی، و نگهداری آن‌ها مساله مهمي است.

طبق آمار، ۹۰ درصد داده‌های موجود در جهان تنها در دو سال اخیر ایجاد شده‌اند. رشد داده‌ها در سال ۲۰۰۹ چیزی در حدود ۰.۸ زتابایت (۰.۸ ZB) بوده است که پیش‌بینی مي‌شود اين مقدار در سال ۲۰۲۰ به ۳۲ ZB افزايش يابد.

رشد داده‌ها همچنان مانند گذشته ادامه دارد و رشد آن‌ها روزه به روز سریعتر می‌شود.

مشکل اصلی البته این است که رشد داده‌ها بیشتر در زمینه‌ی داده‌های غیرِ ساخت یافته صورت می‌گیرد.

امروزه #کلان‌داده‌ توسط منابع مختلفی مانند دستگاه‌های موبایل، GPS، RFID، شبکه‌های اجتماعی، مشتریان و بسیاری از منابع دیگر توليد مي‌شود.

🔰 تعریف کلان‌داده

برای کلان‌داده‌ها تعاریف متعددی ارائه شده است که در زیر به چند مورد از آن‌ها اشاره می‌شود:

به طور عمومی کلان‌داده عبارت است از مجموعه داده‌هایی که به روش‌های سنتی موجود در فناوری اطلاعات، نرم‌افزارها و سخت‌افزار و در یک زمان قابل قبول قادر به جمع‌آوری، درک، و مدیريت نباشند.

تعریف Apache Hadoop در سال ۲۰۱۰ برای کلان‌داده: کلان‌داده عبارت است از مجموعه داده‌هایی که باتوجه به کامپیوترهای موجود براحتی قابل جمع‌آوری، مدیريت، و پردازش نباشند.

برای کلان‌داده‌ها یکسری چالش و فرصت معرفی شده که به صورت مدل ۳V بیان می‌شود و شامل افزایش حجم، شتاب، و تنوع می‌باشد.

۱. حجم (Volume): با تولید و جمع‌آوری داده‌ها در نهایت به انبوهی از داده‌ها دست می‌یابیم که گستره‌ی آن‌ها بسیار زياد است.

۲. شتاب (Velocity): داده‌ها با سرعت زیادی تولید می‌شوند و نیاز به تحلیل سریع و به موقع است.

۳. تنوع (Variety): به معنی وجود انواع مختلف داده‌ها است که خود شامل داده‌های ساخت یافته، نیمه ساخت یافته و غیرساخت یافته است مانند ویدئو، صوت، متن، و صفحات وب.

چرخه‌ی حیات کلان‌داده

چرخه‌ی حیات کلان‌داده را می‌توان یک حلقه از چهار عملیات زیر در نظر گرفت:

۱. جمع‌آوری (Collection): شامل جمع‌آوری داده‌های مناسب از مجموعه‌ی داده‌ای مناسب است. برای مثال جمع‌آوری داده‌ها می‌توانند از یک شبکه‌ي اجتماعي يا شبکه‌هاي حسگر بي‌سيم باشند.

۲. یکپارچه‌سازی (Integrate): داده‌های جمع‌آوری شده با یکدیگر یکپارچه و سازماندهی (Organize) می‌شوند. گاهي ممکن است مجبور شويم آن‌ها را با مجموعه‌ي داده‌اي خود منطبق کنيم.

۳. تحلیل (Analysis): در این بخش می‌توان تحلیل‌های ساده و یا تحلیل‌های پیشرفته‌ي آماري بر روي داده‌ها انجام داد.

۴. تصمیم‌گیری‌ها و اقدامات (Actions Decisions): بعد از جمع‌آوری، یکپارچه‌سازی، و تحلیل داده‌ها می‌توان آن‌ها را به مدیر تحويل داد و بر اساس اين داده‌ها مدير مي‌تواند اقدامات لازم و مفيد را اجرا کند. براي مثال اگر شما يک کتاب در زمينه‌ي علوم کامپيوتر از آمازون خريداري کنيد، ممکن است به شما پيشنهاد خريد کتابي در زمينه‌ي کلان‌داده نيز ارائه شود.

🌐 ما را در تلگرام دنبال کنید.

افزایش دانش مالی با پایتون در تلگرام

https://t.me/pyfinance