اینم یه مورد از aggregation و map-reduce.......اول کم میکنه....بعد خلاصه میکنه......جالبه!

مشابه با معماریهای ابری، چشم انداز کلان داده به چهار لایه که به صورت عمودی در شکل زیر نشان داده شده است می تواند تقسیم گردد.

Infrastructure as a service (IaaS):
شامل حافظه، سرورها و شبکه بعنوان کالای پایه و ارزان پشته داده کلان می باشد.این پشته می تواند به صورت فیزیکی یا مجازی(ابری) باشد.سیستمهای فایل توزیع شده قسمتی ازین لایه هستند.

Platform as a service (PaaS):
منابع ذخیره داده NoSQL و cacheهای توزیع شده که می توانند به طور منطقی توسط زبانهای پرسجو مورد پرسجو قرار گیرند لایه پلتفرم داده کلان را تشکیل می دهند.این لایه مدل منطقی برای داده خام و غیرساخت یافته ذخیره شده در فایلها را فراهم می کند.

Data as a Service (DaaS):
کل آرایه ابزارهای در دسترس برای یکپارچگی با لایه PaaS با استفاده از موتورهای جستجو، آداپتورهای یکپارچگی، برنامه های دسته ای و ... در این لایه قرار می گیرند.API موجود در این لایه بوسیله تمام سیستمهای نقطه نهایی در مد محاسباتی الاستیک مورد مصرف قرار می گیرد.

Big Data Business Functions as a Service (BFaaS):
صنایع خاص-مانند سلامت، خرده فروشی، تجارت الکترونیک، انرژی، بانکداری- می توانند بسته برنامه هایی که یک نیاز تجاری خاص را سرویس دهند ایجاد کنند و از لایه DaaS برای توابع داده میان بر نهایت استفاده را ببرند.

تحلیل داده غیر ساخت یافته شامل تشخیص الگوها در متن، ویدئو، تصاویر و سایر چنین محتویاتی می باشد.این امر با جستجوهای مرسوم که مستندات مرتبط را بر پایه یک رشته جستجو برای ما می آورد تفاوت دارد.تحلیل متن درباره جستجو برای الگوهای تکراری در مستندات، ایمیلها، محاورات و سایر داده هاست تا استنتاج و بینش به ما دهد.
داده غیر ساخت یافته با متدهایی نظیر تحلیل زیان طبیعی (NLP) و داده کاوی و مدیریت داده اصلی (MDM) و آمار تحلیل می گردد.تحلیل متن از پایگاه داده های NoSQL برای استانداردسازی ساختار داده استفاده می کند تا آن بتواند بوسیله زبانهای پرسجویی نظیر PIG، Hive و ... تحلیل گردد.فرآیندهای تحلیل و استخراج از مزایای تکنیکهایی که از زبانشناسی، آمار و تحلیل عددی سرچشمه می گیرند، بهره می جوید.

با چالشهای زیادی روبرو هستیم.
یکی از چالشهای اساسی فهمیدن و اولویت بندی داده از آشغال (داده بیخود) می باشد که بداخل سازمان می آید.نود درصد داده ها بیخود هستند و کلاسبندی و فیلتر کردن دانش ازین داده ها کار ترسناکی است.
در جستجوی یافتن متدهای کم هزینه تحلیل، سازمانها باید در برابر الزامات محرمانگی داده مصالحه کرده و توازن برقرار کنند.استفاده از رایانش ابری و مجازی سازی تصمیم گیری در مورد میزبانی راه حل های داده کلان در خارج از سازمان را پیچیده تر کرده است. اما استفاده از این تکنولوژیها یک مبادله در برابر هزینه مالکیتی است که هر سازمانی با آن سروکار دارد.
داده به سرعت زیاد می شود طوریکه بایگانی آن گران تمام می شود.سازمانها باید تعیین کنند که تا چه مدتی می خواهند داده نگهداری گردد. این یک سوال زیرکانه است چرا که بعضی از داده ها برای تصمیم گیری بلند مدت سودمند هستند در حالیکه بقیه داده ها حتی چند ساعت پس از اینکه تولید شدند و تحلیل گشته و بینشی از آنها اخذ گردید، مناسب نمی باشند.
با اختراع تکنولوژیهای جدید و ابزارهای موردنیاز برای ساخت راه حل های داده کلان،در دسترس بودن مهارت ها یک چالش بزرگ برای CIO ها می باشد.امروزه یک سطح بالا از مهارت در دانش داده برای پیاده سازی راه حل های داده کلان مورد نیاز می باشد زیرا ابزارها هنوز کاربر پسند نیستند.

حجم داده اطراف ما هر روز در حال رشد است، همانطور که در شکل زیر می بینیم

از آنجاییکه 70 درصد داده ها بوسیله افرادی تولید می شود که مشتریان سازمانها یا جاهای دیگر می باشند، سازمانها نمی توانند از این منبع مهم فیدبک مشتریان که بینشی در مورد رفتار مشتریان به ما می دهد چشم پوشی کنند.

بر طبق تحقیقات گارتنر سال 2012 داده کلان سبب هزینه 28 بیلیون دلاری در IT شده است.

این رقم در سال 2012 به 34 بیلیون دلار و بر حسب تخمین گارتنر تا 2016 به عدد 232 بیلیون دلار خواهد رسید.

دلیل اصلی این رشد این است که مدیران اجرایی بینش و هوشی که شامل در داده های غیرساخت یافته عظیم دریافت شده از خارج سازمان می باشد را مشاهده می کنند.

شرکتها بوسیله تحلیل داده کلان که دیدگاه ترکیبی از داده های ساخت یافته و غیرساخت یافته مشتریان ارائه می کند به بینش قابل توجهی دست می یابند.آنها افزایش رضایت مشتریان،وفاداری و سود را مشاهده می نمایند.

برای مثال:
شرکتهای انرژی داده مصرف ثبت شده توسط اندازه گیرهای هوشمند را بطور بلادرنگ مشاهده و ترکیب می کنند تا سرویسهای بهتری برای مشتریان فراهم سازند و زمان Uptime را بهبود بخشند.

سایتهای وب و کانالهای تلویزیونی قادر خواهند بود تا استراتژیهای تبلیغاتی خود را بر پایه جمعیت خانگی مشاهده کنندگان و الگوهای مشاهده برنامه قرار دهند.

سیستمهای تشخیص تقلب قادر به تحلیل رفتارها و فعالیتهای مرتبط در مجموعه داده های چندگانه از تحلیل رسانه اجتماعی می باشند.