یک فایل کامل راجع به انباره داده 👆👆👆👆

OLAP و OLTP
با توجه به تکنولوژی های مرتبط در خصوص طراحی و پیاده سازی پایگاه داده ها برای استفاده از سرویس های تحلیلی می توان این پایگاه داده را به دو دسته کلی تقسیم کرد:
OLAP: همان طور که از نام این گروه مشخص است این پایگاه داده ها برای تحلیل و بررسی مورد استفاده قرار می گیرند که طبیعتا طراحی و ساختار آن با پایگاه داده های معمولی متفاوت خواهد بود. مثلا در طراحی این پایگاه داده ها از ایندکس های بیشتری استفاده می شود که سرعت واکشی و دسترسی به اطلاعات افزایش می یابد اما در عین حال سرعت درج و بر روز رسانی کاهش یافته که این مسئله باعث می شود همین کار در پایگاه داده های OLTP مناسب نباشد. معمولا این پایگاه داده را با کلمه DW خاتمه می یابند. DW مخفف عبارت Data warehouse می باشد که بیانگر پایگاه داده هایی است که برای تحلیل طراحی شده اند .
OLTP: این پایگاه داده ها، همان پایگاه داده های اصلی هستند که طبیعتا هر مهندس DBA آن را برای بایگانی و جمع آوری اطلاعات ایجاد می کند. در مبحث BI شما می بایست ابتدا پایگاه داده خود را به صورت ساختار یافته طراحی کنید و سپس برای مباحث DM نسخه جدیدی از آن طراحی کنید البته معمولا در صورتی که پایگاه داده شما به درستی طراحی شده باشد تغییرات زیادی لازم نیست.
مفاهیم مربوط به طراحی OLAP
مهمترین مفهومی که در طراحی سرویس های تحلیلی وجود دارد، مکعب است. مکعب، نمایشی چند بعدی از مقدار کمی مورد تحلیل است. اگر بخواهیم خیلی صریح توضیحی ارائه دهیم، این مثال را در نظر بگیرید که شما می خواهید بدانید هر کالا با چه تعدادی و در چه زمان هایی و توسط چه مشتریانی خریداری شده است. خوب هر کدام از پارامتر ها را یک مقیاس در نظر بگیرید (طول، عرض و ارتفاع) اما نکته قابل توجه این مسئله است که در این مفاهیم می تواند بعد های بیشتری داشت، در این مثال پارامترهای دیگری چون فروشند گان، نوع فروش، سیستم کالا بر، و... پارامترهای دیگری را می توان دخیل کرد اما چون می خواهیم مثال ما ساده باشد همان سه بعد را در نظر می گیریم.
مفهوم بعدی که باید مطرح کنم و همان طور که در تصویر مشخص است، مفهوم Cell است، طبیعتا هر خانه یک موجودیت مستقل نسبت به سایر خانه های مکعب است و هر خانه دارای بعد هایی است که قبلا ذکر کردیم می باشد.
در هر مکعب اندازه هایی وجود دارد که توسط آن می توان در مورد هر سلول تصمیم گرفت و میزان آن را با بقیه سلول ها مقایسه کرد، در مثال ما اندازه ها مانند تعداد فروش، و... است
مفهوم بعدی، بعُد است. درمثال ما طبق توضیحات ارائه گردیده، زمان، تعداد،مشتری ابعاد ما هستند. بعُد در واقع چیزی است که یک اندازه را دسته بندی می کند.
مفهوم آخر، سلسله مراتب است. در کل دو نوع سلسله مراتب داریم متقارن و نامتقارن؛ در سلسله مراتب متقارن فاصله همه ی برگ ها تا ریشه برابر است اما در نامتقارن متفاوت خواهد بود.

🍀🍀🍀🍀🍀

1- بانک اطلاعاتی OLTP برای ثبت سریع و بی درنگ تراکنش های یک سیستم استفاده می شود. درصورتی که از انباره های داده OLAPبرای آنالیز برخط و تصمیم گیری های کلان درسطح BI استفاده می شود.
2- روابط بین جداول ونرمالیتی در بانک های اطلاعاتی پیچیده و موجودیت ها کاملاً مشخص می باشند در حالی که انباره های داده روابط پیچیده ای نداردند و برای بالابردن سرعت تقریباً نرمال سازی نمی شوند.
3- بانک اطلاعاتی موجودیت محور می باشد یعنی در طراحی آن موجودیت ها نقش اصلی را بازی می کنند در حالی که در انباره داده این مدل های داده ای هستند که نقش اصلی رو در طراحی بازی می کنند.
4- بانک های اطلاعاتی جهت درج داده طراحی می شوند در حالی که انباره های داده بیشترین تمرکز را در سرعت در خواندن داده دارند.
5-سرعت بانک اطلاعاتی در گزارش هایی جهت آنالیز اطلاعات بسیار پایین است اما سرعت آنالیزها در انباره داده بیشتر می باشد.
و در نهایت یک انباره داده معمولاً یک بانک اطلاعاتی است و همچنین ممکن است یک انباره داده از چند بانک اطلاعاتی داده دریافت کند.

طراحي انبار داده با استفاده از SQL Server و سرویس هوش تجاری مایکروسافت
The Microsoft Data Warehouse Toolkit
Joy Mundy-Warren Thornthwaite
with Ralph Kimball
Wiley Computer Publishing
#Ebook
@Nemoudar

مقايسه قابليت هاي
Power BI service
Power BI report server
SQL Server reporting service

#Power_BI
#SSRS
@Nemoudar

فايله فوق مقايسه Power BI با SSRS و DataZen مي باشد

فایل های جلسه دوم لایو کلیک ویو

معماری ابزار قدرتمند ODI12 c جهت ذخیره سازی انواع دیتا و با فریم ورک های مختلف Big Data

معماری ترکیبی ODI12C و Ogg جهت ETLوELT بصورت real-time و با اکوسیستم های Big Data

رایانش ابری و مدل تازه‌ای برای محیط کار @BIMining

INMON

KIMBALL

#آموزش
Code for Tensorflow Machine Learning Cookbook

https://github.com/nfmcclure/tensorflow_cookbook

#کتاب

Tensorflow Machine Learning Cookbook

پردرآمدترین مدیران تکنولوژی دنیا؛

متوسط درآمد این مدیران در سال مالی 2016، حدود 16.9 میلیون دلار بوده و شرکت‌های فعال در بخش رسانه و سرگرمی حاکمیت این فهرست را دراختیار دارند.

@BIMining

چرا بسیاری از پروژه‌های BIدر فاز آغازین شکست می‌خورند؟😩
❌❌❌❌❌❌❌❌❌

جمع آوری و سازماندهی داده‌ها از میان منابع مختلف و ارائه‌ی تحلیل‌های مبتنی بر درک عمیق همراه با آینده‌نگری، منجر به ایجاد سازمان های کسب و کار محور هوشمندتری خواهد شد.
هوشمندتر شدن کسب و کارها در بازار شلوغ کسب و کار امروزی، رقابت‌ها را بیشتر و پیچیده‌تر خواهد کرد.

😳 اما مطابق آمار، 59 درصد از پروژه‌های BI با شکست مواجه می‌شوند!

در اینجا به ذکر سه دلیل عمده‌ی این شکست می‌پردازیم:

1️⃣ مشکل در پذیرش ذهنی کاربران و ناتوانی آن‌ها در به‌کارگیری سیستم
سوال این است که چرا باید کارکنان شما خود را با یک سیستم درگیر کنند، در حالی که تصور می‌کنند دیر یا زود متوجه می‌شوند این سیستم مزیت خاصی نسبت به سیستم قبلی ندارد.
کاربران برای این که خود را برای یادگیری یک سیستم جدید آماده کنند به زمان بیشتری احتیاج دارند. راه‌اندازی یک راهکار BI قسمت ساده‌ی ماجراست، درحالی‌که چالش جدی‌تر، وادارکردن تیم‌های کاری به به‌کارگیری آن راهکار است.

2️⃣ کیفیت داده‌ها
داده‌های بد منجر به تصمیمات بد خواهد شد. روش مدیریت داده‌ها در فاز آغازین BI موضوعی حیاتی است. قبل از هر چیز مطمئن شوید که داده‌های شما تمیز و دقیق بوده و جهت اخذ تصمیمات واقعی در حیطه‌ی کسب و کار مفیدند.

3️⃣ داشبوردهایی که اطلاعات ارایه شده توسط آن‌ها قابل اجرا نیست
شما می‌توانید داده‌های BI خود را به هر شکلی انتخاب کنید و در داشبورد نمایش دهید، اما آیا آن‌چه در داشبورد نمایش داده می‌شود، کارا و مفید است؟ نمودارها و چارت‌ها، فهم و تحلیل داده‌هایی که نرم افزارهای BI در اختیارتان گذاشته را آسان‌تر می‌کنند، آن‌ها به خودی خود معنایی ندارند، مگر آن ‌که شما آن‌چه را که در داشبورد نمایش داده‌ می‌شود، با دیدگاه‌های قابل اجرای و شاخص های کلیدی مرتبط سازید.