لایه1 به عنوان لایه منابع داده ای شناخته می شود در این لایه ،ابتدا داده ها از منابع عملیاتی مختلف ،انتخاب و سپس استخراج می شوند . در مرحله بعد عملیات تمییزسازی و یکپارچه سازی انجام شده و در نهایت داده ها به پایگاه پردازش تحلیلی بصورت نگاشت بارگذاری می شود.این عملیات باعث می شود که داده های دقیق و سازگار از این منبع فراهم شوند.ابزارهای مورد استفاده در این مرحله OGGوODIوOWB در حوزه اوراکل می باشد.
لایه2 به عنوان لایه انبار داده شناخته می شود در این لایه بعد از عملیات ETL در لایه قبل ،داده های یکپارچه شده در مدلهای چندبعدی ذخیره می شود . در این لایه تکنولوژی های ROLAP،MOLAP,HOLAP ایجاد میشود.در ضمن در این بخش sub layer هایی با نام Data Mart داشته باشد که در واقع نسخه های کوچکتری از انبار داده اصلی می باشند.
ابزارهای مورد استفاده در لایه دوم دیتابیس های اوراکل،sql و ... می باشد.

ابزارهای مورد استفاده در لایه دوم دیتابیس های اوراکل،sql و ... می باشد.

در لایه 3 بخش مربوط به ساخت کیوب های فیزیکی با استفاده از مدلهای ساخته شده در لایه دوم می باشد.در اوراکل دو نوع کیوب فیزیکی ساخته می شود 1-ASO
2-BSO
معمولا مدلهای اسنوفلک و گالگسی از نوع ASO ساخته می شود.
مدل استار از نوع BSO ساخته می شود.
ASO:aggregate storage option
BSO:block storage option
.هر کدوم از این کیوبها ویژگی خاصی دارند که انشا.. جزییات بیشتر در آینده به عرض خواهم رساند.
ابزار مورد استفاده اوراکل در این مرحله Essbase server oracle می باشد . به طور کل این لایه به EPM معروف هست یعنی enterprise performance management.

لایه چهارم به لایه هوش تجاری شناخته می شود در این لایه از طریق ابزار oracle administrstion toold BI کیوب منطقی با کیوب فیزیکی ساخته شده در لایه قبل نگاشت می شود نکته خیلی مهم در این مرحله اینست که fact و dimension های ساخته شده در لایه قبل در این لایه شناسایی می شود . بعد از ساختن کیوب منطقی کلیه گزارشات و داشبوردها از طریق این لایه ساخته میشود.ابزارهای مورد استفاده در این لایه شامل:OBI Answer-obi server-obi fusion middleware-obi mobile-web logic server administration console-
Oracle R Enterprise-ODM

لایه آخر مربوط به لایه اپلیکیشن می باشد که لایه نمایش اطلاعات است. در این بخش ابزارهای ساخت گزارش بصورت آنی و نیز انتشار گزارشات در قالب داشبوردهای مدیریتی می باشد. از طریق ابزارهای آفیس و دیگر ابزارهای اندروید و ... شما می توانید کلیه داشبوردهای ایجاد شده در لایه های قبل را مشاهده فرمایید.

استخدام متخصصین هوش تجاری در یک شرکت بازرگانی خارجی @BIMining

جلسه چهل و چهارم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining

جلسه چهل و پنجم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining

#توزیعـنرمال
#Normality_Test

بسیاری از آزمون‌های آماری بر پایه توزیع نرمال ساخته شده‌اند که پیش‌فرض غالب این آزمون‌ها، برقراری نرمال بودن توزیع داده‌های متغیر مورد نظر است. در ادامه نحوه انجام ۶ آزمون برای بررسی نرمال بودن توزیع داده‌های تک متغیری و یک آزمون برای بررسی نرمال بودن توزیع داده‌های چند متغیری در نرم افزار R بیان شده است.

🔸 تعریف یک متغیر
x=rnorm(80,56,9)

🔹 آزمون شاپیرو-ویلکز
shapiro.test(x)

🔸 فراخوانی پکیج nortest
library(nortest)

🔹 آزمون اندرسون-دارلینگ
ad.test(x)

🔹 آزمون Cramer-von Mises
cvm.test(x)

🔹 آزمون Lilliefors (کولموگروف-اسمیرنوف)
lillie.test(x)

🔹 آزمون مجذور کای پیرسون
pearson.test(x)

🔹 آزمون شاپیرو-فرنسیا
sf.test(x)

🔸 فراخوانی پکیج mvnormtest
library(mvnormtest)
🔸 فراخوانی مجموعه داده EuStockMarkets و آماده‌سازی مجموعه‌ داده‌
data(EuStockMarkets)
C <- t(EuStockMarkets[15:29,1:4])

🔹 آزمون نرمال بودن چندمتغیری شاپیرو-ویلکز
mshapiro.test(C)
________________________
@BIMining

#ﺁﺯﻣﻮﻥ_ﺍﻧﺪﺭﺳﻦ_ﺩﺍﺭﻟﯿﻨﮓ:

ﺍﯾﻦ ﺁﺯﻣﻮﻥ ﺩﺭ base ﺯﺑﺎﻥ R ﻣﻮﺟﻮﺩ ﻧﯿﺴﺖ ﻭ ﺑﺮﺍﯼ ﺍﺳﺘﻔﺎﺩﻩ ﺍﺯ ﺁﻥ ﺑﺎﯾﺪ ﯾﮑﯽ ﺍﺯ ﭘﮑﯿﺞﻫﺎﯼ adTest ، nortest ﯾﺎ ADgofTest ﺭﺍ ﻧﺼﺐ ﮐﻨﯿﺪ ، ﺍﯾﻦ ﺁﺯﻣﻮﻥ ﻫﻢ ﻣﺎﻧﻨﺪ ﺩﻭ ﺁﺯﻣﻮﻥ #شاپیرو_ویلک و #کلموگروف_اسمیرنوف ﻫﻨﮕﺎﻣﯽ ﮐﻪ P-value ﺑﯿﺸﺘﺮ ﺍﺯ 0.05
‏( ﺑﺎ ﺁﻟﻔﺎ ﯾﺎ ﺳﻄﺢ ﺍﻃﻤﯿﻨﺎﻥ ‏) ﺑﺎﺷﺪ ﻧﺮﻣﺎﻝ ﺑﻮﺩﻥ ﺩﺍﺩﻩ ﺭﺍ ﻧﺸﺎﻥ ﻣﯽﺩﻫﺪ . #ﺍﻧﺪﺭﺳﻦ_ﺩﺍﺭﻟﯿﻨﮓ ﻫﻢ ﻫﻤﺎﻧﻨﺪ K-s ﻗﺎﺑﻠﯿﺖ ﺍﺳﺘﻔﺎﺩﻩ ﺑﺮﺍﯼ ﺗﻮﺯﯾﻊﻫﺎﯾﯽ ﻏﯿﺮ ﺍﺯ ﺗﻮﺯﯾﻊ ﻧﺮﻣﺎﻝ ﺭﺍ ﺩﺍﺭﺩ .
ﺁﺯﻣﻮﻥﻫﺎﯼ ﺩﯾﮕﺮﯼ ﻫﻢ ﺑﺮﺍﯼ ﺑﺮﺭﺳﯽ ﻧﺮﻣﺎﻝ ﺑﻮﺩﻥ ﺩﺍﺩﻩ ﻣﻮﺟﻮﺩ ﺍﺳﺖ ﺍﻣﺎ ﺩﺭ ﺍﮐﺜﺮ مواقع ﺳﻪ ﺁﺯﻣﻮﻥ #شاپیرو_ویلک(shapiro.test)، #کلموگروف_اسمیرنوف (ks.test)و #اندرسون_دارلینگ(ad.test) ﮐﺎﻓﯽ است:

> install.packages("nortest")
> library(nortest)
> help(ad.test)
_______________
@BIMining

#آزمون_kpss:
معروفترین آماره برای آزمون فرضیه صفر مبنی بر مانا بودن سری آماره ایست به نام kpss که توسط ("کوویت کووسکی،فیلیپس،اشمیت و شین") معرفی شد.
آماره ی kpss عبارتست از نسبت واریانس نمونه ای بر واریانس بلند مدت، که این واریانس نمونه ای،بطور متناسب مجموع جزیی سری مقیاس بندی شده است.
مدلی که برای آماره ی kpss در نظر گرفته می شود به شکل زیر است:
Υt= α + βt + d Σui + εt
t= 1,2,...,T
که در آن ui و εt هردو کوواریانس مانا و دارای حافظه ی کوتاه مدت با میانگین صفر هستند، {0,1} d ε تحت فرض مقابل بخش تصادفی yt عنصر گام تصادفی می شود، Σui و عنصر اخلال نیز همان εt خواهد بود.
صورت آماره آزمون kpss:
St= Σei
خود آماره آزمون تشکیل شده با فرض صفر:
W= T^-2 Σ st^2/σ^2
.………………………………………………
#آزمون_kpss_در_R:
> install.packages("tseries")
> library(tseries)
> help(kpss.test)
_____________________
@BIMining

Administering a SQL Database Infrastructure @BIMining

https://goo.gl/fjyWDk


٩ ويژگي جديد SQL Server 2017

#درونیابی_و_هموارسازی:
درونیابی و هموار سازی در R به صور مختلفی قابل اعمال اند که بعضی از آنها را به شرح ذیل می آوریم:
#درونیابی_خطی: تابع ()approx
که بین نقاط انجام می شود.
#درونیابی_با_استفاده_ازمکانیسم
_تابع()spline: نسبت به روش قبل هموار تر است.
#تابع_()smooth.spline:مجموعه نقاطی که قدری هموارتر شده است اما نقاط اصلی را بهم متصل نمی کند.
#مثالی در این باره را در نرم افزار اجرا می کنیم
> x<-1:10

> y<-c(9,7,6,8,5,8,9,6,3,5)

> plot(x,y,cex=2,main="interpolation,smoothing",sub="Reducational")

> lines(spline(x,y,n=100),lty=1)

> points(approx(x,y,xout=seq(1,10,0.1)),pch=1)

> lines(smooth.spline(x,y),lty=2)

> legend("bottomleft",lty=c(1,NA,2),pch=c(NA,1,NA),legend=c("spline","approx",
"smooth.spline"))

@BIMining

خروجي دستور بالا ☝️☝️☝️


@BIMining

جلسه چهل و ششم -آموزش پایتون**فیلم آموزشی پایتون از صفر تا 100 در کانال @BIMining

پیاده سازی معماری کلان ORE و ORACLE 12c و OBIEE 12c

پیاده سازی معماری کلان ORE:
معماری فوق در تکنولوژی و ابزارهای ORACLE 12c و OBIEE12c و R بطور کامل پیاده سازی شده است. و نمونه ای از خروجی های آن در ابزار OBIEE 12c به شرح ذیل می باشد در ضمن یکی از مهمترین ویژگی استفاده از ابزار R در پلتفرم اوراکل سرعت بسیار بالای روش های داده کاوی و تحلیلی پیچیده در زمان بسیار کم بوده است که جالب توجه است با سپاس
( عالیشاهی-احمدی-جمشیدی)

شکل 1پیاده سازی روش خوشه بندی در ابزار OBIEE 12c

شکل2 روش Anomaly Detection