大數據分析讀書會🇹🇼
74 subscribers
101 photos
2 videos
1 file
141 links
大數據分析分為數字大數據分析和意向大數據分析,是因應數據特性不同而區分出來的分析法

這頻道即分享大數據分析法的最新觀念、知識及實務應用

要學就學最新的知識和技術

聊天交流群:https://t.me/modellingdata
Download Telegram
#中央極限定理 #均勻分配
📌檢驗分配某一參數為條件下,觀察Z-score的隨機樣本和之條件機率分配是否穩定。

若穩定型態不變,代表參數值不影響隨機樣本和之條件機率分配
#中央極限定理 #均勻分配
當樣本數增加時,隨機樣本和之樣本平均數、樣本變異數、樣本偏態係數、樣本峰態係數會發生什麼事情呢?

因為均勻分配是對稱型分配,隨機樣本和之樣本平均數、樣本變異數和樣本偏態係數都不會受到樣本個數影響,但是樣本峰態係數卻在樣本小時會影響峰態係數低於3。但隨著樣本增加逐漸趨近3
大數據分析或人工智慧基礎模板:機率分配模擬器

必要功能:
1️⃣ 常用45種機率分配的隨機樣本皆可模擬
2️⃣ 可以隨機生成1億筆以上
3️⃣ 可同時生成兩組或以上的獨立隨機樣本
4️⃣ 可同時生成兩組或以上相依隨機樣本
5️⃣ 可讓機率分配任意函數轉換
6️⃣ 可讓機率分配任意做數學組合

既然機率分配模擬器是人工智慧基礎模板,樣本訓練和比對就是為了能夠和基礎模板配適!

你基礎模板內的機率分配種類不夠多,不能做任意的函數轉換,不能任意做數學組合,硬要套入不到10種固定的機率分配,這就是為什麼人工智慧不會有數學模型結果,只有圖形和精確指標提供參考!

#數據分析
喜歡請點讚、關注和分享,謝謝
介紹文:你用對數據分析嗎?分享完整的數據分析流程

https://meiyulee.github.io/leetalk/2022/03/25/data-analysis-procedure

這文寫了兩天😂😂,如果有新的還會繼續增加

#數據分析

喜歡請點讚、關注和分享,謝謝
分享文:為什麼比對模型那麼困難,搞出那麼多花招指標

https://meiyulee.github.io/leetalk/2022/03/27/cannot-compare-model-reason

有直線道路只是路上障礙太多還特移不走

繞路而行也不知定位系統有沒有發揮作用,能夠走到目地的

我提出兩點說明為什麼比對模型那麼困難!

#數據分析

喜歡請點讚、關注和分享,謝謝
數據的機率分配(機率模型)不知道就沒辦法做後續的大數據分析和人工智慧。

知道數據的機率分配,卻不知道參數為何,這不完整的機率分配檢定也不行!

我們怎麼才能得到完整的數據機率分配呢?那你得要知道數據來自哪個特定參數值的機率分配!

下方連結是使用建模軟體跑出結果,沒有圖形顯示!而《統計學不能做為大數據分析的工具》的軟體可以繪製圖形了解數據的機率分配型態!

https://meiyulee.github.io/leetalk/2022/03/29/goodnessoffit

你可以先用建模軟體測定數據的機率分配,再用自己常用的軟體或程式,為數據的機率分配做原型,訓練樣本或成為事前機率。

喜歡請點讚、分享或轉發,謝謝
分享文:延續前篇,有些人不喜歡一次測45種分配,他們已經使用其他軟體測定出數據的分配,但不知道參數多少。這時候,你可以就檢定特定分配的方式去找出分配參數!

是的,可以不經過區間估計和假設檢定的一個母體平均數、變異數、母體比例做估計和檢定。

那我們怎麼找數據的特定分配參數呢?連結內文使用建模軟體幫你找出分配參數!

https://meiyulee.github.io/leetalk/2022/03/30/goodness

有關安裝和系統要求請看前篇博文。

#適合度檢定 #數據分析 #機率模型
#大數據 #大數據分析 #人工智慧
喜歡請點讚、分享或轉發,謝謝
#圖解觀念系列 這是篇概念文!

機率和統計的差異很容易知道,就是看你知不知道母體參數已知與否。

https://meiyulee.github.io/leetalk/2022/04/03/prob-stat

但是你知道母體是什麼嗎?
母體特性是用機率分配表示,那你知道機率分配嗎?
機率分配由母體參數控制,那你知道不同機率分配的參數為何嗎?
經過層層的了解你才能知道機率和統計的差異在哪,以及何時是用機率,何時是用統計。

#統計 #機率 #statistics #probability #datascience #AI #ML #DL

文中雖然用了母體為常態分配做說明,但母體未必都是常態分配。不同分配有不同參數。此外,一組數據可以有很多種統計量,自然也對應不同的抽樣分配!沒有檢測過,一切都是未知且都有可能。

喜歡請點讚、分享或轉發,謝謝
這樣近似機率分配的直方圖不香嗎?
第一圖是最新技術,用Excel無痛學習概率分布模擬器就能生成各種概率分布的數值!

第二圖是deep_ai帳號發的數據機率分配直方圖。兩者相比,你會怎麼選呢?

還有第一圖同時可生成敘述統計的系數表做比對喔!

二維碼是機率分配模擬器圖書的美國亞馬遜網路書店樣書連結

喜歡請點讚、分享或轉發,謝謝
「強大數據法則」可用於檢驗數據是否趨近特定分布,又或者統計量是否趨近特定分布。在數據分析流程中常用於第四步驟的進行。

想使用強大數法則在數據分析中需要有數據模擬功能,並且能夠涵蓋大多數的分布模擬。

#統計 #機率 #數據分析 #觀念圖解系列
為辦公室人員培養數據分析能力
Excel直接上手
喜歡請按讚、分享或轉發,謝謝