目前分類:統計學習與資訊分析介紹 (2)

瀏覽方式: 標題列表 簡短摘要

  得先聲明,大數據分析是統計背景的人較適合發展的領域,至於資訊科學跟資訊工程的人,當然也適合發展,但機器學習本身並不需要背景知識(domain knowledge),因著如此,進行科學計算者只需要專注於目標函數的最適化達成,藉著各種設定好的限制式,追求條件限制下的最適化,只是如果沒有商學院或管理學院的學科磨練,幫忙設計機器學習者可能並不了解特定產業中需要解決的特定議題,此時機器學習最終將變成是一個四不像,毫無實用性與真實價值可言;簡單的說,沒有背景知識者所發展出來的機器學習是無法為實際商業決策提供任何貢獻的。在決策科學中,經常會討論到專家系統運用,只是專家系統需要的內涵是甚麼?絕對不是機器學習,不論您想要機器學習甚麼,都是需要替機器設定目標,如果希望機器學習結果能構建出一個專家系統,或是藉由專家來幫忙調整機器學習的目標,這些都需要人來幫忙定義與界定,若只是讓機器針對各類設定好的計算原則加以計算,那機器學習的目標就只是幫忙人們很快找到真相,因為人一時之間能處理的資料量有限,人有情緒跟盲點,人經常需要很多時間的試誤才知道真理是甚麼,但是機器不會,在設定的演算規則與邏輯下,機器只要有很快速的CPU或是GPU,就能進行各類計算,就能幫忙人們克服很多過往需要大量時間才能達到的目標!機器不會累但人會,統計學習或是機器學習在此的目標就是一個能高速計算並很快探求事實真相且將問題降低維度來簡易化的問題過程與建構一個探查真相的模式!是的,這裡談的是弱AI!統計學習與機器學習在此就是替人們很快速地進行相關計算,幫忙人們進行特定決策的簡易人工智慧,此時如果您設計的機器學習演算法無法與任何特定相關商業議題有關連,其實機器學習出來結果就真的是GIGO( Garbage In, Garbage Out)!

  談到統計學習,得先從J. Friedman開始談起,1990年代,Friedman是第一代決策樹學習-CART(Classification and Regression Tree)的始祖,另一個CART的始祖就是L. Breiman,Friedman同時也是統計無母數回歸(nonparametric regression)的MARS(Multivariate Adaptive Regression Splines)創始者,而CART是第一代決策樹學習(decision tree learning)的基本計算學理與原則,決策樹學習是一套監督式的統計學習(supervised statistical learning),原諒個人不太願意將它說成是機器學習,因為他用的是Chi-Square test,這是統計學界常用的方法,特別是在線性模式(linear modelling)中,雖然很多資工或是資科的人喜歡說決策樹學習是監督式的機器學習,但Friedman先生是統計學界的人,而這套方法在1990年代是統計學界中非常熱門的方法,只是在那個年代總是在高速或是工作站上的電腦才能完成,今天卻能在自家的桌機或是筆記型電腦完成,最多您只能說是資工與資科的人,借用統計學界發展出來的這套以條件機率和相關性高低與Chi-Square Test準則為發展基石,它背後的學理是統計思維,這個方法應該被視為是統計學習,而非傳統資工或是資科所界定的機器學習方法。回頭談決策樹學習,第二代的決策樹學習融入資訊理論Entropy的想法,利用這個方式來進行變數新增選擇-條件機率下特定變數增加對於決策的幫助有多少,其實Entropy最好用的地方不是資訊工程,而是電信相關領域,很多電訊的信號傳遞,經常因路途遙遠會失真或是發散,如何利用各種方式讓電信資訊內容傳遞保持一定程度的可信,資訊壓縮是重要的處理方式,就需要各類方法來衡量資訊傳遞多寡的可信程度,其中Entropy是基本衡量原則!

 另一個晚近流行的統計學習方法是隨機森林(random Forest),這個方法是前面提到的L. Breiman所發展,這個先生在業界待過一段蠻長的時間,爾後才回到學界中,Breiman師承機率論大師Loeve,但自身是做統計計算的,這在統計學界很常見,大家都知道理論統計中最重要的兩個議題是中央極限定理跟大數法則,L. Breiman提出的隨機森林融合拔靴法(Bootstraping,這個方法是另一個很重要的統計學家B. Efron所發展出來的方法)跟第一代決策樹的學習方法,衍生出後來的隨機森林!!當您聽到別人在談隨機森林時,請記得要跟資工和資科的人說明,這個方法是統計學習,機器學習的資訊研究學者只是借用這個方法發展出來不少應用,常讓人以為這個方法是機器學習,但L. Breiman當時可是在UC Berkeley的統計系所任教!隨機森林的基本概念是為解決一些特定議題,比如資料中經常會面臨缺值問題,在隨機森林中,就由取出放回的重複抽取來建構新樣本,再藉由特定邏輯不斷重複進行相關事宜補強,最終重新將建構出的枝葉增補在特定決策樹,爾後就是後續計算與參數估計和統計檢定的議題,這個方法剛看起來有些怪異,就像當初拔靴法(bootstrap)的估計法曾引起統計學界的爭議,因拔靴法的估計統計量可能不是不偏的(bootstraping may create a biased estimator),而隨機森林的基礎立論是大數法則與中央極限定理,從隨機森林所推演出的統計量,有時還是無法滿足不偏,有效,一致等統計學者以為需要達到的優良統計量準則,但確實補強不少過往統計學者以為決策樹學習發展的不足,或許是天妒英才, L. Breiman先生在西元2004年與世長辭。

  晚近機器學習最重要的方法,也確實是資訊學家發展長達五十年以上的方法是人工類神經網絡(ANN, Artificial Neural Network),這個方法的歷史久遠,可源自於1950年代的俄國研究者,爾後晚近因在強化學習與相關學習增強賞發展出具備記憶能力學習得到改進的突破性發展,使得此法功力大增,大家前一陣子見到的AlphaGo就是ANN的改良,不可否認的是這類方法是以人大腦運作為模擬與仿效的對象,目標確實就是取代人類,讓機器更像人,讓機器能模擬人的思考模式,進行各類資訊的判讀與辨識;這是資訊學者的重要貢獻,而非統計學者的貢獻!

  回頭談在非監督式學習方法中,經常使用到的多變量分析(multivariate analysis),這些研究與分類界定的方法,多為發展超過五六十年以上的老方法,大家常用的主成分分析(PCA, principal component analysis),主要找尋的是線性的關係,相對於回歸分析,找的是一個多聞度的線性組合平面,而衡量方式是用空間的實際資料點直接垂降的方式來衡量距離,以找出最佳的多維度平面或是直線,主成分分析找的也是直線或是多個維度的座標參考軸,只是衡量的方式是用空間中的實際資料點垂直連接到特定直線或平面上,以找出在這個直線上的所有垂直投射點,是否具備最大的變異量,如果確實,那這條就是第一個成分(the first principal component),爾後遵循此一原則找尋另一個與其第一成分直交或是斜交的直線,對其直線上垂直投射出來的點進行變異計算,判別其變異是否為第二大,以此類推直到找到足夠的成分,就能利用這些成分構成新的解釋空間,對於資料點進行更多的解釋與闡述,這樣的計算過程完全可以採用矩陣的方式來加以展現,因此在1940-1950年代時,美國知名的哥倫比亞大學裡的Hotelling先生等人就已將重要的數學推導推論出,爾後隨著電腦的發展,這些與主成分分析相關的延伸方法,其視覺化呈現也越加清晰,這裡就不得不提到J. Tuckey先生在1977年左右的巨著Exploratory Data Analysis(EDA),這是所有視覺化資訊分析的開始,爾後的故事,大家就都知道了!只是主成分分析(PCA)在機器學習中被歸類為非監督式學習(unsupervised machine learning),但對於統計的人來說,它只是重新界定座標軸,讓這些變數的線性組合能夠更清楚的表達相關特定的議題,以利後續的分析與實用,而對於統計學者來說,主成分分析主要的目標是在找尋變異與降低變異,讓變異的來源分成能夠被解釋與不能被解釋的,能被解釋的就是主成分,不能被解釋的就是殘差,很多統計學者可能不知道甚麼是非監督式學習,但卻非常了解主成分分析,因為它的發展歷史已經超過六十年以上!晚近社會科學學界的其他相關延伸,討論的是多個具有變異因子的線性方程式所組成的線性方城組,這樣的延伸有點類似類神經網絡的鋪陳,藉由一個又一個變數數的線性組合,來表達特定與界定特定的議題,這些方法也被歸類為非監督式的學習方法,因為最終的結果並無發從一開始就被歸類出來,都屬於資料替自己說話的型態,也屬於Data Dependent的機器學習模式。

 統計學習跟機器學習的不同,在於統計學習的方法大多為監督式的學習方法,對於最終的可能結果在學習之前就已經界定好,反觀晚近的機器學習有不少方法是屬於非監督式學習具記憶功能的增強式學習,這類方法對最終結果並未在學習之前就界定,而是讓資料替自己說話,最終結果是甚麼,端賴輸入的資料而定。不可否認的是,統計學習中還是有不少方法屬於非監督式的學習方法,很多無母數回歸的方法其實也多屬於無法在學習前就界定好最終結果者,但無母數回歸,相對於傳統的廣義線性回歸或所謂的監督式統計學習法,最大的不同點在於參數估計的靈活性,既未限定參數數量的使用,也未限定在特定的情境下可運用的參數數量,在計算與資料模型的配適上都比傳統母數回歸法是更有彈性的,這個觀念與監督或非監督式學習的定義大不相同,若以為監督式學習的參數數量需要事前決定,那無母數回歸的計算方法因為參數數量並未事前決定,確實比較類似非監督式學習,但與非監督是機器學習不同的是,無母數回歸估計法所採用的特定基本生成函數或是特定生成分配,還是在一開始就界定好,並非不可預測的,且為了防止不良的發展,通常都會針對特定最適化議題去設計懲罰函數(penalty function),目標當然是期望降低所需參數的多寡,藉由變異與有偏估計量的控制與交換(trade-off),來讓資料的配適與參數估計修正與改進,最終使得估算結果更為合理!

Vegetable 發表在 痞客邦 PIXNET 留言(2) 人氣()

  Ian Hacking曾說過

   The quiet statisticians have changed the world; not by discovering new facts or technical developments, but by changing the ways that we reason, experiment and form our opinion.....

  監督式(Supervised)的統計學習,談的是在已知的一些資料輸入(input data in terms of specific characteristics)項目後,能透過模型與對應關係的建構,得到可以預期或是有預測能力的特定資料輸出(predictive output),這樣的學習過程被稱之為監督式的統計學習,因為我們能夠透過模型與變數間相對關係的界定去了解變化的情況;簡單的說,就是透過這樣的資訊解析過程,了解其中資訊的變化,並進行相關資訊的萃取與解讀。

  非監督式(Unsupervised)的統計學習,討論的則是在給定相關資料輸入(data input)之後,我們透過適當的資料處理與聚合,讓資料替自己說話,透過輸入資料的形式(可能是連續變數的衡量,也可能是類別資料的型態),來呈現出資料之間彼此相關的程度,但是對於資料輸出的情況是無法預測,也不可能在事前因為對過往模型的熟悉而有相關的預測能力者,資料最後輸出的型態完全取決於目前手邊資料自身的特性與型態,而我們只是透過特定的邏輯與方法,來呈現資料自身原來的樣貌,這樣的學習過程被稱之為非監督式的統計學習。

  一般說來,類神經網絡(Neural networking)分析的資訊解讀是屬於監督式的學習,而CART(Classification and Regression Tree)的資訊解讀是屬於監督式的學習,但是集群分析(Cluster Analysis)是屬於非監督式的學習。

 

Vegetable 發表在 痞客邦 PIXNET 留言(0) 人氣()

您尚未登入,將以訪客身份留言。亦可以上方服務帳號登入留言

請輸入暱稱 ( 最多顯示 6 個中文字元 )

請輸入標題 ( 最多顯示 9 個中文字元 )

請輸入內容 ( 最多 140 個中文字元 )

請輸入左方認證碼:

看不懂,換張圖

請輸入驗證碼