TS的野獸派部落格

呼,今天下午終於看完所有的線上課程,到月底還有兩個禮拜的時間,要開始準備程式作業了......再過農曆年前重新充好電再出發

呃,這個課程,真的有點硬啊........但知道其應用的方向後,覺得還蠻有趣的..........下一個世代的應用就是AI了,請大家提早做好學習準備

這兩個禮拜繼續學習了

1. K最近鄰,羅吉斯迴歸,決策樹,貝氏分類器,分類模型評估(主要是迴歸和分類的模型)

2. Ensemble Learning整體學習/集成學習  投票分類器(Voting) , 裝袋法(Bagging), 隨機森林(Random Forest), 強化法(Boosting) , Stacking, XGBoost

3. 非監督式學習-分群 : Kmeans(＋＋) , 輪廓圖分析 , 階層式分群 , DBSCAN

4. 降維 - PCA

5. 深度學習方法 -  深度學習與機器學習 , 感知器與神經網路 , 激勵函數 (Activation Function) , 反向傳播法 (Backpropagation) , 最佳化 (Optimization), MLP-MNIST分類

來來來,科普一下MLP 多層感知器 多層感知器（Multilayer Perceptron,縮寫MLP）是一種前向結構的人工神經網絡，映射一組輸入向量到一組輸出向量。MLP可以被看作是一個有向圖，由多個的節點層所組成，每一層都全連接到下一層。除了輸入節點，每個節點都是一個帶有非線性激活函數的神經元（或稱處理單元）。一種被稱為反向傳播算法的監督學習方法常被用來訓練MLP。^[1][2] MLP是感知器的推廣，克服了感知器不能對線性不可分數據進行識別的弱點。^[3]

激活函數[編輯]

若每個神經元的激活函數都是線性函數，那麼，任意層數的MLP都可被約簡成一個等價的單層感知器。^[4]

實際上，MLP本身可以使用任何形式的激活函數，譬如階梯函數或邏輯乙形函數（logistic sigmoid function），但為了使用反向傳播算法進行有效學習，激活函數必須限制為可微函數。由於具有良好可微性，很多S函數，尤其是雙曲正切函數（Hyperbolic tangent）及邏輯函數，被採用為激活函數。

應用[編輯]

常被MLP用來進行學習的反向傳播算法，在模式識別的領域中算是標準監督學習算法，並在計算神經學及並行分布式處理領域中，持續成為被研究的課題。MLP已被證明是一種通用的函數近似方法，可以被用來擬合複雜的函數，或解決分類問題。

MLP在80年代的時候曾是相當流行的機器學習方法，擁有廣泛的應用場景，譬如語音識別、圖像識別、機器翻譯等等，但自90年代以來，MLP遇到來自更為簡單的支持向量機的強勁競爭。近來，由於深度學習的成功，MLP又重新得到了關注。

wiki 連結: https://zh.wikipedia.org/wiki/%E5%A4%9A%E5%B1%82%E6%84%9F%E7%9F%A5%E5%99%A8

6. CNN 與 RNN

再來科普一下深度學習

深度學習（英語：deep learning）是機器學習的分支，是一種以人工神經網路為架構，對資料進行表徵學習的演算法。^{[1][2][3][4][5]}

深度學習是機器學習中一種基於對資料進行表徵學習的演算法。觀測值（例如一幅圖像）可以使用多種方式來表示，如每個像素強度值的向量，或者更抽象地表示成一系列邊、特定形狀的區域等。而使用某些特定的表示方法更容易從實體中學習任務（例如，臉部辨識或面部表情辨識^[6]）。深度學習的好處是用非監督式或半監督式的特徵學習和分層特徵提取高效演算法來替代手工取得特徵。^[7]

表徵學習的目標是尋求更好的表示方法並建立更好的模型來從大規模未標記資料中學習這些表示方法。表示方法來自神經科學，並鬆散地建立在類似神經系統中的資訊處理和對通訊模式的理解上，如神經編碼，試圖定義拉動神經元的反應之間的關係以及大腦中的神經元的電活動之間的關係。^[8]

至今已有數種深度學習框架，如深度神經網路、卷積神經網路和深度置信網路和遞迴神經網路已被應用在電腦視覺、語音辨識、自然語言處理、音訊辨識與生物資訊學等領域並取得了極好的效果。

另外，「深度學習」已成為類似術語，或者說是神經網路的品牌重塑。^[9][10]

CNN : 常用來辨識圖象識別和臉部辨識, RNN因為有短期記憶所以常用來做語音辨識和預測如:Siri

卷積神經網路（convolutional neural networks，CNN）由一個或多個卷積層和頂端的全連通層（對應經典的神經網路）組成，同時也包括關聯權重和池化層（pooling layer）。這一結構使得卷積神經網路能夠利用輸入資料的二維結構。與其他深度學習結構相比，卷積神經網路在圖像和語音辨識方面能夠給出更優的結果。這一模型也可以使用反向傳播演算法進行訓練。相比較其他深度、前饋神經網路，卷積神經網路需要估計的參數更少，使之成為一種頗具吸引力的深度學習結構^[52]。

遞歸神經網絡（RNN）是神經網絡的一種。單純的RNN因為無法處理隨著遞歸，權重指數級爆炸或消失的問題（Vanishing gradient problem），難以捕捉長期時間關聯；而結合不同的LSTM可以很好解決這個問題。^[1][2]

長短期記憶（英語：Long Short-Term Memory，LSTM）是一種時間遞歸神經網絡（RNN）^[1]，論文首次發表於1997年。由於獨特的設計結構，LSTM適合於處理和預測時間序列中間隔和延遲非常長的重要事件。

LSTM的表現通常比時間遞歸神經網絡及隱馬爾科夫模型（HMM）更好，比如用在不分段連續手寫識別上^[2]。2009年，用LSTM構建的人工神經網絡模型贏得過ICDAR手寫識別比賽冠軍。LSTM還普遍用於自主語音識別，2013年運用TIMIT自然演講資料庫達成17.7%錯誤率的紀錄。作為非線性模型，LSTM可作為複雜的非線性單元用於構造更大型深度神經網絡。

維基: https://zh.wikipedia.org/wiki/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0

7. TensorFlow 與 TensorBoard

這兩個是學習深度學習的比較通用的套件,會幫你將各項的運算過程做成流程圖和統計圖表.......因此是學習和實作的好幫手