深度學習筆記(2):正向與反向傳播、Fitting擬合

神經網路的學習目標:找出正確的權重值來縮小Loss(實際值與預測值之間的差距)

我們使用Loss Function計算實際值預測值之間差異的Loss Score,即可使用Optimizer來更新權重。

神經網路的Training Loop也稱為Iterations。可分為Forward Propagation、Loss Estimation、Backward Propagation三個階段

透過FP計算出預測值,與實際值比較後算出Loss,接著用BP計算每一層神經層的錯誤比例,即可使用梯度下降來更新權重。

一個Training Loop所經過的5個步驟:

1.初始權重值(用亂數初始每一層)-------->
2.正向傳播計算預測值(整個資料集通過一次FP和BP稱為一個Epoch)---->
3.評估預測值與實際值誤差的損失(使用Loss Function)------------->
4.使用反向傳播計算更新權重的比例(每一層神經網路權重造成的Loss Rate即梯度)-------->
5.更新權重進行下一次訓練(使用梯度下降更新權重後,即可使用新參數進行下一次訓練)

從步驟2到步驟5就是所謂的「反向傳播演算法」。

Fitting擬合

Learning Curve將從Underfitting、Optimum、最後變成Overfitting

Underfitting:誤差太大,根本沒學會
Optimum:最佳化,達成訓練目標
Overfitting:過度學習,對已知資料預測有很高的正確性,但未知的資料預測性卻很差,不具乏化性(Generalization)。
Generalization:預測模型對於未知資料也能有很好的預測性

Written by

Machine Learning / Deep Learning / Python / Flutter cakeresume.com/yanwei-liu

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store