深度學習筆記(2)：正向與反向傳播、Fitting擬合

神經網路的學習目標：找出正確的權重值來縮小Loss(實際值與預測值之間的差距)

我們使用Loss Function計算實際值和預測值之間差異的Loss Score，即可使用Optimizer來更新權重。

神經網路的Training Loop也稱為Iterations。可分為Forward Propagation、Loss Estimation、Backward Propagation三個階段。

透過FP計算出預測值，與實際值比較後算出Loss，接著用BP計算每一層神經層的錯誤比例，即可使用梯度下降來更新權重。

一個Training Loop所經過的5個步驟：

1.初始權重值(用亂數初始每一層)-------->
2.正向傳播計算預測值(整個資料集通過一次FP和BP稱為一個Epoch)---->
3.評估預測值與實際值誤差的損失(使用Loss Function)------------->
4.使用反向傳播計算更新權重的比例(每一層神經網路權重造成的Loss Rate即梯度)-------->
5.更新權重進行下一次訓練(使用梯度下降更新權重後，即可使用新參數進行下一次訓練)

從步驟2到步驟5就是所謂的「反向傳播演算法」。

Fitting擬合

Learning Curve將從Underfitting、Optimum、最後變成Overfitting

Underfitting：誤差太大，根本沒學會
Optimum：最佳化，達成訓練目標
Overfitting：過度學習，對已知資料預測有很高的正確性，但未知的資料預測性卻很差，不具乏化性(Generalization)。
Generalization：預測模型對於未知資料也能有很好的預測性