如何縮減PyTorch訓練時所需要的時間?

Reddit原文

[P] Training CNN to 99% on MNIST in less than 1 second on a laptop. : MachineLearning (reddit.com)

介紹

今天早上在微信公眾號看到比用Pytorch框架快200倍!0.76秒后,笔记本上的CNN就搞定了MNIST | 开源 (qq.com)這篇文章,介紹了模型訓練提升速度的方法,提升的幅度相當驚人,可作為參考。

以下整理出文章提出的6個方法(其中1個方法只是再度提升batch size;另一個則是再度降低神經網路的大小,因此8個合併成6個):

一、Early Stopping

二、 Reduce network size

三、Optimize Data Loading
這一點比較特別,作者直接把dataset保存成一個*.pt結尾的PyTorch檔案,藉此大幅度提升訓練速度。我覺得可作為降低大資料集訓練時間所嘗試的一個方法

四、Increase batch size

五、OneCycleLR
這個方法也相當特別,起初先用接近0的learning rate進行訓練,逐漸加大learning rate,當訓練到中間epoch的時候(例如有90個epoch,45個epoch為中間值),此時的學習率為最大值,接著繼續遞減直到訓練結束。

六、Fine Tuning
持續調整參數,得到最終結果,詳細可參考tuomaso/train_mnist_fast: How to train a CNN to 99% accuracy on MNIST in less than a second on a laptop

Machine Learning | Deep Learning | https://linktr.ee/yanwei