最近嘗試將白平衡技術作為一種Data Augmentation方法時，我先自定義了一個class，並將其傳入transforms.Compose來做資料擴增，卻遇到PIL TypeError的錯誤，之前在寫的時候並沒有發生這樣的問題。檢查了資料型態後發現，原來PIL圖片需要是uint8格式，Image.fromarray才能順利運作。

class WhiteBalance(object):
    def __call__(self, img):
        wbModel = wb_srgb.WBsRGB(gamut_mapping=2, upgraded=0)
        img = cv2.cvtColor(np.asarray(img), cv2.COLOR_RGB2BGR)
        img = wbModel.correctImage(img)
        img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        img = (img * 255).round().astype(np.uint8)
        return Image.fromarray(img)
    def __repr__(self):
        return self.__class__.__name__+'()'

之前沒注意到這件事，頂多在 img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)結束後，就直接 return Image.fromarray(img)，也沒遇到特別的錯誤。

但是本次採用的方法wbModel.correctImage(img)，回傳的是float32格式，而不是uint8格式，才會產生PIL TypeError: Cannot handle this data type。

因此，透過img = (img * 255).round().astype(np.uint8)的方式，先將被轉成0~1之間的圖片乘上255後，得到完整的顏色分布，再透過astype(np.uint8)將其轉換成uint8格式，PyTorch的transforms.Compose就能將此class定義的內容，作為Data Augmentation。

transform_test = transforms.Compose([WhiteBalance(),
                                    transforms.Resize([224, 224]),
                                    transforms.ToTensor(),
                                    normalize
                                   ])

參考資料

python — PIL TypeError: Cannot handle this data type — Stack Overflow

python make RGB image from 3 float32 numpy arrays — Stack Overflow

相關文章

如何在PyTorch的transforms.Compose中使用自定義的Data Augmentation？

本文將以彩色Histogram Equalization為例，搭配OpenCV建立一個hisEqulColor的class，並與PyTorch的transforms.Compose結合，將Histogram Equalization效果應用到Dataset中

# OpenCV和Pillow格式互轉:# opencv -> pil
img_pil = Image.fromarray(cv2.cvtColor(img_cv,cv2.COLOR_BGR2RGB))# pil -> opencv
img_cv = cv2.cvtColor(np.asarray(img_pil),cv2.COLOR_RGB2BGR)

相關文章

解決PyTorch DataLoader中PIL TypeError: Cannot handle this data type問題 — Yanwei Liu — Medium

一般在進行CNN模型訓練的時候，通常都會對dataset的圖片進行normalize，而經常會看到一組數字：

mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]

這組數字是針對ImageNet所設計的，一般來說照常使用此組數字即可

這篇討論串的留言提到：
Just note that you need to use your own mean and std if your dataset is not similar to ImageNet. In the 3-channel case you have mentioned, you are using mean and std from ImageNet which works for most of the datasets that are similar but if you are using datasets such as medical image processing, then you need to obtain proper mean and std regarding your own dataset.如果我們自己的資料集與ImageNet差異很大，或許就可以考慮針對自己的Dataset來計算mean和std，作為normalize的參數。

另一個討論串當中，有人比較

(a)ImageNet的mean和std
(b)自己資料集中的mean和std

最終準確度的差別，發現使用自己dataset中所計算的mean和std來作為Normalize參數，準確度比較高，細節可參考此篇

具體上該怎麼計算mean和std呢？可以參考這個程式碼

以下是我根據自己的dataset重新整合的程式碼：

計算後得到的mean和std

mean: [0.385, 0.406, 0.410]
std: [0.222, 0.224, 0.220]

參考資料

Why Pytorch officially use mean=[0.485, 0.456, 0.406] and std=[0.229, 0.224, 0.225] to normalize images? — Stack Overflow

Understanding transform.Normalize( ) — vision — PyTorch Forums

Image normalization in PyTorch — Deep Learning — Deep Learning Course Forums (fast.ai)

Computing Mean & STD in Image Dataset | Nikita Kozodoi

在Striving for Simplicity: The All Convolutional Net這一篇論文當中，作者透過將神經網路中的池化層摘除，並改用stride=2卷積層的方法，來達到同樣降低圖片長寬尺寸的目的。並發現在這樣的設定下，模型在CIFAR-10和CIFAR-100上的分類錯誤率有明顯的下降。但該方法的缺點是會造成模型的計算量和參數量提升。

本文嘗試將該方法應用在ResNet架構上。詳細PyTorch程式碼如下所示：

第241行和第248行將pooling layer改用stride=2的卷積層(定義在180、181行)

在2021年3月份的時候，曾寫過使用Python內建的pdb和breakpoint()進行程式debug ，介紹了使用pdb進行除錯的方法。

今天早上看到pudb這個工具，有著更完整的debug功能，可直接在Terminal中開啟使用，且能直接顯示出所有程式碼一行一行中的變數，也能直接新增breakpoint(鍵盤b鍵)

安裝

pip install pudb

import

只要在程式碼的第一行import以下內容，下次使用python fileName.py的時候就能開啟Debug模式

import pudb; pu.db

GUI畫面中的Variables、Stack、Breakpoints差異

Variables會顯示程式碼中的變數實際數值

Stack會分成兩部分，預設都會有module，module為實際程式碼運作到第幾行；而當程式進入function之後會顯示function的名稱。使用鍵盤的上下左右鍵可將畫面中的highlight進行切換

Breakpoints則是斷點的部份，可使用b進行設定

範例

# 1.將以下程式碼保存成test.pyimport pudb; pu.dbdef sum(n):
    result = 0
    for i in range(n):
        result = result + i
    return resultif __name__ == "__main__":
    y1 = sum(10)
    y2 = sum(100)
    y3 = sum(100)# 2.執行python test.py指令# 3.此時會進入到GUI的Debug介面# 4.使用n進入程式碼的下一行、當進入到y1 = sum(10)這一行時，可使用s進入函數當中。使用n可在函數當中進入下一行，此時右側Variables的框框中會出現result, i, n的數值。

快捷鍵

Ctrl+p： 打開屬性設置
n： next，也就是執行一步     (一定要用)
s： step into，進入函數內部 (常用，可直接進到function當中，搭配n觀看變數變化)
f： finsh current function，結束當前函數？
c： continue，繼續執行
b： break point，在游標所在行添加或消除斷點  (常用)
t： to cursor，運行到游標位置
！： 開啟python命令行                      (在當下行輸入python程式)
？： 開啟幫助視窗                          (常用，查詢快捷鍵)
o： output screen，打開輸出視窗/控制台      (觀看程式的output)
m： module，打開模組
q： quit，退出PUDB                        (離開pudb)
/： 搜尋
,/. 搜索下一個/上一個

參考資料

PUDB調試python程式_shuzfan的專欄-CSDN博客_pudb python

使用pudb调试python — 老顽童的wiki (zhbzz2007.github.io)

pudb使用指南 | Legendtkl

Reddit原文

[P] Training CNN to 99% on MNIST in less than 1 second on a laptop. : MachineLearning (reddit.com)

介紹

今天早上在微信公眾號看到比用Pytorch框架快200倍！0.76秒后，笔记本上的CNN就搞定了MNIST | 开源 (qq.com)這篇文章，介紹了模型訓練提升速度的方法，提升的幅度相當驚人，可作為參考。

以下整理出文章提出的6個方法(其中1個方法只是再度提升batch size；另一個則是再度降低神經網路的大小，因此8個合併成6個)：

一、Early Stopping

二、 Reduce network size

三、Optimize Data Loading
這一點比較特別，作者直接把dataset保存成一個*.pt結尾的PyTorch檔案，藉此大幅度提升訓練速度。我覺得可作為降低大資料集訓練時間所嘗試的一個方法

四、Increase batch size

五、OneCycleLR
這個方法也相當特別，起初先用接近0的learning rate進行訓練，逐漸加大learning rate，當訓練到中間epoch的時候(例如有90個epoch，45個epoch為中間值)，此時的學習率為最大值，接著繼續遞減直到訓練結束。

六、Fine Tuning
持續調整參數，得到最終結果，詳細可參考tuomaso/train_mnist_fast: How to train a CNN to 99% accuracy on MNIST in less than a second on a laptop

本文將記錄常用資料結構的Python實作方式，未來也可能會額外記錄一篇用C語言實現的資料結構Data Structure with C

Stack

queue

https://gist.github.com/e96031413/8397fabb7ab52e4f292a6f1b65d47ceb

Linked list

https://lovedrinkcafe.com/python-single-linked-list/

https://gist.github.com/e96031413/1435c22fd50a0

Hash Table

https://gist.github.com/e96031413/079ba388f4fdf69e192bd31b63d2bdfd

Heap

https://gist.github.com/e96031413/6aa7aa65bcbb631b2fb04af50e2bf25e