以下內容來自iacob的回答，本文僅作筆記摘錄：

除了此方式之外，這個問題裡面的很多回答都相當的好，值得學習。

Random sample from DataLoader

Assuming DataLoader(shuffle=True) was used in its construction, a single random example can be drawn from the DataLoader with:

example = next(iter(dataloader))[0]

Random sample from Dataset

If that is not the case, you can draw a single random example from the Dataset with:

idx = torch.randint(len(dataset), (1,))
example = dataset[idx]

使用官方提供的安裝指令在aiForge上會遇到PyTorch及CUDA版本無法對應的問題，致使安裝錯誤。以下提供能成功安裝apex的指令

# 官方的安裝指令
$ git clone https://github.com/NVIDIA/apex
$ cd apex
$ pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./# 能成功安裝的指令
$ git clone https://github.com/NVIDIA/apex
$ cd apex
$ python setup.py install

論文

[1703.06868] Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization (arxiv.org)

* Given a content input and a style input, AdaIN simply adjusts the mean and variance of the content input to match those of the style input.- This approach can transfer arbitrary new styles in real-time.

# 訓練
git clone https://github.com/irasin/Pytorch_AdaIN
cd Pytorch_AdaIN# 將風格圖片(style)放入到style資料夾、想進行風格轉換的圖片(content)放入到content資料夾，並透過以下指令即可進行訓練。python train.py

如果圖片數量很多的話，可以重寫dataset.py的程式碼，使其可支援自定義的DataLoader(例如從json格式的檔案讀取圖片路徑資料，只不過train.py也要跟著修改部分的程式)，修改過的dataset.py如下：

train.py主要修改的是將自己的json檔案透過pandas讀取後，與PreprocessDataset搭配在一起，傳給PyTorch的DataLoader進行讀取即可

預設是訓練20個epoch，我自己使用某個PCB瑕疵檢測的資料集(100多萬張圖片)，大約13小時的時間可完成訓練。在Testing上確實能將目標的瑕疵風格(style)轉移到content上，從肉眼觀察很像是將Style image的對比度transfer到content image上。在視覺上，並不會影響到原有瑕疵的狀態。

# 測試(在content和style各放入1個圖片路徑)(也可使用for迴圈，將多張圖片一次轉換成特定的風格)
python test.py -c content_image_path -s style_image_path

這邊提供我自己修改過可以使用多張圖片一次完成風格遷移的程式碼

假設今天我們的模型在一個擁有6種不同Label的資料集上進行訓練，模型用來預測的時候，會輸出0, 1, 2, 3, 4, 5這6種不同的數字。

然而，如果我們改變Testing方式，打算將第1, 2, 3, 4 ,5這5個數字，都視為同一個Label，也就是只剩下兩種Label的情況(0和1)

我們可以怎麼做呢？
在PyTorch程式碼進行Forward的過程中，會有類似以下的寫法。我們的方法就是直接將輸出大於1的結果都轉換成1，這樣就能得到只有2種Label的輸出結果了。

output = model(images)             #模型輸出得到Output
_, preds = torch.max(output, 1)    #轉換成實際的label(preds)# 將preds搭配lambda function，只要preds中的預測結果有大於1的數值，則全轉換成1
preds = torch.tensor([(lambda i: 1 if i > 1 else i)(i) for i in preds]).cuda()# 如此一來，我們的模型就能以2個label的方式進行輸出

有時在訓練模型的時候，經過多次訓練下來的結果都不太一樣，本文將提供參數設定，使訓練結果具有再現性(Reproducibility)

1. 訓練模型前預先設定seed

import torch
import numpy as npseed = 3
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False

2. DataLoader

def seed_worker(worker_id):
    worker_seed = torch.initial_seed() % 2**32
    numpy.random.seed(worker_seed)
    random.seed(worker_seed)

g = torch.Generator()
g.manual_seed(0)

DataLoader(
    train_dataset,
    batch_size=batch_size,
    num_workers=num_workers,
    worker_init_fn=seed_worker
    generator=g,
)

參考資料

Reproducibility — PyTorch 1.9.0 documentation

說明

假設今天有個資料夾名稱叫作all_images，裡面包含了100萬張圖片，如果在Server上使用JupyterLab的過程中不小心點到，有很大的機率畫面會停住不動，這時候應該重啟Server就能解決這個問題。但是在aiForge上，卻需要release掉再create forge，一不小心點到卻要整個重新create forge，導致許多安裝好的套件及環境設定遺失。

我們有沒有什麼可能的解決方案呢？過去近一年的時間，這件事情不斷的困擾著我，今天下午又再次發生同樣的事情。我突然想到，其實只要把該資料夾隱藏後，JupyterLab內建的檔案總管就看不到這個資料了，因此能夠避免當機問題。

作法

mv all_images .all_images

相當簡單，只要把資料夾名稱前面加上一個「.」符號，就能讓資料夾隱藏，而這個問題也就被解決了。

參考資料

前提

本文假設batch size使用1的情況下，將分類錯誤的原始圖片路徑、實際標籤、預測標籤寫入到missclassified_file_path.txt檔案當中。

因為每張圖片都必須要有路徑，PyTorch的DataLoader才能順利載入圖片，也因此，如果希望獲得圖片的路徑，修改DataLoader讓它能夠return圖片原始路徑即可。如程式碼的第10至14行

關鍵在程式碼的第51~58行

if args.batch_size==1 and pred_index.cpu() != target.cpu():
    with open("missclassified_file_path.txt", "a") as f:
        true_label = str(target.cpu().tolist()[0])
        pred_label = str(pred_index.cpu().tolist()[0])
        write_content = ' '.join(path)
        write_content = write_content + ' ' + true_label + ' ' + pred_label              
        f.write(write_content+"\n")

程式碼

1. torchinfo

安裝

pip install torchinfo

使用

from torchinfo import summary

model = ConvNet()
batch_size = 16
summary(model, input_size=(batch_size, 1, 28, 28))

輸出

====================================================================
Layer  Input Shape  Output Shape     Param #            Mult-Adds
========================================================= …