台灣杉二號Taiwania 2 (TWCC)深度學習環境建立
Jul 20, 2020
套件
介紹
註冊
文件
目前提供的運算服務分成兩種，分別是台灣杉一號和台灣杉二號(TWCC)。兩者主要差別在於一號只有CPU運算，而本文介紹的二號有GPU可以使用。
運算
以運算服務為例，分為以下5種服務。我有針對個別服務進行測試，以下做簡單文字說明介紹。
開發型容器（深度學習開發推薦使用）：
- 安裝於系統目錄，開發環境將會隨著容器本身的生命週期存續，您可以選擇製作容器複本將這些套件隨著容器複本一同保存下來，之後再選擇容器複本啟動開發型容器，將可以得到一致的開發環境。但若選擇其他的容器，則必須重新再安裝套件。
- 安裝套件於使用者 Home 目錄，套件將會存放於高速檔案系統 (HFS) 上，原則上是永久存續。TWCC 開發型容器預設會掛載 HFS 作為使用者 Home 目錄，換句話說，不論開啟任何容器，套件都會被帶到新容器中，不需要再重新安裝，但也因為 TWCC 提供的 AI Framework 眾多，其中 Python 預載的版本不盡相同，而可能產生相關套件衝突問題。
/work/userName：28天內無使用，有可能會被清除
/home/userName：可永久保存上述兩個路徑中的檔案，會於每次開啟新容器後都維持出現的狀態，不會消失(除了/work可能因為長期未存取而被系統刪除)。
針對需求直接啟動如Tensorflow或是PyTorch的容器，搭配Jupyter Notebook
（重要： 容器建立後，在您刪除之前將會持續計費。）（不可停用）
可以同時使用SSH、FTP和Jupyter進行環境設定操作（內含OpenCV 3.2.0）登入SSH方式：# 開啟終端機$ ssh XXXXX@XXX.XXX.XXX.XXX -p XXXXX$ 密碼 XXXXXXXXXXXXXX登入FTP方式：# 先登入SSH到主機上，透過以下指令輸出DSA PRIVATE KEY$ cat ~/.ssh/id_dsa
-----BEGIN DSA PRIVATE KEY-----
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
-----END DSA PRIVATE KEY-----# 將其內容保存成*.ppk檔案（可任意檔名）
# 使用FileZilla站台登入功能：協定： SFTP
主機： xdata1.twcc.ai
登入型式： 金鑰檔案
使用者 ： 主機帳號
金鑰檔案： 金鑰檔案的路徑複本功能：
如果覺得容器開著會耗額度的話，透過複本建立，我們可以將現有的容器中的所有設定與內容，產生一個備份容器，未來有需要的話，透過建立->Custom Image，就能選到原本的容器了。
- 任務型容器
用來在指定時間執行單一Script（可停用）- HPC 高速運算任務
似乎也是用來執行Script的（尚未弄清楚狀況）- 虛擬運算服務
需要先建立虛擬網路服務，才能建立VCS（由帳單管理員建立）無GPU，2CPU最低價，每小時3.55元，
- 台灣杉二號 (命令列介面)
使用起來限制頗多，沒有apt也沒有dpkg，幾乎無法安裝套件（不推薦使用）