台灣杉二號Taiwania 2 (TWCC)深度學習環境建立

介紹

註冊

文件

目前提供的運算服務分成兩種,分別是台灣杉一號和台灣杉二號(TWCC)。兩者主要差別在於一號只有CPU運算,而本文介紹的二號有GPU可以使用。

運算

以運算服務為例,分為以下5種服務。我有針對個別服務進行測試,以下做簡單文字說明介紹。

開發型容器(深度學習開發推薦使用):

  • 安裝於系統目錄,開發環境將會隨著容器本身的生命週期存續,您可以選擇製作容器複本將這些套件隨著容器複本一同保存下來,之後再選擇容器複本啟動開發型容器,將可以得到一致的開發環境。但若選擇其他的容器,則必須重新再安裝套件。
/work/userName:28天內無使用,有可能會被清除
/home/userName:可永久保存
上述兩個路徑中的檔案,會於每次開啟新容器後都維持出現的狀態,不會消失(除了/work可能因為長期未存取而被系統刪除)。
針對需求直接啟動如Tensorflow或是PyTorch的容器,搭配Jupyter Notebook
(重要: 容器建立後,在您刪除之前將會持續計費。)(不可停用)
可以同時使用SSH、FTP和Jupyter進行環境設定操作(內含OpenCV 3.2.0)
登入SSH方式:# 開啟終端機$ ssh XXXXX@XXX.XXX.XXX.XXX -p XXXXX$ 密碼 XXXXXXXXXXXXXX登入FTP方式:# 先登入SSH到主機上,透過以下指令輸出DSA PRIVATE KEY$ cat ~/.ssh/id_dsa
-----BEGIN DSA PRIVATE KEY-----
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
-----END DSA PRIVATE KEY-----
# 將其內容保存成*.ppk檔案(可任意檔名)
# 使用FileZilla站台登入功能:
協定: SFTP
主機: xdata1.twcc.ai

登入型式: 金鑰檔案
使用者 : 主機帳號
金鑰檔案: 金鑰檔案的路徑
複本功能:
如果覺得容器開著會耗額度的話,透過複本建立,我們可以將現有的容器中的所有設定與內容,產生一個備份容器,未來有需要的話,透過建立->Custom Image,就能選到原本的容器了。
  • 任務型容器
用來在指定時間執行單一Script(可停用)
  • HPC 高速運算任務
似乎也是用來執行Script的(尚未弄清楚狀況)
  • 虛擬運算服務
需要先建立虛擬網路服務,才能建立VCS(由帳單管理員建立)無GPU,2CPU最低價,每小時3.55元,
  • 台灣杉二號 (命令列介面)
使用起來限制頗多,沒有apt也沒有dpkg,幾乎無法安裝套件(不推薦使用)

Written by

Machine Learning / Deep Learning / Python / Flutter cakeresume.com/yanwei-liu

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store