iT邦幫忙

2023 iThome 鐵人賽

DAY 12
1
AI & Data

生資的路且重且遠,我要被鴨垮了Q系列 第 12

Day12. 國網(國家高速網路與計算中心)介紹

  • 分享至 

  • xImage
  •  

國網是**國家高速網路與計算中心**

為什麼要額外介紹呢? 是因為基因體的資料龐大,所耗運算資源也多,所以很多時候需要國網的幫助才能有效率的分析。

至於你是用來分析生物的資料,你會到生醫結點:
國網中心生醫核心設施 - 台灣杉三號生醫專用節點使用說明

使用

請先創帳號,然後一剛開始有免費額度可以用~~
然後就把他當server 這樣,在上面分析,另外登入是用MOTP。

MOTP (Mobile One-Time Password):就是動態密碼驗證,作為第2道驗證的方式,密碼時間一到會過期,身分認證透過OTP動態密碼不斷更換的特性,避免帳號密碼被盜,確保你的資料安全。

其他基本的使用,例如如何送出你的job (task) 等等生醫結點上都有說明。
例如:權限!、查詢空間用量、歷史工作、可用的資源、一些生醫軟體的使用。

Slurm

為什麼要介紹slurm呢?

https://ithelp.ithome.com.tw/upload/images/20230924/20133400EWsu4bcYkY.png

Slurm是一個開源的、高度可擴展的集群管理和作業調度系統,特別適用於大型和小型Linux集群。它的一個關鍵特點是,不需要對操作系統進行內核修改,因此在使用上相對獨立且方便。

Slurm作為一個集群工作負載管理器,有三個主要功能。首先,它負責在一段時間內為不同用戶分配計算節點等資源的使用權,可以是獨占或非獨占的方式,這樣他們就能夠執行他們的工作。其次,它提供一個框架,用於管理在這些分配的節點上啟動、執行和監視工作,這些工作通常是並行執行的。最後,Slurm通過有效地管理待處理工作的隊列,來處理資源的競爭。

在每個計算節點上運行著Slurm的一個程序,稱為slurmd。slurmd的主要職責包括管理計算節點,監控在該節點上運行的任務,接受來自控制器(Controller)的任務分派,以及在必要時停止執行該任務。

Slurm提供了可容錯的分層通信機制,並有多個相關的命令,例如sacct、salloc、sattach、sbatch、sbcast、scancel、scontrol、sinfo、smap、squeue、srun、strigger和sview,這些命令可以在集群中的任何節點上運行,以管理和監控工作負載。

我常用的Slurm 指令

節點狀態查看: sinfo 可以查看現有的節點,分區
追蹤任務:squeue -u username查看目前username下面所有運行的任務
查看一個任務的詳細訊息:scontrol show job JOBID
歷史任務:sacct
取消任務:scancel

進階用法: 使用--dependency 簡單來說任務一做完才能做任務二 (介紹)

Bear的小murmur

基本上要使用國網就是linux 基本操作,再加上使用生物相關的軟體,很常需要寫 shell script ,所以這些基礎就不多細講了,至於shell script 有時候真的覺得魔法語阿XDD
例如slurm 指令我常常結合 ls, grep, wc-l 等等指令找出我要的東西。

Source

Slurm Workload Manager


上一篇
Day11. 實證醫學與 Level of evidence
下一篇
Day13. GIAB -- gene ID
系列文
生資的路且重且遠,我要被鴨垮了Q30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言