Amazon EC2

• Elastic Compute Cloud
• 在雲端上租用Virtual Machine或server，同時也能附加磁碟空間給這些伺服器，稱為EBS(Elastic Block Store)
• EC2:租用VM
• EBS:附加虛擬磁碟
• ELB:將流量分配到多個 EC2
• ASG:自動擴展或縮減伺服器數量

EC2 configuration options

• OS:選擇作業系統
• CPU:選擇CPU核心數與運算能力
• RAM:RAM大小
• 決定儲存空間的種類(網路附加EBS&EFS或硬體)
• 網卡:網路速度、是否公開IP、Security Groups設定防火牆規則
• EC2 User Data:啟動VM時，自動執行初始化設定(Bootstrap script)
  主要目的就是用來自動化開機時的任務
  EC2 User Data script是以root權限執行
  Bootstrapping: 只會在第一次啟動時執行一次，之後就不會再自動執行

EC2 for AI

• GPU(P系列與G系列):P3、P4、P5或G3、G6，適用於訓練或inference模型
• AWS Trainiu:專為ML training設計的晶片，可以使用這些伺服器直接訓練模型
  Trn1:配備16顆Trainium加速器
• AWS Inferentia:專為ML inference設計的晶片
  Inf1、Inf2:高達4倍的inference throughput
• Trn & Inf同時使用具有最低的environmental footprint，因為在能源效率上表現最好