• Threat Detection: 偵測到假內容生成、資料被篡改，或自動化攻擊發生
• Vulnerability Management: 系統使用的軟體可能存在漏洞，或模型本身有弱點，需要定期進行安全評估、滲透測試與程式碼審查
• Infrastructure Protection: 保護雲端運算平台、edge devices及資料儲存系統，如Access control、network segmentation、encryption
• Prompt Injection: 攻擊者會操縱prompts，讓模型生成惡意或不當的內容。需要實施防護措施(guardrails)，filtering、清理(sanitization)與validation
• Data Encryption: at rest(靜態資料)或in transit(傳輸中的資料)都要加密，同時必須妥善管理encryption key

Monitoring AI systems
-performance metrics
accuracy: 模型預測正確的比例
precision: 預測為正的樣本中，實際為正的比例
recall: 實際為正的樣本中，被正確預測出的比例
F1 score: 精確率與召回率的調和平均，用來平衡兩者的表現
latency: 進行一次prediction所需的時間

• infrastructure monitoring
  CPU/GPU 使用率
  network performance
  storage
  system logs
• bias and fairness，compliance與responsible AI

AWS的責任 - Amazon Bedrock、SageMaker、Amazon S3 等服務的安全性
開發者的責任 - 資料管理、存取控制、設定防護機制、加密應用程式資料
共同責任 - Patch Management、Configuration Management、Awareness、Training

執行安全資料工程的實踐

• Assessing data quality
  確保資料是完整的，擁有多樣且全面的知識範圍
  確保資料的準確性，最新、正確且具代表性
  評估資料的即時性，資料在資料庫中的存放時間
  檢查資料的一致性，維持資料生命週期中的一致性與連貫性
• Privacy-Enhancing technologies
  data masking隱藏特定欄位、data obfuscation降低資料外洩的風險、Encryption或tokenization保護資料在處理與使用過程中的安全
• Data Access Control
  Role-based access control只能根據職責存取所需的資料 & fine-grained permissions限制存取範圍
  Single sign-on(SSO)、MFA、IAM
  監控並記錄所有資料存取活動，並且存取權限依據Least Privilege Principle調整
• Data Integrity
  資料是完整、一致且無錯誤
  需要有穩定的資料備份與復原策略

Generative AI Security Scoping Matrix

• 設計目的是幫助識別並管理與部署GenAI應用相關的安全風險，將應用程式依據"擁有權層級"從低到高分為五個範圍
• Consumer App: 權限最低
• Enterprise App: 使用SaaS型的GenAI，如Salesforce Einstein GPT或Amazon Q Developer
• Pre-trained Model: 使用Amazon Bedrock的FM作為應用基礎，"沒有自行訓練模型"
• Fine-tuned Model: 使用Amazon Bedrock的自訂模型或 SageMaker JumpStart，再以自己的資料進行微調
• Self-trained Model: 用自己的資料在SageMaker上完全自行訓練模型