在前一篇，我們了解了 AI 模型如何安全地部署與管理多環境。
今天，我們要更進一步討論：
當模型上線後，如何安全、穩定地提供 API 給應用程式存取？

這一篇會講解：

• AI Gateway 的角色與價值
• 安全機制設計（驗證、授權、防濫用）
• Azure 與 Vertex AI 的安全部署實作
• 最佳實務建議

🔹 為什麼需要 AI API Gateway？

當模型完成部署並產生一個 Endpoint 後，
開發者可以直接以 HTTP 請求（如 REST 或 gRPC）呼叫模型。
但在實務上，直接暴露模型 Endpoint 有以下風險：

因此需要在模型前面設置一層 AI Gateway，
作為流量中樞、驗證機制與安全保護牆。

🔹 AI Gateway 的核心功能

🔹 Azure 的安全機制設計

在 Azure AI Foundry 架構中，API 通常會結合以下三層保護：

🧩 1️⃣ Azure API Management (APIM)

• 作為所有 AI API 的統一入口。
• 可設定：
  • 驗證規則（JWT, OAuth2, Azure AD）
  • 配額與速率限制（Quota Policies）
  • 自動版本化 /v1/、/v2/ 路徑
• 可與 Azure Front Door 結合以支援全球流量分配與 CDN。

範例：

<policies>
  <inbound>
    <rate-limit calls="100" renewal-period="60" /> <!-- 每分鐘100次 -->
    <validate-jwt header-name="Authorization" failed-validation-httpcode="401">
      <openid-config url="https://login.microsoftonline.com/{tenantid}/.well-known/openid-configuration" />
      <required-claims>
        <claim name="aud" match="any">
          <value>api://my-ai-service</value>
        </claim>
      </required-claims>
    </validate-jwt>
  </inbound>
</policies>

🧩 2️⃣ Azure Managed Identity + Key Vault

模型 API 的金鑰、資料庫連線、機密參數不應硬編碼。

改由 Managed Identity 讓服務自動取得存取權限。

所有敏感資訊統一存放於 Azure Key Vault。

🧩 3️⃣ Private Endpoint 與 VNet Integration

將 AI 模型服務封閉於虛擬網路內部。

僅允許通過 APIM 或內部服務呼叫。

防止外部直接連線到模型 Endpoint。

🔹 Vertex AI 的安全層設計

Google 的 Vertex AI 強調 IAM 與安全隔離，結構如下：

🧩 1️⃣ Identity and Access Management (IAM)

控制誰可以：

部署模型 (vertex.models.deploy)

呼叫模型 API (vertex.predictions.predict)

可細分角色（Viewer / Editor / Deployer / Invoker）

🧩 2️⃣ Cloud Endpoints / API Gateway

Google 提供兩種方式：

API Gateway：適合 Web / App 對外 API 管理

Cloud Endpoints (ESPv2)：適合內部服務串接

支援：

API Key、JWT、OAuth 2.0 驗證

流量配額與自動記錄到 Cloud Logging

🧩 3️⃣ VPC Service Controls + Private Service Connect

限制模型 API 僅能在內部網路中存取

避免跨專案或跨網域資料洩漏

🧩 4️⃣ Data Encryption & DLP Integration

所有傳輸自動使用 TLS 1.3

可與 Cloud DLP 整合偵測敏感資料（如姓名、Email、卡號等）

🔹 Azure vs Vertex AI 安全層比較
項目 Azure AI Foundry Google Vertex AI
API Gateway Azure API Management API Gateway / Cloud Endpoints
驗證授權 Azure AD / JWT / OAuth2 IAM / OAuth2 / API Key
機密管理 Key Vault + Managed Identity Secret Manager + Service Account
私有網路 VNet + Private Endpoint VPC + Private Service Connect
速率與流量控管 Quota Policies Quota Config / ESPv2 Rules
監控與日誌 Application Insights Cloud Monitoring / Logging

💡 Azure：強調企業級治理與網路安全整合。
💡 Vertex：更偏向快速擴展與多服務整合。

🔹 實務最佳實踐

不要直接暴露模型 Endpoint

一律透過 Gateway 對外開放。

將內部推論服務設定為 Private Endpoint。

使用 JWT 或 OAuth2 進行驗證

建立使用者身份與 Token 流程，防止未授權呼叫。

設計 API 配額與速率限制

例如每分鐘最多 100 次，或每日總上限。

防止 DDoS 與濫用。

加密傳輸與紀錄審核

啟用 HTTPS (TLS 1.3) 並記錄所有 API 存取行為。

整合監控與告警

使用 Application Insights / Cloud Monitoring

監控模型 API 的延遲、錯誤率、流量異常。

使用 Canary Gateway

為不同模型版本建立不同路由策略（如 /v1/, /v2/）

逐步轉移流量觀察新模型表現。