Amazon Bedrock – Agents

• 管理與執行和基礎設備配置、應用開發相關的各種多步驟任務
• task coordination:使任務依照正確順序執行並確保資訊在任務間正確傳輸
• agents可以設定指定的pre-define action group
• 與其他系統、服務、database及API整合以交換資料或初始動作
• 在必要時利用RAG擷取相關資訊
• ex:設定agent用於負責購物歷史，比如建議購買物品、下新訂單等，agent可以透過外部API(action group 1)或是Lambda function(action group 2)改變DB
• agent先讀取prompt、溝通歷史、行動、指令、任務等後，送入Bedrock model(GenAI)並問下一步該做甚麼model經過CoT(DAY 20)，輸出step1~N回傳給Agent，Agent在將任務與結果傳給另一個bedrock model並且同步所有的東西，最後回傳給user最終回應

CloudWatch

• 可以監控cloud
• Model Invocation Logging，將Bedrock所有呼叫記錄傳送至Amazon CloudWatch或Amazon S3，包含文字、image與embedding；CloudWatch Logs Insights可以將呼叫記錄分析並建立警示
• CloudWatch Metrics，Bedrock 將指標發布至 CloudWatch包含ContentFilteredCount用以監控 Guardrails 是否運作，基於這些指標建立 CloudWatch警告
• CloudWatch可以看到token數量、使用的模型、ID、延遲等許多資訊，因此可以作為一種debug工具查看哪裡報錯

在Bedrock的付費方式

• On-Demand，多少token付多少錢，適用於FM
• Batch，同時進行多個預測(輸出為Amazon S3中的單一檔案)
• Provisioned Throughput(預置輸送量)，期限可為1~6個月，每分鐘可處理的最大in/out tokens，適用於FM、fine tuning模型與自訂模型