Amazon Bedrock - RAG(Retrieval-Augmented Generation)

• 讓FM能夠參考訓練資料以外的外部資料來源(knowledge base)而不使用fine tune
• 當user問關於公司請假規定，先search有關公司規定的knowledge base，並將retrieval的相關資訊與user問題合併(Augmented Prompt)，最後輸入至FM以生成回答
• 在search的過程中，Bedrock會自動在knowledge base中建立Vector Database裡面包含Vector Embeddings

Amazon Bedrock - RAG Vector Databases

• 存於Amazon S3的資料，被分成多個document chunks，再透過embedding model(Amazon Titan或cohere)轉為vector，最後存於vector database裡(內部選擇有Amazon OpenSearch Service、Amazon Aurora PostgreSQL、Amazon Neptune AnalyticsAmazon S3 Vectors；外部選擇有MongoDB、Pinecone等)

AWS的RAG Vector Databases

• Amazon OpenSearch Service(Serverless & Managed Cluster) :提供即時搜尋與分析database用於相似查詢，儲存數百萬個vector embedding，具可擴展索引管理與快速最近鄰(kNN)搜尋功能
• Amazon Aurora PostgreSQL :relational database，AWS專有技術
• Amazon Neptune Analytics :graph database，支援graph分析與graph-based RAG(GraphRAG)解決方案
• Amazon S3 Vectors :成本效益高且長效(durable)的儲存，sub-second查詢性能

RAG資料來源可以從Amazon S3、Confluence、Microsoft SharePoint、Web等

Bedrock - RAG使用例子

• 客服機器人
• 法律研究與分析
• 醫療問答系統