GenAI觀念

• Tokenization
  GenAI需要將長句子拆分成model看得懂的token
  基於單字:將文字拆分為獨立的單詞
  基於子句:部分單詞可再拆分，例如長單詞
• Context Window
  意思是LLM生成文字時可考慮的token數量
  context window越大，模型能處理的資訊與連貫性越高
  選擇模型時，是首要考量的因素
• Embeddings
  將文字、圖像或音訊轉為vector
  vector可以儲存多種特徵，例如語義、語法、情感等
  embedding model可用於支援搜尋應用(kNN)
• 將embedding可視化，比如投射至2維或是使用顏色，可以發現語義有關聯的單詞會有相似的embedding

Amazon Bedrock - Guardrails

• 控制user與FM之間的互動，ex:在Guardrails中，設定禁止瑟瑟的主題，當user輸入與瑟瑟相關prompt，模型會回答該相關主題已被限制
• 過濾(filter)有害內容、移除個人資訊Personally Identifiable Information(PII)、減少model hallucination(幻覺)
• 可建立多個guardrail、監控與分析違反guardrail的user input
• 在Guardrails中，可選content filters、denied topics、word filters、sensitive information filters、contextual grounding check(語境基礎檢查)、Automated Reasoning check