iT邦幫忙

2023 iThome 鐵人賽

DAY 12
0
AI & Data

ㄟ唉廚房交響樂 多智能的煮飯秀系列 第 12

Day12 AI 社區 記憶與檢索

  • 分享至 

  • xImage
  •  

這篇要介紹到論文提到的記憶與檢索系統,記憶比較單純,檢索會比較複雜點,如何快速且有效去找出有相關性、重要性的記憶,對於大腦來說也很重要的問題。以前看書講到,大腦的記憶其實是分散在很多部位,有分長短期、視覺記憶什麼的… 大腦儲存部份會比較複雜點,但如何抽取並整合,這就是一個有挑戰性的問題了。

架構

為了使得agent在每一時刻可以與外界(人或場景)做互動,每一次的行為的產生,都是透過當前獲得資訊以及過去的經驗,所產出的一次行為。但是記憶是可以很長的,所以為了可以找出最相關的記憶,該研究核心用了些方法,或者說是公式,去排列並找出資訊。
https://ithelp.ithome.com.tw/upload/images/20230926/20121110RXwlUgqo2N.png

抽取記憶記憶相關性,由三個元素所組成,分別是,最近檢索時間、重要性與相關性。

  1. 最近檢索時間
    就像是你沒用到的英文單字,久了就漸漸遺忘
  2. 重要性
    這是透過語言模型去給出的一個分數,例如如果分數是1~10,清掃房間的分數會是2,跟暗戀的對象問能否去約會則是8,當然,中間可能有些模糊地帶,不過這的確有點衡量,但我覺得基底在於ChatGPU上的價值觀上去評價,可能有些場景會遇到些風險
  3. 相關性
    也是透過語言模型,去查詢哪些記憶有相關,至於相關程度是用embedding vector,計算餘弦相似性,剛提到兩個都是NLP常用到的技術。

最終,我們得到三個被規範化到0~1分數的數字,並做加總,總體而言整個公式為
Score = recency + importance + relevance
這三個前面都有一個係數α,但因為論文表示三個都設1,這邊就不多寫
https://ithelp.ithome.com.tw/upload/images/20230926/201211102rdWOYABDW.png

結語

我個人覺得整體設計蠻直覺的,這個框架對我過去沒研究語言模型來說挺新鮮,不過之前有看過類似,更複雜的語言模型系統,但以這邊框架來講,清晰有效,給人的感覺還不錯,太複雜的框架,有時候反而會有很多不穩定因素。

參考

Generative Agents: Interactive Simulacra of Human Behavior


上一篇
Day11 AI 社區 環境互動
下一篇
Day13 AI 社區 反思
系列文
ㄟ唉廚房交響樂 多智能的煮飯秀30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言