iT邦幫忙

2023 iThome 鐵人賽

DAY 11
0
AI & Data

ㄟ唉廚房交響樂 多智能的煮飯秀系列 第 11

Day11 AI 社區 環境互動

  • 分享至 

  • xImage
  •  

不知道是出自於工程師職業病還是如何,覺得應該要先從環境的互動描述,來讓大家理解整個實驗背景,一般來講通常是先講該研究的貢獻,不過我想說這個可能會寫比較多,可以後面放,我們可以先從比較好理解的環境來講解

簡介

整個社區的沙盒環境會由一個JSON檔案去紀錄所有agent對於世界的資訊,包括當前位置、當前動作描述(例如agent目前躺在床上耍廢)、物件目前的狀態(有沒被正在使用,例如咖啡機),JSON是動態變化的,使得環境隨時可以改變且被更新,只要agent到達視野內的範圍,新的環境資訊會被更新到JSON裡面,這樣簡便說明它的一些機制
https://ithelp.ithome.com.tw/upload/images/20230926/20121110nSzwJ3awXT.png

JSON TREE

這邊重點列幾個機制說明它的互動模式

  1. tree的結構
    它是一個tree構成的世界,大房子→房間,房間→物件,物件→狀態
  2. tree的更新
    基本上就像是我們對於世界的認知,例如我去廚房泡咖啡,去的時候發現機器是關的,我就開啟,離開後麗沙很調皮的把它又關掉,回來看時,我的觀察資訊就發現咖啡機被關掉了,只得有開啟。所以當我還沒看到咖啡機現在的狀態時,agent的「認知」也就是tree下面的咖啡機狀態,是開啟的。
  3. tree的描述
    當然我們在餵agent的資訊的時候,不會生硬的直接塞json進去,而是把它轉為語言描述,在放進去給agent

結語

論文的描述沒看到對物件的控制,比較像是由認知去控制,例如我今天泡咖啡給客人,因為這個行為,導致咖啡機狀態是開的,這個過程藉由語言模型的表明,那到JSON的狀態如何更新,細節蠻好奇,可惜因為時間有限,沒詳看底層,有興趣的讀者可以看看開源的程式碼的執行細節。

還有一個就是如果是長時間的狀態,例如洗衣機可能洗60分鐘,如果是我自己的離開,然後回來,可能藉由我的認知,「更新」洗衣機的狀態(當然一般是個體應該需要獨立運作),我的假設是假如小明不知道,接著他接觸到了洗衣機,他不知道這個洗衣機啟動了多久,那假如我自己沒回來更新,那洗衣服會發生什麼事情?它會一直開在那邊嗎?

這個問題就改成開放式的問題,如果有讀者有答案,都歡迎留言

參考

Generative Agents: Interactive Simulacra of Human Behavior


上一篇
Day10 AI 社區 Let’s throw a party!
下一篇
Day12 AI 社區 記憶與檢索
系列文
ㄟ唉廚房交響樂 多智能的煮飯秀30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言