iT邦幫忙

2023 iThome 鐵人賽

DAY 23
0
AI & Data

AI 再次入門到進階系列 第 23

【Day23】LLM 以及 LLM Agent 相關的 Survey

  • 分享至 

  • xImage
  •  

因為 之前的 DETR, Android,iOS 的進度有點 delay而且 Android 以及 iOS那邊的內容大概也跟AI是比較低相關的,所以我就想先做LLM的內容填充到鐵人賽裡。

另外,接下來幾天的內容都會是以LLM 相關以及實作其Demo 專案的內容,之前的物體辨識, DL算法實作的項目以及leetcode的重新練習也會每天都做一點,之後再完賽之後再把過程補上。

之後幾篇可能會參考的內容:

由於海外華僑大概5000萬人 再加上大陸那邊軟體相關人數大概最最起碼超過1400萬人,這些應該不包括其他產業下的it部門,台灣這邊軟體從業者大概50萬左右,所以很多中文的內容的大概都會是簡體偏多的。

  1. 成為大型語言模型開發者要面對的事
  2. The Rise and Potential of Large Language Model Based Agents: A Survey
  3. LLM-Agent-Survey
  4. mpaepper/llm_agents
  5. hyp1231/awesome-llm-powered-agent

這幾天大概的內容會是

  1. LLM ,LLM Agent 相關的技術與介紹
  2. 本地安装大模型聊天機器人
  3. prompt 加向量資料庫應用
  4. 實現一個LLM Agent 玩具Demo

閒話家常:

先在以及這段時間應該會有一些app內建 chatgpt這類的大模型,透過內建一些prompt,向量記憶庫或微調,讓使用者能透過聊天就能快速使用此軟體的功能(這個可能是chatgpt ,google做不到的,因為可能有內置很多沒放到網路上的訓練資料),再進一步的話或許之後使用者透過內置的聊天機器人就能讓軟體自動執行一些東西(這個好像某些軟體或系統已經有了)。

假如之後這類內置聊天機器人的軟體很多的話,就可以微調或直接加prompt並使用一個代替自己去跟這些軟體交互的大模型或是只是寫一段script跟這些軟體交互(使用類似uipath的軟體, 好像他們也有在做llm相關的開發),這在人在不在電腦旁邊的話就感覺蠻有用的。

遊戲有些也開始內建談話機器人的功能,但感覺要融合到整個遊戲的運行可能還要一段時間,像是根據談話調整任務的選擇這類的東西。

另外,或許之後多模態 AI Agent應該會很有用,能聽,能看,能說話,也能輸出文字,程式碼,圖案,影片,音樂跟動作。

或者 MoE 也可能會是個可能的應用,假如跟公司的機密無關的內容就調用 openAI 的 api 進行交互,假如涉及公司機密的話就調用本地的LLama這樣。

使用深度學習分辨網路流量的internet block這類的東西或許會是某些公司需要的。(這個好像有很多相關的研究了)

除此之外,假如程式碼生成的大模型能內置編譯器就好了,這樣基本就不用debug了 哈哈。

在AI 繪畫方面我不是專業,不過我真的覺得之後AI有可能會生成漫畫,動畫, UI,影片以及3D的模型這類的東西(某些可能現在就有了)。

LLM 方面我覺得目前的藍海可能是以前軟體,網路業目前沒有涉足的地方,像是目前可能人力超級短缺但是沒人想做或是職業人數整體有限制的地方,在這邊使用LLM 輔助並加大工作量的地方,像是司法,法律,公務,服務,醫學,藥學方面。

大陸那邊之前也有機器人新創有結合LLM的運作,我是覺得非常適合用在消防,國防或是服務業等很多產業已解決人口短缺,不過因為目前的兩岸關係,我覺得大概不可能在台灣使用,所以這也是台灣新創的機會就是了。


上一篇
【Day22】物體檢測玩具專案(五) 使用 Autodistill官方案例的修改以及部署參考
下一篇
【Day24】LLM 本地嘗試以及線上 Demo
系列文
AI 再次入門到進階30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言