事實上這幾天大概會做兩個方向的嘗試 1.LLM 相關的嘗試以及 Agent 相關的嘗試:

LLM Toy Demo:

1.PEFT ,QLora
2.RLHF
3.分布式訓練的範例
4.Prompt Tuning
5.RLAIF:https://colab.research.google.com/drive/1sRKX3fMT-DqbEny70Zhk-4S-QFryAuHA

這邊也會以 NOTEBOOK(IPYNB) 的方式呈現DEMO，沒辦法，我電腦的GPU不論ChatGLM 還是Llama 的推理都跑的不順。

希望是能tune出一個含有特定知識(產品定價這類的)的模型。

LLM Agent Toy Demo:

1.能使用語音跟文字作為輸入
2.能使用工具完成任務(像是 瀏覽器,編譯器或Midjourney這類的生圖工具)
3.能透過外部的知識跟記憶增強生成的品質以及調整輸出(角色切換)
4.能視情況調用不同的大模型已完成任務

希望在鐵人賽結束前能在本地建立起透過調用 API 讓 Agent 在本地能調用 Compiler 以及 UI path這類的工具。

最終目標是做成像這樣的 Transformer Agent :
https://colab.research.google.com/drive/1c7MHD-T1forUPGcC_jlwsIptOzpG3hSj

更新:剛剛看到微軟系統的更新，感覺或許之後會有功能能使用Android或 iphone連結到電腦透過文本或語音讓電腦執行一些功能,像是生成圖案,更改設定或是其他的事情。

新聞連結：小畫家再度進化，微軟正在新增 DALL-E 的 AI 影像生成功能