繼續來談談本機端或所謂地端的Edge AI的使用經驗, 有了AI PC安裝Intel AI Playground的初步經驗後, 有天突然想到為什麼手機上不能裝呢? 雖然平時手機上都是直接打開Gemini或是ChatGPT的APP, 使用雲端LMM的方式, 但若想在手機上安裝輕量版的LLM小模型有什麼方法呢? 於是乎又來問問AI, 結果它推薦了我Pocketpal這個APP, 在兩大平台上都有APP可以免費下載安裝.

整體使用介面UI設計上我覺得比Intel AI Playground更加平易近人, 當然也是因為功能相對比較單純, 沒有上一篇介紹的又是image gen, 又是video生成, 它很單純就是個pal, 以前學過單字是penpal(筆友), 取名pocketpal, 不就意味著是(口袋朋友XD) 就是可以放進口袋的手機朋友啦, 就是單純聊天做文字處理, 也沒辦法做RAG, 但可以設定System Prompt, 讓它一開始就懂你要幹嘛, 不用每次都重新交代, 若是以特定用途來說是很方便, 例如固定就是把手機新聞貼上去做重點摘要, 又或是當作特定人設的私密聊天或小說接龍...等等

總之, 手機上的私人離線的SLM只能做特定用途, 不能期待它什麼都會, 畢竟我才裝了Gemma 3 4B的小模型, 如果連AI PC上的26B模型都嫌不夠聰明的話, 那肯定手機上的不能期待太高, 但是針對沒有網路的場景, 例如"搭郵輪" 在海上完全沒有網路(也沒有花大錢買星鏈的WiFi套餐) 這時或許就是個可發揮離線版地端價值的地方, 但話說回來, 既然都搭郵輪去渡假了, 還玩什麼AI呢? 總之, 這個使用經驗也讓Edge AI不會這麼遙遠, 也不是機房內的AI Server, 而是你口袋中的好朋友pocketpal