這邊最後展示四個結果,給大家看一下幾個搜集與訓練的結果。分別是:倒水、折抹補、戳按鈕與夾雞蛋
非常入門的任務,首先我會倒入黃色的小球到一個程度,倒完後,再控制 Leader 去夾杯子,最後放到指定地點,所以杯子是空的時候,機器人是不會動作的,要直到球倒完,機器手臂才會開始動作。
別看樣本蒐集 20 筆,其實這個樣本蒐集了3-4組,而且比較麻煩的是,Leader 並不是單手操作,需要兩個人一人一隻手控制,控制不要緊,但像是折抹布這種需要雙手協調的工作,兩個人之間就得要練默契XDD 光要訓練雙人對折就花了不少時間,這邊感謝臉友:鄭懿、Ted,還有室友奕任的協助 XD
很感動雙手機器人有成功對折兩次,最後才推手折好的抹布到中間,對折柔性物質在機器人領域是一大挑戰,雖然哲的效果很醜,但僅憑這樣低成本的硬體,在2025這個時間點,算是很不錯的結果了。
想讓模型試試看夾雞蛋,但因為手臂沒有力回饋,基本上就靠視覺的方式,自己判斷力道XD… 恩 然後就夾爆了四顆,那天宵夜吃得特別爽。
本來想要套 realsense 深度相機看有沒有幫助,但在這個時間點,Lerobot 沒有辦法取深度的資訊,這邊就等官方支援,或者第三方送 PR 裝外掛了。
夾蛋 ok,剩下想做比較複雜的動作:讓他可以自行主動!但一開始不想太複雜,想說就讓他把彈夾進去煮蛋器就好,接下來有一個問題是,觸控板都是靠人體觸控開啟的,也因此買了一個電觸筆,but… 其實戳的位置有點小,再來是要有足夠的力道,才能戳成功點擊界面,試了很多次跟一些技巧,最後… 宣告失敗收尾!XD 等未來有力回饋,我覺得這題會好做很多,還有一個是連戳都挺難的。
這邊就展示蒐集樣本的影片,但不是實際模型跑成功的畫面。
感觸蠻深的~以前要做這類機器人專案,會需要寫很多傳統的演算法,好處是穩定,壞處是泛化能力很差,雖然在也很容易受到環境的擾動,例如光線,但至少是可以接受一點變化的。
對我自己來說,這段時間的研究也很研究,雖然可玩的時間不算多,很長也卡關,無論軟體、硬體、電控或者零件,但都學到很多。畢竟以前都是在搞演算法、軟體,能第一次直接玩實體機械手臂,也是很不容易。

也是很感謝 huggingface 跟國內機器人王國的支持,能讓我這樣的純軟工程師,在盡可能減少心靈傷害,與時間上,可以玩到這麼多東西。
這個時機點僅僅是 2025 年 ,在各個公司、社群的投入下,我相信 2026 可以玩的東西又更多了,超級期待,皮卡皮卡!