iT邦幫忙

2025 iThome 鐵人賽

DAY 2
0
AI & Data

感知你的動作與情緒:深度學習在人機互動的應用系列 第 2

Day 2 | 從鍵盤到腦波:HCI 的歷史演進與技術脈絡

  • 分享至 

  • xImage
  •  

前言

回想你第一次使用電腦,是什麼樣的體驗?

也許是打開一台厚重的桌機,用鍵盤輸入文字指令;也許是滑動滑鼠,在桌面上點開視窗;又或者是用手指輕輕一劃,手機螢幕就啟動語音助理回應你。

這些看似稀鬆平常的互動方式,其實背後蘊含著一整套人機互動(HCI)的演進歷史。從單向指令輸入到如今機器能主動理解語氣與表情,人類與電腦的關係已從「命令」進化為「協作」。

今天的文章,我想帶你從歷史的角度出發,看看人機互動是如何從鍵盤滑鼠一路走到腦波與情緒


HCI 1.0 — 指令輸入的時代

打孔卡(Punched card)

人機互動的歷史,可以追溯到19 世紀末期的打孔卡(Punched card),由美國統計學家 Herman Hollerith 發明,原本是為了解決 1890 年美國人口普查的效率問題。他設計了一種紙卡,每張卡片上有 80 個欄位,透過是否打洞的方式,來代表文字、數字與程式碼。資料與程式都以卡片堆疊的形式儲存,再透過打卡機讀取進入早期電腦系統中。

它不僅是早期人類與機器溝通的媒介,更是現代「輸入裝置」的雛形。這套系統後來被 IBM 商業化,成為資料處理與程式設計的標準,直到 1970 年代才被鍵盤與磁碟取代。其設計轉變成現今我們熟悉的電腦答題卡(光學劃記卡,OMR)。

命令列介面(Command-line interface, CLI)

進入 20 世紀中期,逐步演進為命令列介面(CLI)。使用者透過鍵盤輸入文字指令與電腦溝通,系統則根據這些指令執行操作。介面沒有滑鼠圖示,只有黑底白字的終端機畫面,使用者必須輸入精確的文字指令,操作雖然相對困難,卻擁有極高的效率與控制力。

CLI 雖然功能明確,但門檻高且缺乏直覺性。以下為其特點:

特點 說明
高效率 輸入一行指令可完成複雜操作,適合批次處理與自動化腳本
支援遠端存取 系統管理員可透過 SSH 遠端操作伺服器,節省資源與頻寬
強大除錯能力 可快速查閱日誌、執行診斷命令、追蹤錯誤
常見使用者 系統管理員、軟體工程師、資料科學家、雲端工程師等專業技術人員

HCI 2.0 — 視覺化與圖形介面的崛起

圖形使用者介面(Graphical User Interface, GUI)

圖形使用者介面(GUI) 的出現,徹底改變了人們與電腦互動的方式。使用者不再需要輸入複雜的文字指令,而是可以透過滑鼠、視窗、圖示與點擊操作,以更直覺、視覺化的方式使用電腦。

GUI 從 1950 年代到 2025 年的重要里程碑:

年代 重要事件 意義
1950s SAGE Project 軍用雷達圖形操作系統,啟發圖形互動需求
1963 Ivan Sutherland 開發 Sketchpad 首個圖形互動介面,奠定 CAD 雛形
1968 Douglas Engelbart 的「演示之母」 首次展示滑鼠、超連結、視窗等概念
1973 Xerox Alto 誕生 第一台具備完整 GUI 概念的工作站電腦
1981–1984 Apple Lisa → Macintosh GUI 正式進入個人電腦時代
1995 Microsoft Windows 95 上市 GUI 作業系統成為主流,普及全球
2007 iPhone 推出 多點觸控革命,GUI 走向行動化與直覺式操作
2015–2025 Fluent Design、AR/VR GUI GUI 開始與語音、手勢、沉浸式裝置融合

實體使用者介面(Tangible User Interface, TUI)

實體使用者介面(TUI) 是一種讓使用者透過「實體物件」來與數位資訊互動的介面形式。核心概念是將虛擬資訊具象化,讓人們「用手觸碰、抓握、擺動」具體的實體元件來操作電腦系統,就像我們日常操作開關或翻書一樣自然。TUI 具備以下特性:

  1. 實體控制元件:使用者操作的物理物件(如沙子、積木)與背後的數位資料同步連動
  2. 觸覺操作性:介面具備可抓握、移動、觸碰的「材質性」
  3. 空間導向互動:互動不侷限於螢幕,而是在物理空間中進行
  4. 多用戶協作性:支援多人同時在同一介面上互動,無需搶焦點
  5. 表現力與易理解性:讓數位資訊以視覺、觸覺與物理狀態同時呈現,降低學習成本

HCI 3.0 — 自然使用者介面(NUI)與感知互動

自然使用者介面(Natural User Interface, NUI)

自然使用者介面(NUI) 是一種強調「直覺互動」的使用者介面,以人類最自然的行為(如語音、手勢、觸控、臉部表情等)與電腦互動,不再依賴滑鼠與鍵盤。相較於 GUI 需要透過圖形元素(視窗、按鈕、選單)學習操作邏輯,NUI 的目標是讓使用者「一用就會」、「像與人互動一樣與機器溝通」。

早在 1970 年代,學界便已出現多點觸控技術的原型設計,但直到 2007 年 iPhone 問世,才真正將「用手指操作畫面」推向大眾市場。iPhone 並非第一台觸控裝置,卻是第一個讓觸控變得流暢、直覺的裝置,滑動、縮放、拖曳等手勢都和我們在實體世界的行為有對應。

進入 2010 年代後,NUI 不再只是觸控螢幕,而是擴展到更豐富的輸入模式。智慧型手機與 IoT 裝置陸續導入麥克風、攝影機、加速度感測器與雷達,讓語音、手勢、臉部辨識都成為可能。這些感測能力開啟了「多模態互動」的時代,我們可以用聲音對 Siri 說話,甚至用臉部表情來解鎖手機或觸發動作。互動方式之所以自然,正是因為它們源自於我們日常的行為,不再需要對著指令表苦讀。

HCI 4.0 — 腦機介面與情緒辨識

腦機介面(Brain-Computer Interface, BCI)

腦機介面(BCI) 是一種讓「大腦與外部設備直接通訊」的技術,不需要透過傳統的輸入裝置如鍵盤、滑鼠或語音,僅靠「想法」就能操控電腦、義肢、遊戲或家電裝置。BCI 透過感測器(如 EEG 腦電圖、fNIRS 功能性近紅外線)偵測神經電訊號,並利用機器學習進行解碼,BCI 開啟了讀心與意念控制的時代。

BCI 的研究可追溯至 1924 年,當時德國神經科學家 Hans Berger 首次發現人類腦部會產生可量測的電訊號(即 腦電圖 EEG)。1970 年代,美國 UCLA 的 Jacques Vidal 正式提出「腦機介面」概念,並於實驗中透過腦波控制滑鼠游標。2024 年,Neuralink 成功將植入式晶片應用於癱瘓患者大腦中,使其能以「意念控制電腦」,成為人機融合的重要里程碑。這些發展象徵著 BCI 不僅能恢復功能,也逐步朝向增強人類能力邁進。

BCI 技術可分為:

  1. 非侵入式(如 EEG 耳機、Neurable):易用、信號較弱、適合日常娛樂與專注力提升。
  2. 侵入式(如 Neuralink):需手術植入,信號清晰、延遲低、適合重度癱瘓患者恢復運動功能。

BCI 應用實例:

應用場景 說明
腦控義肢與輪椅 使用者透過腦波控制機械手臂或輪椅,提高行動自主性
腦控電腦/滑鼠 透過腦波移動滑鼠、打字、操作應用程式,協助癱瘓或行動不便者進行基本溝通與工作
非語言輸入設備 使用 BCI 技術協助「封閉症候群」患者進行眼動或腦波輸入,透過文字拼音器進行表達
腦控智慧家庭 控制電燈、音響、電視等家居設備,未來可望整合於智慧居家與無障礙設計
腦控遊戲與情緒互動 根據使用者專注力與情緒調整遊戲難度、背景音樂,提供更沉浸的個人化體驗
穿戴式神經裝置 如 Neurable、Emotiv 等,開發耳機型腦波感測裝置,提升生產力或做焦點追蹤
醫療與神經復健 輔助中風病患、神經疾病患者進行復健,透過大腦重塑提升控制能力與功能恢復
軍事與高風險控制任務 國防單位研究用 BCI 控制無人機,達到意念操控多機聯動作戰
社群與手機介面 Neuralink 目標為透過大腦直接操作 iPhone、Vision Pro 等設備

使用者介面技術比較:CLI / GUI / TUI / NUI / BCI

CLI(文字指令) → GUI(圖形介面) → TUI(觸覺介面) → NUI(自然語言/手勢) → BCI(意念操控)

項目 CLI(命令列介面) GUI(圖形使用者介面) TUI(具體使用者介面) NUI(自然使用者介面) BCI(腦機介面)
操作方式 鍵盤輸入指令 滑鼠點擊圖示、選單 抓握與移動實體物件 聲音、手勢、觸控、臉部表情等自然動作互動 透過大腦神經電訊號與裝置互動
學習門檻 高,需要熟記語法 低,直覺操作 低,實體物件引導行為 低,依賴人類與生俱來的溝通方式 低至中,部分需要訓練或校準
操作效率 快速、可批次處理 視覺化,適合多任務 自然操作,但速度較慢 極高的自然性與直覺性 訊號穩定下能達到即時控制
資源需求 中等至高,需圖形渲染 取決於感應裝置 高,需搭配感測器與語音/影像辨識 高,需高效能生物訊號處理器
遠端支援 高(如 SSH) 需額外工具(如 VNC) 通常不支援遠端 難以遠端實作 受限,目前多為實驗室或醫療場景使用
使用情境 系統管理、程式開發、伺服器操作 一般應用、文書處理、設計工具 教育、互動展覽、長者輔助 智慧助理、AR/VR、無障礙科技 醫療輔具、智慧控制、神經復健、腦控遊戲等
代表介面範例 Bash、PowerShell、Zsh Windows、macOS 桌面介面 Microsoft Surface Dial、教育互動牆 Siri、Kinect、Vision Pro、Face ID Neuralink、Synchron、EEG 腦波帽、IpsiHand 等裝置

結語

HCI 的演進是一部科技與人性的交織史,從冷冰冰的指令列到讀心感知的腦機介面,每一次人機互動的更新,都拉近了科技與人的距離,讓使用者不必再費力學習怎麼「操作電腦」,而是讓機器學會「理解人」。HCI 的演進過程不只是技術的進步,更是在尋求:

如何讓系統理解我們、感受我們,進而與我們共感互動?


上一篇
Day 1 | 為什麼是 Deep Learning + HCI?
下一篇
Day 3 | HCI 模型選擇指南:什麼互動情境適合哪種 Deep Learning 架構?
系列文
感知你的動作與情緒:深度學習在人機互動的應用4
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言