快速解答： 實驗，是你成長系統裡第三個關鍵環節——在你畫出成長模型、搞懂使用者心理之後，實驗負責驗證這兩者到底哪裡對、哪裡錯。多數人對實驗有五個常見誤解，其中最致命的是把假設當成「猜測」。一個好的假設，要走過問題、假設、證據、預測四個步驟，而且得先從問題開始，不是從假設本身開始。就算你只是一個人用 Claude AI 打造第一個軟體產品，搞懂這套邏輯，能幫你在跑第一場 A/B 測試之前，先想清楚你到底想驗證什麼。

文章同步發表在 我們的部落格

你可能才剛寫完人生第一支會動的功能。你興奮地把它推上線,然後呢?

多數新手接下來會做一件事——盯著儀表板,看數字有沒有動。這個做法,藏著一個你現在可能沒意識到的陷阱。

數字會動,不代表你懂為什麼動。而這正是實驗存在的理由。

為什麼你花大錢做的成長模型和使用者心理地圖,沒有實驗就只是空想?

前面幾篇文章,我們一路走過成長系統的地基——留存、參與、獲客、變現,是輸出;成長模型,幫你畫出產品怎麼成長的地圖;使用者心理,幫你搞懂使用者為什麼做出這些決定。

但這兩個工具,都只是假設。 你的模型,是你對「產品怎麼成長」的最佳猜測。你的使用者心理地圖,是你對「使用者為什麼這樣做」的最佳猜測。猜測,終究是猜測——除非你能驗證它。

這就是實驗的工作:用實驗去挖出真相,真相背後藏著兩件事——你的成長模型到底準不準,你的使用者心理地圖到底對不對。

早在 1923 年,有個叫 Claude Hopkins 的廣告人寫了一本書,叫《科學廣告》。書裡有句話,今天看依然成立：「幾乎任何問題，都能靠一次測試活動，便宜、快速、徹底地回答。不是靠會議桌上的爭論，是靠你產品真正的買家。」

他講的,是早期版本的 A/B 測試。實驗不是新東西,它一直都在。 只是軟體產品讓它變得更容易執行、更快拿到結果——因為資料變得更便宜,取得資料的門檻一路往下降。

實驗到底在幫你避開什麼?三個你自己都躲不掉的偏誤

實驗最重要的價值,是幫你避開人類天生的三個偏誤:

• 你會高估自己的點子成功的機率,只因為那是你自己的點子
• 你會高估這個點子,如果成功,帶來的影響有多大
• 事後回顧時,你會不自覺美化結果,即使它根本沒有真的成功

這三個偏誤,會悄悄帶你走偏,讓你的成長模型和使用者心理地圖,越修越不準,而不是越修越準。

除了人的偏誤,還有一堆外部噪音在干擾你的判斷——季節性變化、bug、獲客管道的變動、產品的其他改動、競爭對手的動作。你推出一個新功能,曲線往上走了,你可能會下意識地說「這個功能成功了」。但真相,遠比一條曲線複雜得多。

這正是實驗要解決的問題——把這些外部影響隔離開來,只看你真正想測試的那個變數,到底有沒有效果。

五個關於實驗,你可能一直搞錯的事

在你真正開始跑實驗之前,先打破五個常見的誤解。

誤解一:實驗的目的,是優化一個指標

錯。實驗的目的,是改善產品。 如果你把目標設成「優化某個指標」,你很容易陷入短期思維,做出只對局部有利、對整體產品沒有真正幫助的決定。

正確的心態是——你在尋找改善產品的方法,順便驗證你對成長模型和使用者心理地圖的理解。產品真的變好了,指標自然會跟著動。

誤解二:假設,是你對結果的猜測

錯,而且錯得很關鍵。假設不是猜測,是一句可以被測試的陳述,用來回答一個問題。

清楚的假設,會給你清楚的學習成果。為什麼?

• 它逼你用有條理的方式整理思路
• 它給你一個對照基準,讓你能比較實驗結果
• 它直接決定了你該怎麼設計一個有效的實驗

如果你一開始沒有建立清楚的假設,你的整個成長流程就會崩潰——你沒辦法從實驗裡萃取出真正的學習,也沒辦法把它回饋進你的成長模型和使用者心理地圖,讓它們變得更準確。

誤解三:測試應該永遠選最簡單、最快能做出來的版本

不一定。你該做的,是了解不同版本之間的取捨,跟團隊討論出你能跑的最好版本——而不是為了快,犧牲掉測試的有效性。

誤解四:實驗很便宜,所以應該不斷地跑

錯。這是把實驗當成一種保險,來掩蓋你沒有把問題想清楚的事實。

當你沒辦法做出決定時,你很容易就把「跑個實驗」當成答案。但實驗一點都不便宜——你得投入資源去實作、投入時間去迭代到有效,還得花時間跑完整個流程、做完分析。實驗該是用來回答對的問題,不是用來逃避思考。

誤解五:分析在看到成功或失敗之後就結束了

分析有三個層次。第一層,看成功或失敗。第二層,評估你的預測準不準。第三層,也是最容易被忽略的一層——搞懂為什麼。

你得知道為什麼會得到某個結果,才能把可能的原因和學習,回饋進你的成長模型和使用者心理地圖。少了這一層,實驗做再多次,你的理解也不會真正變深。

跑一場實驗,其實只需要拆成四個更小的步驟

把「跑實驗」這件事拆開,它其實是四個更具體的工作:

• 針對關鍵問題,定義結構清楚的假設
• 定義既有效率又有效度的最小可行測試
• 把所有測試排出優先順序
• 分析實驗結果,萃取出最多的學習

這四件事裡,第一件最重要——定義好結構清楚的假設。 因為後面三件事,全部建立在你有沒有先把假設想清楚。

建立一個好假設,從「問題」開始,不是從「假設」本身

這裡有個順序,90% 的新手都做反了:他們先想假設,再回頭找問題。 這等於把馬車放在馬的前面。

正確的順序,是四個步驟:問題、假設、證據、預測。

第一步:問題——你到底想解決什麼?

一個好的問題陳述,有三個要素。

第一,它要根植於你的成長模型。 你的成長模型(不管是質化、單迴圈量化,還是端到端量化)告訴你,哪些變數真正影響成長。問題,必須從這些變數裡長出來,不是憑空出現。

第二,它要具體,不能模糊。 用 Zoom 舉例——一個好的問題陳述會是「增加轉換為啟用主持人的與會者人數」。這句話裡藏著三件事:你知道自己想往哪個方向移動(增加);你聚焦在一個關鍵迴圈裡的特定環節(與會者轉換成主持人);你鎖定的是成長模型裡已知重要的變數。

一個不好的問題陳述,長得像「想辦法處理那些沒有變成使用者的與會者」。這句話太模糊了——你根本不知道要往哪個方向移動,也不知道該聚焦在哪裡。

第三,它要符合金髮女孩原則——不要太窄,也不要太寬。

太窄的例子:「提升來自員工數超過十人、使用 Outlook 加 Chrome 的公司的與會者轉換率。」這樣的問題,給不了你足夠的空間,去發想真正能帶動成長的解法。

太寬的例子:「增加週活躍使用者數。」這句話太籠統,你根本沒辦法從這裡發想出具體的假設。

剛剛好的問題,會落在中間——具體到你能聚焦,又寬到你能發想出多個不同的假設。

第二步:假設——你認為什麼是真的,能解決這個問題?

定義好問題之後,你可以開始思考假設——你相信什麼是真的,而這個真相,能解決你的問題。

這裡有個關鍵:問題根植於你的成長模型,假設則根植於你的使用者心理。 你的使用者心理地圖,告訴你使用者為什麼做出某些決定,這正是假設的來源。

一個好的假設陳述,長得像:「我們相信,與會者認為主持會議要花錢,因為這是他們在其他產品上的經驗。」這句話,清楚地根植於使用者心理——你認為使用者心裡有一種認知摩擦,覺得主持會議很貴,即使 Zoom 其實可以免費開始使用。

一個不好的假設,聽起來像是預測:「如果我們做了 X,我們認為 Y 會發生。」預測,要晚一點才出現。 假設陳述的重點,是你相信什麼是真的——因為同一個假設,可能衍生出好幾種不同的實驗方式去驗證它。

回到 Zoom 的例子,從「增加與會者轉換為啟用主持人」這個問題,你可能會發展出兩個假設:

• 我們相信,與會者忘記 Zoom 這個選項,因為我們沒有在會議結束後,用任何方式提醒他們
• 我們相信,與會者認為主持會議要花錢,因為這是他們在其他產品上的經驗

這兩句,都是對「什麼是真的,能解決問題」的陳述——不是對結果的預測。

第三步:證據——你有什麼能支撐這個假設?

如果回到科學的世界,科學家提出假設時,通常會附上引用——其他研究或觀察,來佐證他們相信這件事是真的。在打造軟體產品的世界裡,證據主要來自四個來源:

• 質化資料:使用者研究、問卷調查、業務對話,或客服工單
• 量化資料:你在指標或資料科學專案裡看到的數字
• 過去的實驗學習:用之前跑過的實驗結果,來支撐新的假設
• 一般性觀察:觀察競爭對手或類似產品的做法

第四種來源要特別小心。 你不該假設競爭對手,或其他人,真的用了嚴謹的實驗方法,去證明什麼有效、什麼無效——他們很可能跟你一樣,也只是在猜。

回到 Zoom 的例子:第一個假設的證據,可能是「一份針對從未主持過會議的與會者的問卷顯示,42% 的受訪者表示他們忘記可以用 Zoom 開會」。第二個假設的證據,可能是「同一份問卷顯示,13% 認為開始使用要花錢,另外客服資料顯示,21% 來自非主持人的工單,把費用列為一個因素」。

第四步:預測——如果假設是真的,會發生什麼?

走到這裡,你才終於輪到預測——如果你的假設是真的,會發生什麼?

從同一個問題,你發展出多個假設;從每一個假設,你又可以發展出多個「如果這樣,那麼就會那樣」的預測。

回到第一個假設(與會者忘記 Zoom 這個選項),你可能有幾種預測:「如果我們在客戶端下載流程裡加入瀏覽器擴充套件的安裝步驟,我們會看到更多與會者轉換成主持人,因為擴充套件安裝之後,能觸發一連串環境提示。」或是:「如果我們在與會者加入會議時詢問他們是否要安排或主持會議,接著用 Email 跟進並安裝擴充套件,我們會看到更多與會者轉換成主持人。」

第二個假設(認為開會要花錢),也可以有自己的預測:「如果我們在會議開始和結束頁面上明確標示主持會議是免費的,我們會看到更多與會者轉換成主持人。」或是:「如果我們在會議結束後,寄送一封說明主持會議是免費的 Email,我們也會看到同樣的效果。」

你會發現,同一個假設,可以用多種完全不同的實驗方式去驗證它——這正是為什麼假設跟預測,必須分開思考。

Claude AI 能在建立假設的過程裡,幫你分擔哪些工作?

把問題拆解清楚、從使用者心理地圖裡找出相關的假設、整理質化和量化證據——這些事,過去需要一整個成長團隊,花上好幾次會議才能討論出共識。

現在,就算你只是一個人用 Claude AI 打造產品,你也可以這樣用它:

• 把你的成長模型和使用者心理假設丟給 Claude,請它幫你檢查問題陳述是不是符合金髮女孩原則——不會太窄,也不會太寬
• 請 Claude 根據你描述的使用者行為,幫你草擬幾個可能的假設陳述,再由你判斷哪個最貼近真實情況
• 把你手上的問卷回饋或客服工單丟給 Claude,請它幫你歸納出能支撐假設的質化證據
• 針對同一個假設,請 Claude 幫你列出多種不同的實驗預測,擴大你能測試的方向

但記住一件事:Claude AI 給你的是結構和草稿,不是最終判斷。 你的問題陳述,到底聚焦得夠不夠精準;你的假設,是不是真的根植於使用者心理——這個判斷,永遠需要你自己對產品和使用者的第一手理解。工具能加速思考的過程,無法替你拍板定案。

從問題出發,你的實驗才真正有意義

走到這裡,你應該看懂一件事:實驗不是上線之後隨手跑一場 A/B 測試,是一套從問題出發、一路走到預測的完整思考流程。

跑實驗拆成四個工作——定義清楚的假設、設計有效的最小可行測試、排出優先順序、萃取最多的學習。而定義假設本身,又拆成四個步驟——問題、假設、證據、預測,而且順序不能顛倒。先有問題,才有假設;先有假設,才有預測。

就算你現在只是一個人,用 Claude AI 打造你的第一個軟體產品,這套邏輯依然成立。你同時是要設計功能的工程師,也是要判斷哪個假設值得驗證的分析師。搞懂這四個步驟,你就已經比多數新手更早想清楚,你的下一場實驗,到底該驗證什麼。

下次你打開 Claude,準備跑你的第一場 A/B 測試之前,先問問自己:我真正想解決的問題是什麼?而我,又相信什麼是真的,能解決這個問題?

常見問題

假設跟預測,到底差在哪裡?
假設是你相信什麼是真的,根植於你的使用者心理地圖;預測則是「如果這個假設是真的,會發生什麼」的具體陳述,根植於你設計的實驗方式。同一個假設,可以延伸出多個不同的預測與實驗設計。

為什麼不能先想好假設,再回頭找問題?
因為假設如果沒有連結到一個清楚的問題,你就不知道為什麼要測試它,也無法判斷這個假設跟你的成長有沒有關係。先定義問題,能確保你的假設真正聚焦在能帶動成長的變數上,而不是憑空發想。

實驗真的是越多越好嗎?
不是。實驗需要投入資源去實作、花時間迭代到有效、再花時間分析結果。把實驗當成逃避思考的保險政策,反而會浪費資源在回答錯誤的問題上。該做的是先把問題和假設想清楚,再決定值不值得跑這場實驗。

分析實驗結果,只看成功或失敗就夠了嗎?
不夠。分析有三層——成功或失敗、你的預測準不準、為什麼會得到這個結果。少了第三層,你沒辦法把學習回饋進你的成長模型和使用者心理地圖,下一次的假設還是會憑空亂猜。

Claude AI 能幫我直接判斷哪個假設是對的嗎?
不能。Claude AI 能幫你整理證據、草擬假設陳述、擴大預測的方向,大幅加速你的思考過程。但哪個假設真正貼近你的使用者、問題陳述夠不夠精準——這個判斷,仍然需要你對自己產品和使用者的第一手理解。