我跟男友開發這個聊天軟體三年，剛剛回去算我們截至今天為止，總共在 firebase 上做了 168 次 A/B Testing。
只有41次有 Clear improvement found，也就是信賴水準在 95% 以上，佔所有實驗的24%。
57次是 Possible improvement found，也就是信賴水準在 67%以上，佔所有實驗的33%。
兩個加起來 57%。剩下的43%，就是 Baseline is probably best 或 Insufficient data。
意思是有將近一半的功能，我們做完後，因為沒有通過實驗，而在測試後淘汰。

大功能不一定數據好

有時候花很多力氣做了一些「大功能」，實際開始測試後，對於數據幾乎都沒改善。
也有些時候，只是一個小改動，就可能可以增加 10% 廣告收入。
很殘忍的是，花的時間跟成果不一定成正比。

失敗不是結束

通常我們的流程是，如果出現 clear improvement found ，那沒什麼好懷疑的，就可以release。
如果出現 Possible improvement found，那就會仔細看一下所有的指標，如果所有的指標都出現正面傾向，那我也會傾向 release。
如果出現 Baseline is probably the best，或 Possible improvement found 但其他指標的結果有好有壞，那我們通常會回去看功能有沒有什麼可以改善的地方。
改過之後，再拿出來實驗一次。
通常不會在第一次失敗就放棄，會迭代幾次之後，再決定要不要放棄這個功能。

實驗的失敗率是創新指標

一開始講到我們 43% 實驗是失敗告終的。
其實超過一半的成功機率，我覺得有點太高。
對我來說，這是我們太過保守的表現。
就算實驗失敗了，等於也是我們又學到一件新的跟我們的產品有關的洞見。
成功當然令人開心，但成功率太高，也有可能是因為花比較多時間做一些比較直觀的改善，而不是探索其他選項。
追蹤實驗的失敗率，是一個量化目前團隊有沒有大膽創新的好指標。

最新文章會分享在臉書：https://www.facebook.com/gigi.wuwu/
歡迎留言討論