iT邦幫忙

2021 iThome 鐵人賽

DAY 16
0
Mobile Development

如何用下班時間開發App經營副業系列 第 16

我們截至今天為止,總共在 firebase 上做了 168 次 A/B Testing

我跟男友開發這個聊天軟體三年,剛剛回去算我們截至今天為止,總共在 firebase 上做了 168 次 A/B Testing。
只有41次有 Clear improvement found,也就是信賴水準在 95% 以上,佔所有實驗的24%。
57次是 Possible improvement found,也就是信賴水準在 67%以上,佔所有實驗的33%。
兩個加起來 57%。剩下的43%,就是 Baseline is probably best 或 Insufficient data。
意思是有將近一半的功能,我們做完後,因為沒有通過實驗,而在測試後淘汰。

https://ithelp.ithome.com.tw/upload/images/20210917/20141356o29eLteJXj.png

大功能不一定數據好

有時候花很多力氣做了一些「大功能」,實際開始測試後,對於數據幾乎都沒改善。
也有些時候,只是一個小改動,就可能可以增加 10% 廣告收入。
很殘忍的是,花的時間跟成果不一定成正比。

失敗不是結束

通常我們的流程是,如果出現 clear improvement found ,那沒什麼好懷疑的,就可以release。
如果出現 Possible improvement found,那就會仔細看一下所有的指標,如果所有的指標都出現正面傾向,那我也會傾向 release。
如果出現 Baseline is probably the best,或 Possible improvement found 但其他指標的結果有好有壞,那我們通常會回去看功能有沒有什麼可以改善的地方。
改過之後,再拿出來實驗一次。
通常不會在第一次失敗就放棄,會迭代幾次之後,再決定要不要放棄這個功能。

實驗的失敗率是創新指標

一開始講到我們 43% 實驗是失敗告終的。
其實超過一半的成功機率,我覺得有點太高。
對我來說,這是我們太過保守的表現。
就算實驗失敗了,等於也是我們又學到一件新的跟我們的產品有關的洞見。
成功當然令人開心,但成功率太高,也有可能是因為花比較多時間做一些比較直觀的改善,而不是探索其他選項。
追蹤實驗的失敗率,是一個量化目前團隊有沒有大膽創新的好指標。

最新文章會分享在臉書:https://www.facebook.com/gigi.wuwu/
歡迎留言討論


上一篇
如何免費寫出好的 App description
下一篇
提高廣告單價的方式
系列文
如何用下班時間開發App經營副業30

尚未有邦友留言

立即登入留言