A/B 測試 ~
接下來想談談這塊，雖然過去有做過 A/B testing 的檢定，但仍有知識不足的地方，所以這篇算是邊整理自己的想法邊搜集資料來學習。

在之前的工作中，有遇到網站版面功能調整的情況，這個時候我們想測試哪個版本閱讀網頁到一定比率的成效比較好，值得我們進行更動。
當時由開發人員設定流量隨機分配的機制，而我最後拿到的資料，可以區分出 A/B 版本的流量與閱讀事件。

拿到數據後，我們可以直接看這2群的閱讀完成率哪個版本比較高就可以拍板定案了嗎？
因為考量樣本的抽樣偏誤，是不是因為機率的問題才導致該版本的閱讀完成率比較高呢？
這裡，我們來做統計檢定吧 ~

也許前面切的太快了，首先，我們要先知道或是跟需求單位定義清楚我們想觀測的指標是什麼？在這裡，我們定為閱讀完成率。
回到統計檢定吧 (先幫讀者打針 ~ 我對統計檢定的理解有限，所以需要進行檢定的人務必再補足相關知識再開始著手檢定)，我們要先確認怎樣的誤差區間我們可以容忍，比如 5% 的誤差，那麼使用合適的統計檢定(使用哪個檢定進行我這邊保留給各位自己研讀)來進行並觀測其 p 值看看是否有小於 5%，即可得出是否具統計顯著(也就是A版與B版的差異到底值不值得相信)，若實驗組具閱讀完成率的統計顯著，則我們會選擇將實驗組的版本更新到網站上。

參考資料

1. ORACLE A/B testing : https://www.oracle.com/tw/cx/marketing/what-is-ab-testing/#metrics
2. Sales force A/B testing : https://www.salesforce.com/marketing/what-is-ab-testing/
3. A/B testing 使用什麼檢定比較好 : https://haosquare.com/hypothesis-testing-for-proportion/
4. p 值 : https://chih-sheng-huang821.medium.com/%E7%B5%B1%E8%A8%88%E5%AD%B8-%E5%A4%A7%E5%AE%B6%E9%83%BD%E5%96%9C%E6%AD%A1%E5%95%8F%E7%9A%84%E7%B3%BB%E5%88%97-p%E5%80%BC%E6%98%AF%E4%BB%80%E9%BA%BC-2c03dbe8fddf