這大概是兩年前我在公司發生的故事。
我曾經沒搞懂的 A/B 測試問題 😵
谷歌有知名的「20% 專案」，讓員工總工時的 20% 自由發展有興趣的主題，據說 Gmail 跟 AdSense 產品都是這樣誕生的。
我在公司內看到某行銷團隊的 20% 專案在徵求新血加入數據分析任務，我好奇地與該團隊的主管約了一次會議，他告訴我他們需要解決的問題是這樣的：
團隊寄出新產品的行銷 Email，希望顧客到網站註冊並留下聯絡資料。
他們運用 A/B 測試，想知道行銷 Email 之中的超連結，導引到網站 A 與網站 B，註冊轉化率有多大的不同？
聽起來很單純？當然沒那麼簡單。困難點是：該團隊過去數據顯示，開信後，會點進超連結的顧客比例不到 10%，更別說點進去之後真的成功註冊的人不到四成，因此，從開信到註冊的比例會低於 4%。根據統計公式，需要超過十萬樣本數才能完成 A/B 測試。而他們還是個新起步產品，使用者不多、樣本數蒐集十分困難，完成單一項實驗所需時間真的太久了。
該團隊想徵求分析高手參與 20% 專案、幫他們解決這項問題。
我就菜：超天真回答
那次會議中，我當下聽完這個問題，很傻很天真地就拿 A/B 測試樣本數計算機起來按一按，然後回答他：
即使註冊轉換率只有 4%，還是可以做 A/B 測試，沒問題的！
需要十幾萬的樣本數，我們耐心等等就好。
這個回覆，在統計理論上是對的，但完全沒有解答到該團隊的關鍵實務挑戰：需要樣本數太多、實驗迭代太慢。
想當然耳，該團隊主管在那次會議之後就跟我謝謝再聯絡，搞不清楚狀況的我，沒拿到那個挑戰 20% 專案的機會。
我後來研究之後才發現，解決這個低轉化率挑戰的關鍵字是：Trigger。
💡 A/B 測試的觸發（Trigger）
在 A/B 測試領域，觸發（Trigger）指的是只分析那些真正有機會體驗到實驗差異的使用者，以解決數據被稀釋（例如轉化率低到只有 4%）的問題。
在上述 Email 註冊轉化案例，實驗內容是超連結點進去之後的不同網站，顧客必須要點擊超連結才有可能感覺到Ａ與Ｂ兩組實質差異。
案例情境中：
- 打開 Email 後，點進超連結的顧客比例 = 10%
- 點進超連結後成功註冊的比例 = 40%
- 從打開 Email 到成功註冊的比例 = 10% * 40% = 4%
典型的 A/B 測試，會把所有打開 Email 的顧客隨機分成兩組，但其中 90% 的顧客根本沒點開超連結，即使他們被分配在實驗中，也根本不可能感受到Ａ或Ｂ組的差異，也就是說，這 90% 的樣本數完全只是在浪費樣本資源！
若我們改做觸發分析，只聚焦在有可能會被實驗實質影響的顧客，也就是在顧客開信並點擊超連結之後才「觸發」A/B 測試、開始分Ａ與Ｂ兩組，我們要關注的註冊轉化率就從 4% 變成了 40%，再拿上面截圖的 計算機 重算一次，所需樣本數從 15 萬下降到只需要 9 萬！對每個流量都很珍貴的新創期產品來說，Trigger 可以大大加速實驗。
觸發 Trigger 的詳細計算方法，還有更多 A/B 測試觸發機制的實際案例，我都整理在部落格文章：
|
|
A/B 測試的觸發（Trigger）
精準定位受影響使用者，減少實驗所需樣本數
|
