A/B test流程

  1. 確立優化目標
    首先要做的,就是確立想要優化的“目標”。在這個過程中,我們建議大家一定要設立“可量化的、可以落實到某一個具體功能點的、可實施的小目標”。舉例來說,如果一個目標不好直接量化,例如“將用戶滿意度提升15%”,那麼就不好形成一個具體的A/B測試方案。同理,如果這個目標太大太寬泛,也不好落地。一個可行的目標可以是“通過優化註冊流程,將註冊轉化率提升20%”,這個目標可以量化,而且足夠具體,可以在後續流程中形成一系列相關的A/B測試實驗方案。
  2. 分析數據
    通過數據分析,我們可以找到現有產品中可能存在的問題,只有先發現了某一個產品環節可能存在的問題,纔好在後續流程中提出相應的優化方案,以優化這個環節的轉化率。
  3. 提出想法
    在這一步,我們可以針對數據分析發現的問題,針對性的提出產品優化的方案,例如優化流程以提高轉化率,優化設計和文案等等。一般來說,A/B測試的想法會以“假設”的方式提出。例如,“假設把註冊流程中的圖片校驗碼方式,改成短信校驗碼的方式,我們的註冊轉化率可能提升10%”。基於這個假設,我們會設計對應的A/B測試,並通過實驗的數據驗證這個假設是否成立。在後面的章節我們也會通過更多實際的A/B測試案例來跟大家分享一些相關經驗。
  4. 重要性排序
    在開發資源、版本排期、優先級等因素的制約下,我們很可能不能對所有的想法進行實驗。在這一步,最重要的目的就是根據重要性、潛在收益、開發成本等因素對所有想法進行優先級的排序,並選擇最重要的幾個想法進行A/B測試。
  5. 實施A/B test並分析實驗結果
    對於一個A/B測試來說,結果主要分成兩種:有效和無效。無效的A/B測試實驗對於團隊來說,其實是非常寶貴的經驗,這個時候我們可以把這些無效的實驗轉化成團隊的經驗,避免以後再犯同樣的錯誤。而對於有效的A/B測試來說,我們成功通過實驗提升了產品的轉化率,這時我們可以把優勝的版本正式推送給全部用戶,以實現產品用戶的有效增長。
  6. 迭代整個流程
    在這個流程中,最重要的就是迭代、迭代再迭代。尤其是在剛開始推行A/B測試的時候,很容易遇到“團隊成員經驗尚淺,不確定哪些產品功能點做A/B測試效果會比較明顯”的問題,往往需要一些quick wins去建立團隊對A/B測試的信心。這個時候,比較有效果的辦法有兩種:一種是針對一些轉化率相對較低、很有可能通過改版獲得提升的產品功能點,精心設計A/B測試實驗,一般都會有比較明顯的效果;另一種是快速地做一批簡單的A/B測試實驗(例如修改關鍵按鈕的文案,顏色,圖標等),只要其中有一部分實驗取得了成功,就能很好的在團隊內部推進A/B測試的實施。像Testin AB測試產品提供了業界首家針對App/H5的可視化編輯功能,可以對按鈕、圖標等控件進行“所見即所得”的可視化編輯,實現文案、圖標的實時修改,而且無需應用市場審覈,可以即時更新,非常適合快速地進行簡單的A/B測試實驗。

參考文獻:
https://www.zhihu.com/question/20045543/answer/407037373

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章