本文長度爲4634字，預估閱讀時間12分鐘。
引言：吆喝科技CEO王曄的精彩回答，讓我們有機會從A／B測試一個看似非常小的觸點， 窺看到流量紅利結束，企業決策者面臨的增長挑戰和機遇；也從渠道測試、落地頁優化等細節工作，看到精細化營銷與運營的崛起與AI的真假實力……
採訪 | 林 森
撰稿 | 侯蘇芸
編輯 | 華 子
前言
坐在去北京的高鐵上，感冒混雜暈車，不好受，但聽着採訪錄音竟然有些小興奮，許久沒聽到這麼直白的對話，關於裂變、增長、AI的案例和報告滿天飛，但也大都止於此，至於背後的邏輯、坑與成果，基本是“概念以蔽之”。
感謝吆喝科技CEO王曄的精彩回答，讓我們有機會從A／B測試一個看似非常小的觸點， 窺看到流量紅利結束，企業決策者面臨的增長挑戰和機遇；也從渠道測試、落地頁優化等細節工作，看到精細化營銷與運營的崛起與AI的真假實力……
希望這篇專訪也能給你一些啓發。
1.iCDO：什麼是A/B測試？
王曄：A/B測試是一種假設試驗，假設我們圈定的所有樣本面前，測試哪一種方式達成目標的效果更好，比如，同一個投放渠道，用A、B兩個廣告頁面做測試。
聽着比較簡單，但假設試驗是一個非常嚴謹的工作，有很強的限定條件：一是，圈定的樣本具有代表性；另外，結果會有一個置信區間。
回到剛纔的例子，樣本具有代表性意味着投放渠道的流量需要相對穩定，比如，優酷、愛奇藝這些比較成熟的流量，這些流量的人羣變化以年爲單位，是非常具有代表性。
同時，試驗結果會有一個置信區間，比如，有95%的可能性，A和B的結果範圍在5%到15%，這是一個很精確，或者說經得起考驗的結果。
2.iCDO：我們有時候會看到一些情況，第一次試驗A比B好，再做試驗，結果有可能相反？是什麼原因呢？
王曄：是的，有可能存在這樣的情況。
比如樣本不具有代表性，舉個簡單的例子，新穎的APP，APP用戶羣在早期會有比較大的變化，這個月的用戶和下個月的用戶很有可能不是同一羣人，這種情況就不太適合A/B測試。
再比如說，我們開始一個試驗，需要對APP的用戶進行採樣，這個時候一般不可能試驗一開始，用戶就同時打開APP被採樣，有些人是當下打開，有些人可能過了三五天才打開APP，然後被採樣。
這種情況我們一般會建議試驗的時間長一點，比如跑七天，而不是一天；同時也會在數據模型上做調整，一般系統能夠解決這樣的問題。
3.iCDO：那麼您覺得A/B測試在當下的營銷/運營環境中扮演了什麼角色，或者說如何體現價值？
王曄：A/B測試屬於試驗工具，工具是什麼，工具是解放生產力、提高效率，特別像微軟Office，Excel這種生產類的軟件工具，大家會用它來做各種各樣的事情。
在越來越精細化的營銷和運營中，A/B測試會成爲企業一線工作人員的基礎工具，它足夠簡單，足夠通用，會逐漸改變大家的工作習慣。
4.iCDO：如果這個工具很基礎，很重要，那麼是否會面臨一種挑戰，比如說，需求量大的企業自己內部也搞一個A／B測試工具？
王曄：這個問題很好，其實我們同樣可以先回顧下Excel的發展，一方面，Excel在誕生幾年後，仍然有很多競品，各種研發指標計算工具可以說是五花八門；另一方面，最早的office用戶一般是來自非科技行業，是這些行業裏的龍頭企業，他們沒有自己的工具，需要從外部引入。
頂尖的技術企業，早期不會用Excel，也不會用Office，而是用自己的東西。但是你看，過了五年、十年或者更長的時間，Excel已經普及到高新技術企業，爲什麼呢？
因爲在這些頂尖團隊裏，做一個完美的Excel或者A/B測試工具，不是他的主要目的，他不可能投入大量的精力去改進它，而賴以爲生的廠商就會有動力去不斷優化迭代，也是在這個過程中逐漸成爲企業最優的選擇。
A/B測試的發展路徑可能是類似的，也許是很久以後，但也可以說是非常自然的事情。
5.iCDO：okay，那麼目前哪些行業或者場景適合用A/B測試呢？
王曄：從行業角度來看，一般是2C類，流量比較大，或者比較重視轉化率，比如金融、教育、大旅遊、跨境電商、媒體資訊等，這些行業的產品在很多場景下都有試驗需求。
總體來看，典型的特徵是：盈利企業，不燒錢；有流量，重視轉化率，但無法形成自然的增長，比如華住、永輝、環球易購、中國移動、平安等等，他們是行業的龍頭企業，實際上，也是我們優質客戶的代表。
從場景來看，A/B測試是能夠滲透到企業營銷和運營很多環節裏的一個工具，最常見的是線上入口，廣告投放這些典型場景；縱深的看，前期的行業調研，用戶調研和實施，後期的線上線下流量獲取、用戶抓取都會有所涉及。
有精細化營銷和運營的地方，就有A/B測試。
6.iCDO：那我們選取一個具體的場景來看，A/B測試能起到什麼作用？比如落地頁優化，因爲我們都知道落地頁和轉化率的關聯也非常大，大家關注的裂變本質也是一個轉化率高的落地頁。
王曄：我們從幾個角度來分析，從企業角度來講，目標非常簡單，尤其具備增長能力的企業，比如尚德機構，會有專門的團隊優化廣告投放落地頁。落地頁有幾十種、幾百種甚至幾千種，針對不同渠道進行投放，然後人肉優化，比如投A關鍵詞，頁面轉化率不好，會不斷的更換頁面。
我們的解決方案就是讓機器模擬這些人的工作，不需要人肉改鏈接，改頁面，而是用機器不斷進行A/B測試，實現自動優化。
從產品邏輯講，落地頁優化機器人的方式就是給特定的人羣或者渠道，投放特定的落地頁，然後儘可能的找到哪個落地頁，最適合哪個渠道。
7.iCDO：那麼從客戶角度來講呢？會比企業負責優化的同事幹得更好嗎？
王曄：從客戶角度講，他的體驗就是我請了一個機器人，但這個機器人很難比優化專家幹得好，這是現實狀況，但他肯定比外行要幹得好，同時又比外行便宜，投入產出比更高。
8.iCDO：那這個時候還可能出現一種情況，就是假如機器人提升了轉化，這是一個結果，但可能從營銷人員，或者運營操盤手的角度來講，他並不瞭解機器是如何實現的？爲什麼會這樣調整？更多像黑盒子一樣，這個情況怎麼處理？
王曄：這是一個非常好的問題，有類似問題的人最有可能是我們剛剛說的大中型企業，也就是擁有增長黑客團隊的人，這是屬於互聯網運營專家會關心的問題。
機器人如何做到是一個很複雜的問題，儘管落地頁優化是我們的一個子產品，但做到極致的挑戰非常大。我們可以提取用戶關鍵詞，用戶關係來定製標籤，自動化定製着陸頁，但是這可能僅僅是產生效果的一小部分。
我們內部經常會提到一個粒子模型，剛纔提到的關鍵詞是模型裏的相關性因素，但還有很多其他因素，比如價值主張，清晰度，反焦慮，最後轉化的緊迫感等等，比如，有多少人正在看這個頁面或者只剩三個席位，或者再過一小時票價上漲多少等等。
我們要明確一個現實，目前幾乎只有一小部分互聯網運營者，他們通過多年經驗總結出來了一些方法論，他們對用戶的理解，對消費者的理解，對產品的理解都非常深刻，有能力做出非常棒的優化。
機器人很難比這些專家更厲害，對於這些增長黑客，他們的實際需求往往非常明確，他很清楚的知道他需要機器人幫他執行哪一個部分，去完成增長需求。至於機器人如何做到的，其實不用糾結，因爲機器人現階段是幹不過增值黑客的。
另外，更多會用到落地頁優化，A/B測試的是一些中小規模的企業，對他來說最重要的是效果，至於是怎麼達到這個效果，他不關心，也沒有精力去弄不明白。
目前的市場情況是，大部分企業沒有能力招聘增長黑客來做精細化試驗，迭代優化等等，但他肯定在某些場景裏想要一個具體的解決方案，能夠立刻帶來價值，提升轉化率提升，比如落地頁優化。
吆喝科技也是圍繞這個思路去推出一系列聚焦特定場景的產品，模擬增長黑客的做法。
9.iCDO：技術或者AI幹不過人，這可能和我們平時聽到的不太一樣，您如何定義AI？
王曄：技術幹不過人，或者人幹不過技術，其實不需要糾結，更多是技術能解決什麼樣的問題，每一種技術的使用場景和優化的範圍是不一樣的。
技術是服務商業，對於我們，不是一個媒體話題，它是一個非常實際的業務問題。
我對AI的理解是，只要能夠模擬人、扮演人的技術，都可以算是AI。
目前AI能用的場景比較固定，一般來說，會有三大類，消費者溝通／業務決策、語音圖像和圖像識別。
語音識別，圖像識別場景都比較成熟了，但在業務決策領域的挑戰很大，影響用戶和消費轉化的事情太多，需要控制的變量太多，相當於在解一個巨大無比的優化方程式。
比如，一個簡單營銷漏斗模型，每一層都可以做很多事情，而且有很多重疊，這裏面變量複雜程度、數據的複雜程度是超乎想象的。
以前我在Google工作，接觸的數據量非常大，那個時候，大家一小時上傳的視頻時間長度已經大於人類歷史上所拍攝的視頻總和，這還是很多年前。
即便是擁有豐富數據的Google也認爲用一個AI模型來判斷用戶行爲，提高用戶轉化是不太可能完成的，他需要一個比無限大的解空間還要大得多的數據量才能作出模型，且這個數據量還在不斷變化。
10. iCDO：如果這是一個無法求得最終解的方程式，那麼AI在業務決策領域可以做到什麼程度？
王曄：可選變量或者解空間必須足夠簡單，也就是適合特定的場景，或者說場景很簡單。
比如一個看似簡單的落地頁優化，我們去做試驗的時候，不可能什麼都去試驗，比如把圖片、文字、按鈕、顏色，投放渠道都融合在一起，現實的情況是，我們控制落地頁優化變量，比如幾種文字模板，幾種輪播方式，幾種不同圖片，在變量簡單的基礎上進行試驗優化。
也許聽着會有點難以接受，但是實際情況就是如此。
我們可以想象一下，比如說圖像識別，最優秀的圖像識別系統是基於神經網絡和深度學習，可以識別出每一張帶有狗的圖像，很厲害，但實際上，我們可以針對這個圖像識別算法制造一個陷阱圖片，這個圖片上沒有狗狗，但是AI按照算法判斷不出來，會識別錯。
這個意思就是說，讓AI做對一件事情不是很難，但是要AI不做錯一點事情就太難了。
我們可以接受AI識別錯一張圖片，它的影響不大，我們也不會說AI不厲害，而是說它會有它適用的場景。
11.iCDO：確實是非常直白的解釋，非常感謝王總，最後兩個問題，我們回答眼前的現實，就是說A／B測試在增長導向的環境中越來越受重視，因爲確實能夠幫助企業進行精細化營銷和運營。在這樣一個非常好的發展環境中，您認爲實現增長最大的挑戰是什麼？
王曄：坦白講，企業最大的挑戰不是增長工具，而是增長人才，能夠幫助企業使用增長工具的人才。
一方面，市場不夠成熟，人才相對缺乏，用好工具的人本來就不多；另一方面，真正的增長黑客很少，而且增長黑客更多是個人英雄，要讓它變成一個企業文化，還需要很長一段時間。
其實，我們可以看到現在企業的領導和決策者，逐漸開始關注如何引進增長實踐，也就是軟件工具+人才的組合。
在這種情況下，第三方開始扮演比較重要的角色，比如，吆喝和客戶的合作，更像IBM、Adobe這樣，提供軟件，也提供服務，扮演的是一個諮詢服務者的角色，把我們的工具和最佳實踐帶給客戶，同時帶動企業內部人才，一起去運作和成長。
12.iCDO：最後一個問題，對於想要成爲增長黑客的年輕人，您有什麼建議嗎？
王曄：成爲增長黑客從某種程度上就是大膽試驗，大膽試驗需要的是聰明的腦袋和勇敢執行，這也是年輕人的優勢所在，沒有那麼多條條框框的束縛。
如果要說建議的話，我覺得就是年輕的時候，大家儘可能去背有KPI的工作，這樣職業道路會非常寬廣。當老闆問你幹過什麼，你可以直接告訴他，我工作的KPI是什麼，我是如何做的，提升了多少。
去背KPI，你對自己的要求是完全不同的，必須去大膽執行，試錯，優化；越往後面，大家對你的期待也是完全不同的。
至於發展路徑，我覺得實踐出真知，你可以去看一些書，但這些永遠都只能是輔助，這個時代真正的成長一定要做試驗，做測試，去勇敢創新，不要害怕失敗。
另外，也會覺得增長黑客雖然是一個很重要的角色，但它不一定是一個特點的崗位，每個人其實都可以成爲增長黑客，哪怕你是工程師、設計師、或者支持性的崗位，你都可以用增長黑客的方式去工作，對增長負責，對自己負責。
採訪
林森，iCDO原創作者，紛析數據聯合創始人。
撰稿
Summer侯蘇芸，iCDO原創作者，樂天行動，有趣有夢。