互聯網公司的中臺實踐:網易杭研的中臺往事

編者按:本文轉載自網易副總裁、網易杭州研究院執行院長汪源的個人公衆號“冷技術熱思考”(歡迎搜索關注)。本文是中臺系列的第三篇,《什麼是中臺?所有的中臺都是業務中臺》釐清中臺概念,第二篇《如何建設中臺?中臺建設的組織、支撐技術和方法論》介紹了建設中臺的方法,這篇將介紹網易杭研在中臺道路上十多年的探索和經驗教訓,並補充在中臺組織管理方面的方法。以下爲原文(有少量改動):

我們面臨的是一個VUCA(Volatility, Uncertainty, Complexity, Ambiguity)的時代,控制論告訴我們及時反饋、調整才能到達目標,越來越多的市場變化因素使得頂層設計和長期預測變得幾乎不可能。建設好中臺,以便組織能更快速的響應變化,是對的方向。

緣起

今天的網易已經到了大學畢業的年齡,遊戲、零售、音樂、教育、門戶、郵箱、網易雲等業務板塊都有了明確的形狀。時間倒流回到14年前,那時的網易8歲,才上小學二年級。當時的網易,已經有最大的中文郵箱和廣大的郵箱用戶,三大之一的門戶,還有開創了風氣之先的現金流業務 — 遊戲。就像一個二年級小學生算是會讀書識字了,但還有很多的知識要學,充滿利國利民的抱負,網聚人的力量,做美好生活的締造者。 

05年,機緣巧合下,我們團隊成了網易杭州最初的團隊(更精確的說,遊戲技術大神雲風比我們更早就在杭州建了一個小的遊戲工作室)。當時的網易已經在互聯網技術上碰到了瓶頸,遊戲的點卡Oracle數據庫已經不堪重負,相冊的數據庫堆在一個700G的MySQL裏眼看要玩不轉了,相冊十億級的文件用NFS搭出來的分佈式存儲集羣問題頻發。 

但公司意氣風發,MSN Space引領的UGC和Web 2.0風起雲涌,網易相冊非常成功已經是第一大中文在線相冊,豈能受限於技術?當時的網易,在北京佈局了有道做搜索,在杭州佈局了杭研做互聯網創新業務。當年第一次在北京見到丁老闆的時候,老闆鼓勵我們在杭州任何與互聯網相關的業務都可以試,印象最深的例子是自行車聯網,當然這個事情我們後來沒做。 

雖然技術是很大的瓶頸,但當時老闆就認爲技術研究和業務不能分開。當時主要是看到Google沒有專職的研究部門,技術高手和業務是在一起的。 所以,研究院就同時背上了業務創新和技術研究雙重職責。環顧四周,網易杭研似乎真可能是中國互聯網第一個企業研究院,而且是業務實幹型的研究院。十多年來,杭研培育了無數業務,比較成功的有考拉、嚴選、音樂、雲課堂、Lofter、雲閱讀等,早期的博客和相冊也不錯,只是早就過時了。自然不成功的也不少,比方印象派、夢幻人生(SNS)、網易手機郵(不是手機號碼郵箱,是一個比微信更早的類似微信的產品)、網易Popo、易信等,因爲互聯網是一個VUCA的時代。 

研究院的骨幹幾乎統統來自浙大計算機學院,都是06年剛畢業第一份工作就到杭研。說實話,杭研當時搞技術不輸國內任何團隊,但業務sense是一般般的,一羣工科男嘛。即便在十多年後的今天,要說業務敏感度、運營能力,仍然壓力很大。 

但工科直男有工科直男的思維,那就是追求體系化,極度討厭重複建設。因爲06年杭研剛正式成立就有好幾個業務要並行做(博客、相冊、POPO),而哪個能成哪個不能成,也說不準。所以我覺得杭研得是鐵打的營盤,業務很可能是流水的兵。我們得考慮把這個營盤打造的好一點,讓來的兵成長的更快一些,各方面的戰鬥力更強一些。這樣,打勝仗的概率肯定就會上升。 

基於這樣的思路,第一年我們專心解決海量數據管理的核心技術難題。06年9月1日,隨着網易博客的正式發佈而上線的DDB、DFS分別解決了分佈式數據庫和分佈式文件存儲的問題,當時在國內是最早的。當時做博客差不多20個人,做DDB等平臺也有15個人,在基礎技術上的投入按比例看可謂巨大。07年我們又投入做了MapReduce系統NEMR、融合多維查詢系統等。這幾個系統在當時的環境下,基本上就把主要的技術挑戰解決了。 

既然技術上可以通過專職的團隊做的很好,那麼其他方面也應該可以。這樣,杭研就走上了一條不斷建立共享能力團隊的發展之路,我們希望這些共享能力綜合起來,能夠形成一個強大的創新中臺(當然之前沒有中臺這詞,叫平臺),提高創新的速度和效率,提高成功率。 

演化

07-08年最早成立的非技術類共享能力團隊是用戶體驗和軟件質量,因爲我們希望每一個杭研的產品的交互體驗和質量都能過關。當然這很大程度上來自於老闆的壓力,這方面的問題一出很快就會被老闆看到,被老闆K的滋味當然是很難受的了。用戶體驗和軟件質量團隊一直延續到今天。 

09-10年主要建的是數據挖掘、內容安全、移動研發。因爲內容安全大量用到數據挖掘的算法,所以數據挖掘和內容安全這兩個團隊一開始是在一起的。內容安全這兩年主要拼死啃一個硬骨頭:郵箱反垃圾。後來通過機器學習算法比較好的解決了,直到今天郵箱反垃圾的核心算法還是杭研的團隊在做。內容安全後來發展成了全集團的信息安全部,負責網絡安全、內容安全、業務安全、系統安全等主要的安全工作。其中內容安全方向除了郵箱,還服務了音樂、新聞、Lofter等幾乎所有互聯網產品,不但提供算法和系統,還負責安全策略的運營和人工審覈。數據挖掘方面則是在博客裏面做了很多個性化推薦、標籤推薦等嘗試。後來這個團隊逐步逐步做成了數據挖掘部,業務範圍最廣的時候負責了新聞、音樂、考拉、雲課堂、Lofter、網易花田等絕大多數互聯網產品的推薦和搜索,爲業務指標負責。移動研發部則階段性負責了杭研所有移動互聯網新業務,如網易雲閱讀、網易手機郵等。 

11-14年又建了項目管理、商業智能、運維部等,從原來偏技術開始走向管理和運營。項目管理部是PMO的概念,一方面培養並派出專業的項目經理到各個業務負責項目管理工作,確保研發項目的交付,另一方面這兩年也開始主導研發效能工具的開發。商業智能部曾經負責了音樂、易信、教育等所有杭研體系業務的數字化運營分析工作。運維部負責了考拉、音樂、金融、新聞等業務的運維保障,包括了SA、DBA、PE和運維平臺研發、運維體系建設等職能。 


15年開始投入建設集團級的用戶中心。以統一的賬號體系爲基礎,整合多業務的數據,實現用戶標識的統一,並建立起規模較大、覆蓋較全、準確率較高的用戶標籤體系。 


我們稱這些部門爲專業服務部門或專業能力部門,目的是專注的培養某一方面的能力支持業務發展,同時提升人均效能,降低成本。 這些部門根據中臺是支撐多個前臺業務的共性能力組織的定義,很多都具備一些中臺的屬性,特別是用戶中心、數據挖掘、商業智能、移動研發、內容安全這幾個。在長期的摸索中,每個中臺除了形成了不少的技術和方法論(一般都要求每個部門出一本白皮書)沉澱外,也積累了一些組織方面的經驗。 

方法論的形成

組織方面最基本的一點是“專人就位”。所謂“專人”,指的是支撐每個前臺業務的一定有一個專職的團隊,即便只有一個人。所謂“就位”,指的是支撐前臺業務的專職人員一定要坐到業務團隊中間去。第二點是考覈要實現某種程度的掛鉤,至少要給予前臺業務打分的權利,有時候甚至會直接跟前臺業務的某些KPI掛鉤。 

但是如果只是把某一個方向專業的人集中在一個部門,那這個部門只能說是一個職能部門,甚至大家覺得你就是做人力外包的,要麼不創造多少價值,要麼覺得你培養的人挺好,挖過去。這自然跟中臺的概念相去甚遠,這樣的部門也就不會有長久的生命力。 

如同A公司的共享業務中心在初期地位低、壓力山大一樣,每一個專業能力部門的建立已經不易,但發展挑戰更大,因爲這些部門都不直接創造價值(中臺都不直接創造價值)。 所以每個部門都在拼命的思考怎麼沉澱核心能力,而不只是一些某方面專家的集合。 

經過多年的分分合合、起起落落,就大致摸索出了一套建設中臺組織層面的方法論,今年雲創峯會上大致有過介紹。 在我看來,一個標準的中臺組織必須有一系列的可以共享的能力沉澱,這些能力沉澱要通過團隊、技術和方法論三種方式。團隊方面,就是一系列的能力組,比如對數據挖掘中臺專業的NLP、視覺算法和標準化的內容加工團隊就是能力組,再比如對質量中臺專業的性能測試、移動端兼容性測試等團隊就是能力組。技術方面就是要儘可能的將能力和知識軟件化、產品化,如項目管理部要主導研發效能工具等。方法論方面就是要形成流程、規範、check list、最佳實踐等各種方法論。 

一個團隊共享能力建設的越好,價值就越大,也就越像中臺;共享能力建設的不好,價值就越低,也就越像職能或後臺部門。

雖然中臺概念上只應該包含共享的能力,但這樣“標準”的中臺部門也經常會遇到與前臺業務結合不夠深,合作不夠順暢的問題。這時我們經常採取階段性的把相關前臺的部分團隊也整合到專業能力部門的做法,這樣在中臺部門就有了一個個定向支持對應前臺業務的定向組。這就形成了我所稱的“胖中臺組織”。階段性的讓中臺組織長的過胖一些,讓中臺和前臺的邊界在一個組織內磨合,過兩年再看哪些是屬於中臺的骨骼,哪些是屬於前臺的肉,搞清楚了再把肉重新分到前臺去。這樣,胖中臺組織瘦下來,又變成一個標準的中臺組織。 

挑戰及應對

不過即便有了這些方法,我們覺得中臺的建設仍然是非常難的一件事。特別是集團和杭研業務的多元化使得要建設業務屬性非常好的中臺往往沒有條件,所以, 在很多時候,我們會選擇儘量的將專業能力部門的能力下沉到工具和方法論,而將之外的團隊重新分流到各前臺中去。我覺得這樣的管理也應該是合理的,並非說一箇中臺組織建立之後就必須長期存在。建中臺組織是爲了做好某方面的能力,如果這方面的能力大部分都可以軟件化、方法論化,那麼爲什麼還要維持一箇中臺組織呢?這時可以把中臺退化成爲平臺組織。 

這是杭研在中臺建設的一方面,另一方面,考慮到業務多元化的現實,不如選擇和各個業務合作,更好的支持各業務建他們的中臺。這方面嚴選的數據中臺走在集團前列、考拉的業務中臺走在集團前列,都是杭研的老師。杭研則專心做好中臺的技術支撐,讓考拉、嚴選、音樂等的中臺建的更順、更好、更快。這次雲創峯會推出的網易猛獁6.0和新版網易輕舟微服務,就是在這樣的背景下打磨出來的數據中臺和業務中臺的支撐技術。 

這也是我對中臺建設層次的觀點,企業級或者事業部級都可以建中臺。杭研建的那些中臺可以說是企業級的,但杭研支持考拉等業務建的中臺都是事業部級的。一般而言,事業部的業務發展到一定階段,都可以建中臺,也相對比較好建;企業級的中臺就要看公司的戰略和業務的狀況,建設難度也更大。 

中臺是一個新的名詞,但並不是一種新的實踐。杭研迫於要並行發展多條業務線的壓力,加上理工科厭惡重複建設的思維,不斷的建設各種專業能力組織,從而走上了一條摸索建設中臺的道路,再到後來一些業務發展大了,又支撐着各業務建他們的中臺。這裏面經驗有一些,教訓也很多。很容易失敗! 

我始終認爲,要把營盤打造的好一點,把能力打造的好一點,以便組織能更快速的響應變化,是對的方向。我們面臨的是一個VUCA的時代,控制論告訴我們及時反饋、調整才能到達目標,越來越多的市場變化因素使得頂層設計和長期預測變得不可能。更進一步的看,能力建設本身也要靈活,因爲建設能力也需要投入和成本。 技術上,絕不要重複造輪子;組織上,要根據情況在胖中臺組織、標準中臺組織、平臺組織之間靈活切換,不要擔心組織調整影響到了某些人,調整帶來的重新分配對大多數人來說都是更好的去處。 

作者簡介

網易副總裁,網易杭州研究院執行院長 汪源 
2006年獲浙江大學計算機專業博士學位,之後加入網易公司。現作爲網易杭州研究院執行院長,全面負責網易集團公共技術支撐工作與雲計算、大數據業務,主要包括雲計算與服務端架構、前端技術、大數據挖掘分析、信息安全、多媒體、運維、質量保障等方向。

點擊鏈接更多關於網易數據中臺

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章