那些數據工作中的角色

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"數據工作中有一類非常重要的角色，那就是數據分析師。爲什麼這個角色這麼重要呢？因爲要是沒有這個角色，不管一個企業中的數據管理做得有多麼好都沒用，都無法帶來實際的價值。這些數據就像是藏在海底的石油，而數據分析師就是開採海底石油的油井設備。要想讓石油用於汽車輪船，需要通過這些設備先將海底的石油抽取出來，經過加工處理，提純。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"數據分析師"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這個角色通常做什麼呢？數據分析師的日常工作當然就是做數據分析。比如要分析一個應用的客羣特徵，分析用戶的留存率，活躍程度等等。但是，對於數據分析工作，最重要的是業務理解，對軟件開發技術的要求其實並不高，能寫SQL就能完成大部分工作了。比如留存率的計算，技術上一個帶join和where的SQL查詢就實現了，但是分析的目標遠不止於此，對於分析而言，更重要的是要知道爲什麼留存率是計算出來的這個數值以及這個值究竟意味着什麼。考察爲什麼是這個數值，可能會發現是由機器人貢獻了較高的留存率，企業內員工也貢獻了較高的留存率，真實的用戶其實貢獻了一個較低的留存率。考察這個值究竟意味着什麼，首先會觀察其變化趨勢，可能會發現留存率有所上漲或下降，然後，最重要的，根據這一情況應該從業務上做些什麼。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"從這裏的分析可以看出，數據分析師是具備一定的技術能力，但更偏業務的一種角色。可能有人會說，我之前在互聯網公司待過很長時間，似乎也沒聽說過需要這樣一種角色呀。沒錯，其實在很多規模不大的互聯網公司，根本沒有明確定義數據分析師這樣的角色，但這一角色並非不存在，通常這樣的角色是被市場運營人員和產品經理兼任了。當前國內的互聯網公司普遍招聘的產品經理或運營人員的一個重要的能力要求就是會分析數據，然後根據數據改進產品設計或改進運營策略。我見到過很多公司的產品經理和運營人員寫SQL寫的非常溜，他們正是在進行分析數據，並根據數據進行業務改進。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"數據科學家"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"對於數據分析師而言，技術上只要會SQL就夠了麼？當然不是。當業務發展到一定程度之後，想要做到精細化的運營，簡單的SQL工具可能就無法滿足數據分析師的需求了。這時，可能要請出來一些大家覺得高大上的算法模型了。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"比如，要做客羣細分，是不是要來個RFM模型呢？要挑選一些客戶來做營銷，是不是要做個邏輯迴歸模型來預測一下哪些客戶是潛在的高價值營銷客戶呢？想做交叉銷售提升現有客戶價值，是不是要來個關聯分析呢？一旦涉及到建模分析，問題就不一樣了，這些分析手段非常專業，非計算機專業，數學能力比較差的同學接受起來可能就會比較困難。但也絕非不可能，市場上其實已經有很多專門爲建模分析而生的專業工具了。其中最有名的莫過於SAS。只需要使用者明白基本的算法原理，然後跟隨軟件的可視化引導進行操作就可以完成基本的建模分析。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這樣一來，是不是具有計算機或者數學背景的偏業務的數據分析師們也可以來做了呢？有不少公司將同時懂業務，會SQL，會建模分析的人員稱爲數據科學家。需要擁有這麼多的交叉專業背景，這一角色的門檻顯然非常高了。然而，數據科學家這一角色對於一個日漸壯大的企業而言卻是非常重要的，常常可以帶來企業核心競爭力的進一步提升，爲企業建立競爭壁壘。按照前面對數據科學家的定義，企業內部常常是缺少堪稱數據科學家的人才的。即便有，也更多是某一領域的數據科學家，因爲需要有深厚的業務知識積累。而一個人其實是很難具有多個行業多個領域的業務經驗的。所以，一般而言，企業中更多的人才資源是數據分析師，即便有數據科學家，可能更多也謙稱爲數據分析師。當然可能也有另一個原因，數據分析師的名字聽起來會更偏解決實際業務問題，而數據科學家則更像是偏學術理論研究。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"數據工程師"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"數據工作當然還少不了一類角色，那就是數據工程師。不管是數據分析師還是數據科學家，都是基於數據進行分析的。那數據從哪裏來，數據管理是不是做的足夠好，數據提取是不是足夠容易，在大規模的數據集上面進行計算是否高效，這些問題常常成爲了擋在數據分析師和數據科學家前面的一堵牆。爲了打破這堵牆，就需要數據工程師了。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"所以，數據工程師的職責是什麼呢，那就是爲數據分析師和數據科學家服務。將數據有效的管理起來，讓他們可以輕易的獲取並理解數據。爲他們提供分佈式的探索環境，讓他們可以高效的在大規模的數據集上面進行計算。除了爲數據分析提供服務，數據工程師還需要做好其他的企業數據管理工作，比如數據安全，數據標準，數據質量管理等。想做好企業數據管理並非易事，如何在企業內部建立數據標準，如何進行數據安全定級，並分別對不同安全級別的數據實施不同的安全策略，如何推進企業數據質量建設。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這些問題沒有一個是可以輕易做到的，非但不能輕易做到，甚至對數據管理經驗要求非常高。這對於數據工程師的行業經驗、工程經驗都提出了更高的要求。業界通常將有這些經驗足夠豐富的數據工程師稱爲數據架構師。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"轉型到數據分析師"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"能不能不要數據分析師呢？經過前面的角色拆解分析可以知道，企業裏面總是會先有數據分析師（即便可能暫時沒有這個稱號），再有數據工程師。如果一項數據工作中沒有數據分析師，那這個項目就很容易演變成一羣做技術的人的自嗨，搭建各種前沿大數據平臺，什麼分佈式計算流式計算一起上，做了很長的時間燒了大把經費之後發現沒有什麼可見的業務價值，然後不得不因爲項目經費的原因遺憾收場。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"所以，要想做好數據這塊業務，數據分析師這一角色是不可缺少的。如何應對數據分析師的短缺呢？最直接的辦法就是擴充擁有數據分析能力的人才了。人才可以有兩方面來源，一是招聘，二是內部轉崗。首先看內部轉崗。內部轉崗可以說是最先採用的人才擴充方式。能不能由軟件開發人員轉做數據工程師或者數據分析師呢？其實軟件開發人員轉做數據工程師相對是比較容易的。但是還是需要補充較多的數據專業能力，比如數據倉庫的建設方案，如何進行數據建模，如何進行數據治理，如何進行數據開發和調試，如何實現數據服務及可視化，如何打造數據平臺等。能不能由軟件開發人員轉做數據分析師呢？"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這種情況就比較有難度了。主要是業務思維和技術思維有着很大的不同，業務思維想要解決當前的業務問題創造利潤，怎麼快怎麼做，看重可操作性和效果而非技術，而技術思維卻是想着維護產品的高質量，穩步的進行迭代演進。所以，我們常常見到，業務人員不能理解做技術的要考慮各種邊界情況，各種依賴情況，導致一個功能要做很久；技術人員也不能理解業務爲啥要天天變，剛做好的功能還沒產生業務價值又要推翻重來。除了思維方式需要轉變，業務經驗積累也變成了這裏的角色轉變的絆腳石。能不能由BA轉做數據分析師呢？我們看到公司內部其實有不少數據分析師是BA的角色轉變而來的。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"但是新的角色對於BA而言同樣存在很大的挑戰。比如如何快速的去熟悉一個新行業的業務，如何提升SQL技能，甚至如何自我學習和提升達到具備進行統計分析，假設檢驗，建模分析的能力。這些都是不容易的。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"企業數據人才結構"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"前面介紹了數據工作的相關角色，隱隱約約可以看出企業數據人才組成結構了，我們姑且將其稱爲企業數據人才架構。用一張簡圖可以表示如下："}]},{"type":"image","attrs":{"src":"https:\/\/static001.geekbang.org\/infoq\/36\/3677e2c356b2b3cc11bdad889dc37462.png","alt":"圖片","title":null,"style":[{"key":"width","value":"75%"},{"key":"bordertype","value":"none"}],"href":null,"fromPaste":true,"pastePass":true}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"前面只是最基本的角色定位，在實際企業環境中，常常會由於各自的企業基因和文化而有所不同。比如，如果是一家創業型小公司，可能就只分爲技術、產品、運營三種大的角色。技術人員將完成業務功能開發、運維、數據管理等等一系列工作。產品人員將基於產品數據分析完成產品設計和優化。運營人員將基於運營數據分析完成運營策略、運營活動的設計等。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"如果這家創業型公司以業務爲核心，那麼可能前期會直接採購相關的軟件產品，連技術和數據分析都沒有。一家以軟件技術爲核心的中型公司（比如互聯網公司），業務逐步成熟，就開始設置專門的數據部門和數據工程師崗位。而一家以業務爲核心的中型公司（比如零售、保險等公司），業務逐步成熟，就開始設置專門的數據分析部門和數據分析師崗位。隨着業務的進一步擴大，各個角色的專業性越來越強，大型企業中常常設置數據架構師、數據科學家等角色，以應對特別複雜的業務場景。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"本文轉載自：ThoughtWorks洞見（ID：TW-Insights）"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"原文鏈接："},{"type":"link","attrs":{"href":"https:\/\/mp.weixin.qq.com\/s\/G-fK4n9GlM5jls1yc9EbUA","title":"xxx","type":null},"content":[{"type":"text","text":"那些數據工作中的角色"}]}]}]}