大數據技術發展過剩 通用化和個性化需求是最大挑戰

大數據日益成爲國家基礎性戰略資源,推動大數據發展,已成爲從政府到民間、從行業組織到企業機構的社會共識。如何用好大數據,讓大數據帶來可量化的價值?是傳統企業轉型能否成功的重中考量因素。

9月11日至12日,T11 2017暨TalkingData智能數據峯會在北京舉辦,來自全球近5000位專家、學者、數據科學家、分析師和企業管理者等匯聚T11,探討大數據與行業結合的技術趨勢、場景應用、前沿案例。

奇點大學執行總裁Kian Gohar在主題爲“指數級創新”的主題演講中指出,書信息ji指數級增長時代已經來臨:計算能力、人工智能、傳感器、機器人、交互模式、大衆化應用的聚合技術,爲世界帶來指數級飛躍,並改變每個行業。

TalkingData 首席執行官崔曉波在峯會中強調了——數據改變企業決策、數據改善人類生活。TalkingData今年將側重賦能合作伙伴,同時注重AI等技術創新和實踐,致力於用數據驅動商業。


活動第一天下午,CSDN記者就大數據技術趨勢、場景應用等問題,與TalkingData的三位技術專家:CTO肖文峯、產品VP 閆輝、首席架構師 黃洋成進行了溝通。

大數據技術平臺遜於數據源發展

大數據有很多種分類方式,一類是關於大數據技術的平臺,另一類是關於數據源部分。平臺方面,一般是有開源軟件,做成型的類似於CDH版本的平臺,還有在上面做一些相關的各種數據庫,各種中間的管理平臺這樣的技術路線的公司。閆輝說:“技術平臺這塊發展性並不是特別大。”

另外一塊域是關於數據的數據源部分,數據源以前大家會認爲擁有數據量的,像TalkingData在線的互聯網平臺,聚集了一大堆的數據量。還有像電信這樣的數據源,閆輝認爲,這塊的發展在這5年之內將非常快,數據最終變成了一種以服務的方式提供出去。

大數據技術發展過剩

TalkingData從去年開始跟進整個大數據的技術生態,2016年從底層開始往上整理,包括:數據工程、數據採集、加工處理、分析到形成決策。它們發現,大數據技術不是遇到瓶頸,而是某種程度有一點過剩,在任何一個細小的領域都能找到好幾家包括商業的公司,包括:提供類似的技術開源公司,優化到存儲的公司,有各種各樣的公司在做這樣的事情。肖文峯認爲:“Hadoop公司去年是什麼公司,今年依然是什麼公司,沒有突破性的革命。”各大公司業務更多集中在數據應用領域上,技術本質上並沒有什麼大的突破。

大數據技術落地主要是體現在兩個方面

  • 實時性的提升,包括從各個方面去優化,保證這個洞察,可更快得到對數據的洞察。
  • 數據產品的平民化,包括之前提到的數據可視化的技術,還有別的智能化的技術,包括一些人工智能領域的功能,某種程度上都是爲了降低技術使用的門檻,

大數據發展的最終目標是讓業務用戶直接操作數據。在決策上面,滿足需求的前提條件是分析數據得到洞察,客戶需要別人告知他未來發生什麼,如何去應對。

數據分析僅是TalkingData的業務線

談到和其他數據分析公司的差異化比較,閆輝表示,數據分析業務線只是其一條子產品線,TalkingData的主營產品是SmartDP(智能數據平臺),通過整體的平臺加上數據原材料一起在一個業務垂直域做貢獻。“我沒把技術沉的更深一點,而不是垂到一個簡短的分析業務線,我們是以移動分析起家,但是我們不是一直停留在那個層面上。” 閆輝說。

通用化和個性化需求挑戰

TalkingData一方面採集數據,另外一方面,把技術和數據應用到客戶實際場景幫客戶解決問題。TalkingData需要一方面降低客戶使用成本,把這大數據服務通用化。另外一方面,需要根據客戶自己的數據屬性、質量的不同,提供個性化服務。

這是現在大數據行業所有技術公司和解決按公司面臨的普遍問題,目前來講很難看到一套技術方案解決所有的問題。” 肖文峯說。

如何解讀客戶數據

TalkingData經常會遇到客戶數據質量匹配度不是特別高的問題。TalkingData需要了解客戶到底需要什麼樣精度、質量的數據,不同數據質量,爲此付出的成本也不一樣。“公司要求其前端的諮詢人還有售前人員對數據質量有清晰的瞭解,把客戶的業務問題能夠精準翻譯成數據問題。”這是肖文峯對他們的要求。

此外,TalkingData的數據部門,需要很量化的夠從完整性、及時性、準確性、一致性,評估出數據的質量。有了透明化的評估以後,後面的就能知道這個數據是什麼樣的質量狀況,應該用在什麼樣的場景,適合用在什麼樣的場景。通過這兩方面努力的結果,最終解決客戶的問題。

客戶數據孤島問題如何解決?

TalkingData一直在研究解決數據孤島問題,針對不同場景都有了一些探索。黃洋成通過兩個方面介紹了TalkingData的解決方案:

數據保護方面,像隱私保護有一種叫差分隱私,蘋果和谷歌都號稱在用。TalkingData在有一些領域也會做嘗試,通常來說,保證輸出位置數據的同時需要儘量不泄露隱私,差分隱私這種技術就會應用到這上面。

數據質量方面,如果你脫離了需求去談質量沒辦法談,相同的數據需求不一樣,你對他的質量評估還是不一樣的,數據本身的真假對誰都是跟需求沒有關係的。


後記

通過參加T11 2017大會,CSDN深切體會到了國內大數據社區和大數據生態的蓬勃發展。雖然是一個技術廠商主導的大會,但開放、合作、共贏的思想在各個演講話題中傳遞。在這裏,大數據並不是高高在上的技術理念,而是和企業切身業務相結合的服務產品,希望活動能促進更多的傳統企業通過大數據技術完成信息化轉型,CSDN將繼續關注大數據技術領域的發展。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章