如視300萬套VR房源背後的技術硬實力揭祕

買房/租房人累、經紀人苦、業主難,傳統看房模式中的沉痾積蓄已久。爲從根本上解決消費者在看房上的痛點,降低消費者的時間成本與交通成本,提高經紀人帶看效率,貝殼找房如視團隊提出了以三維重建技術爲核心的技術解決方案,並推出了一系列VR看房產品。

成立近2年來,如視團隊完成了從0到1的蛻變,截至目前,如視VR已覆蓋全國120多個城市,累計掃描重建VR房源超過300萬套,用戶使用VR看房累計超過5億次,成爲目前國內最大的空間實景三維重建服務商。靚麗的成績單背後,如視團隊強大的技術實力功不可沒。

大步快跑,如視VR從0-1

在如視成立之前,貝殼技術副總裁、如視事業部總經理惠新宸就做了詳盡的調研。當時3D建模技術已發展相對成熟,流行的技術方式主要有全景照片、序列幀、結構光三維重建等。經過調研對比後的結論認爲:全景照片方式無法滿足精確測量的要求;序列幀方式本質上還是2D,難以給C端用戶帶來沉浸式體驗,且後續的數據價值不大。

團隊最終決定採用結構光VR方式打造3D房源。“我希望不止給用戶展示360度全景照片,更希望爲其呈現具有空間感、方位感的VR看房,並且更重要的是數據價值,VR看房只是三維重建產品化的第一層價值,埋在三維重建後的數據價值纔是我認爲更重要的”,惠新宸表示。

成立近2年來,如視團隊一直保持着“大步快跑”的研發節奏,陸續推出了大量面向B端的產品,比如黎曼相機、如視Lite等VR採集設備;以及面向C端的產品,比如VR看房、VR講房、VR帶看、貝殼未來家等。

官方提供的數據顯示,通過VR看房,用戶人均停留時長增加了210%,房源約看量增加了138%,經紀人帶看效率增加了13%。

領先源於每一步都走得紮實

在研發力量保障上,如視團隊彙集了一大批頂級技術專家,佔比近如視總人數七成。惠新宸向InfoQ表示,如視的三維重建技術在業內的優勢經過了大規模工程落地的驗證。如視的VR掃描設備穩定性強,在過去一年多時間裏採集了300多萬套VR數據,並以每天近1萬套的速度持續增長,在海量的數據基礎上疊加了衆多技術創新,自動化程度較高。

自深度學習出現之後,基於數據驅動方式對圖像做三維重建在學界和工業界流行開來。如視算法架構師潘慈輝介紹,在海量房源空間數據集的基礎上,如視利用深度學習代替人工,通過設計合適的神經網絡,充分利用全景圖區別於普通圖片的特點,用神經網絡結合傳統方法求解深度值的近似解,從而實現了良好的三維重建效果。在房屋的三維模型上,主要運用到了傳統計算機視覺及深度學習中的多視幾何和識別分割檢測等技術。

如視三維重建

此外如視在戶型圖自動生成方面也大量運用到了AI技術,包括深度學習網絡、GAN、數據標註、圖像分割、圖像識別等。圖像識別技術的應用具體包括對房屋內標誌性物品的識別,房間結構俯視圖的識別等。據潘慈輝介紹,如視自動戶型圖的研發過程6前後歷經四個版本,每個版本並非單純在前一個版本基礎上迭代,而是會嘗試新的創意和想法,包括通過深度學習實現房間與房間之間的區分,利用對抗神經網絡實現端到端的戶型圖生成,用單張全景圖端到端生成單一房間的戶型結構等等,最終,他的團隊採用了多種方法融合的方式呈現自動戶型圖。

300萬套VR房源數據是保持優勢的“護城河”

目前如視團隊的技術和產品實力很大程度上集成於如視Lite這款新品上。如視Lite自今年11月正式發佈,是加速房源3D化的又一利器。

據悉,如視Lite基於對300多萬套VR房源數據的深度學習,利用單目圖像深度估算技術,將二維的房屋圖片賦予三維的“深度”,實現對距離遠近和方位的感知。

潘慈輝表示,目前在市面上還沒有出現一款跟如視Lite類似的產品,它捨棄了深度測量,卻又能提供一個真正三維的模型。上述功能的實現正是基於如視的算法和數據壁壘。

數據是如視領先於競品和保持行業頭部優勢的重要“護城河”。

如視算法架構師顧曉東認爲,這300多萬VR數據爲如視Lite的三維建模打下了堅實基礎。結合最新的AI技術,利用這些海量數據來增強對二維、三維目標的檢測識別和分割,增強在房屋結構理解、戶型圖自動生成、房屋三維模型優化等方面的能力。反過來,這些能力的增強也會令數據採集的過程更方便、快捷。

數據是重要的財富,深度學習尤其依賴大數據。“如果沒有數據,拿不出有效的模型,那嚴格來說,算不上對一項技術做到真正掌握。深入到應用之後,你便會發現這個環節是非常依賴數據的”,顧曉東表示。

在落地應用的“戰場”上能否站穩腳跟取決於前期的數據積累,必備的“功課”不能落下。在VR看房賽道上,尚有許多玩家缺乏同如視一樣多維且全面的VR數據積累。

單目圖像深度估計帶來的技術領先

由於缺乏數據根基,現在市面上的一些VR看房產品存在“濫竽充數”現象,一些商家利用人視覺的上的“腦補”功能,通過提供2.5D模型,也即室內只有牆體是立體的,其他物品是用全景圖片模擬,創造出了一種“僞3D”的錯覺。消費者從某一角度乍看上去這些物體是正常形態,但從其他角度看就會變形,並不立體。

惠新宸認爲,這些取巧的做法並不是真正的3D,更不能稱之爲“三維重建”。更明顯的短板是,數據價值不足以支撐後續的技術延展。

在如視VR看房界面,每切換到一個場景,所有的室內物品均以三維模型形式呈現,且具備長寬高等深度數據。單目圖像深度估計技術是如視Lite產品達到“深度”的關鍵。據瞭解,這是如視在VR看房領域的優勢技術。

所謂單目圖像深度估計,就是從單張圖片出發,估計深度值的算法。潘慈輝介紹,這是一個病態問題,沒有確切解。例如,當靠近了拍汽車模型和離遠了拍真實的汽車能得到完全相同的圖片。但某些特定的場景下,是可以求得不同程度的近似解的。潘慈輝進一步介紹,針對室內場景的全景圖片,人類可以一定程度上求近似解。利用估計消失點,並結合全景圖片的拍攝高度可以人工估計房間中線段的長度,從而獲取房屋結構即牆、天花板和地面的尺寸和深度;結合人類對傢俱、小物品的先驗知識,可以估計圖片中各類物體的尺寸和深度。然而這整個人工流程全部發生在人的大腦和手工演算中;如視基於海量的數據積累,可以自然地越過這個流程,讓深度神經網絡仿照上述人腦的方式,自動地得到和人類經驗相近甚至更優的解。

如果說數據積累是實現“真VR”的第一步,那麼數據單目深度估算技術便是第二步,前面兩步走紮實了,纔有瞭如視Lite輕量化的自若。這有點兒像蓋房子,要先打好地基。

在最初技術路徑選擇的時候,數據價值就被如視團隊列入了首要衡量指標。現在再回過頭來看,這個選擇無疑是正確的。儘管後來追隨者和模仿者蜂擁出現,但幾無超越者。

海量落地場景形成閉環

在技術硬實力之外,場景化落地是如視的另一大優勢。

剛推出不到半月的如視Lite,率先落地到天津後,截止11月26日,累計拍攝量爲4373,外網展示量1927,外網覆蓋率9%。如視Lite的租賃業務現已全國開放拍攝,試點區域的商機高於房源滲透13%,由商機到成交,高於普通房源30%。

貝殼VR看房

值得一提的是,在應用落地上,如視採用了“軟硬件一體化”的差異化打法。

如視的一系列VR掃描設備均系自主研發,而非採用外部的VR設備。如視硬件渠道部負責人施文博表示,之所以選擇自研硬件,一方面希望能採集到更多維的數據,更好的滿足用戶體驗,另一方面是出於規模化量產的需要。從黎曼相機到如視Lite,如視團隊還在探索擴寬數據採集的方式和種類,找到多種異質化和定製化的數據採集方式,以滿足不同的需求和應用場景。施文博透露,新一代激光掃描設備將於2020年量產,該設備除了精度更高、採集距離更遠,同時將採集空間中各物體在905nm波段紅外光的反射率信息,對於物品識別、物體分割等有較大幫助。

如視Lite能力升級的同時,在“降成本“上表現出色。相對黎曼相機,如視Lite主打輕量化VR採集,用普通的相機即可拍出VR房源。如視Lite成本更低、操作更簡單、基本不需人工的干預,還支持接入各種硬件平臺。在應用場景上也更加多元,成本更低的如視Lite將運用在酒店、租賃等細分場景。

貝殼找房在房地產領域十幾年沉澱積累下的場景優勢,是如視VR產品快速落地的關鍵。也正是這種基因,這支年輕的技術團隊格外關注如何把技術真正落地到場景中去。

核心算法怎麼能與工程落地更好結合?這是如視研發人員每天都在思考的問題。潘慈輝認爲,一段核心算法,可能在某些特定約束條件下已經達到了非常出色的效果,但要實現落地轉化、達到穩定可用,還需要在工程上做很多嘗試與調優,甚至需要結合新的算法以達到整體效果的提升。

最近兩年,AI熱潮漸趨冷靜後迎來了價值驗證期,而價值驗證的核心標準在於落地。惠新宸對此深有感觸,他談到,自己接觸到的一些AI創業者直呼‘創業太難了’,因爲找不到場景。“有場景是很重要的點,當技術和產品實際運用到場景裏,才標誌着它是能帶來價值的,而不僅僅是噱頭”。

硬件、技術、場景是相輔相成的。接下來,如視在深耕上下游產業鏈的同時,還將加速佈局生態鏈,將其積澱的技術能力向全行業開放賦能。

嘉賓介紹

惠新宸(鳥哥),國內最有影響力的PHP技術專家,PHP開發組核心成員,現任貝殼找房技術副總裁、如視事業部總經理,負責貝殼·如視VR看房、AI講房、貝殼未來家等產品的研發和落地,以技術探索推動居住服務行業進步的更多可能性。

潘慈輝,如視算法架構師,法國國立信息與自動化研究所博士後。曾在大疆、優必選從事算法研發工作,熱衷技術研究,對三維視覺、機器人定位建圖、工程實際落地有豐富經驗。

施文博,如視硬件渠道部負責人,原Auto3D創始人。後加入如視,致力於使用軟硬件一體的解決方案解決行業痛點、提升行業效率。

顧曉東,如視算法架構師,中國科技大學本碩博連讀,曾先後任職於微軟亞洲研究院和Technicolor北京研究院。致力於深度學習和計算機視覺方向的學習和研發工作。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章