UGC產品下架頻發,平臺方該如何走出內容審覈的困局

某國民種草APP由於涉及內容違規,從安卓應用市場消失了,應該算是最近最火的話題。

作爲C2C的種草平臺,該APP不僅允許用戶線上分享種草清單,還可以發佈購買鏈接,讓消費者接受安利的同時可以直接購買商品。二者相結合,就成了完美的導流神器。

其實平臺本身只是一個單純的內容分享社區,所有人都可以來發布任何內容,像半佛仙人文章裏提到的一樣,對於一起C2C的UGC平臺來說,只要是能夠發佈內容的地方,內容失控的風險都是存在的。評論區、用戶暱稱、私信區、論壇.....都可能被不法分子利用成爲其發佈違禁商品、×××引流、×××詐騙等,從而導致平臺內容的失控。
圖爲:違規信息

內容失控的問題其實也是屬於反欺詐風控的一部分,所以本篇文章會從兩個方面出發,談談企業進行內容治理的現狀:一是黑灰產如何利用UGC類平臺進行發佈違規信息,並進行引流詐騙;二是企業在遇到這類問題的時候,會採取怎樣的解決方案。

一、爲什麼黑灰產發佈大量的違禁信息,企業很難識別?

在互聯網黑灰產中,無論是行跡匆匆的羊毛黨,還是浪跡論壇的水軍,擁有各個平臺的賬號都是他們進入“職場”的第一步,批量註冊大量賬號就因此成爲了所有惡意行爲的源頭。目前,這條黑色產業鏈已經形成上中下游的明確分工。首先,處於中游的號商會從上游的卡商那裏購入一批手機號,然後利用接碼平臺、貓池、打碼平臺、其他自動化工具等批量註冊虛假賬號;隨後,將賬號售賣給下游用於薅羊毛、刷量、傳播違禁內容等非法獲利行爲。


貓池.png

圖片來網絡:貓池

打碼平臺.png

圖爲:接碼/打碼平臺

內容平臺散佈違禁內容的源頭正是這樣一批賬號。許多平臺都會通過設置安全防護策略,或實名認證的方式在註冊/登錄環節對它們進行源頭的過濾。但平臺風控和黑產突破始終是一個持續博弈的過程,當黑產發現,利用新註冊的賬號發佈廣告等違規內容很快就會被平臺發現並封號之後,他們會先讓賬號過上一段“正常人”的日子,在平臺監控真的認爲他們的“正常人”後,再撕下僞裝的面具,在平臺作惡,這種行爲就是“養號”。

“養號黨”利用羣控技術+自動化腳本批量操控多個賬號在平臺發帖、留言或者點贊,這一切都是爲了模擬正常個人用戶的行爲,逃過平臺的風控規則。

羣控現場.png

圖片來自網絡:羣控現場

根據威脅獵人的持續監控發現,剛註冊的新賬號根據不同平臺可獲利益不同,售價會在0.1-10元不等,在“養了”半年或者更長時間之後,價格就會翻上一番,達到1-100元或者更高的價格。如果賬號“擁有了自己的姓名”,價格還能夠進一步提升,只要從“料商”處買來×××等實名信息綁定賬號就能實現,此時的賬號售價可以直接翻倍,達到10-200元甚至更多(比如微信賬號)。


賬號售賣情況.png

圖爲:威脅獵人反欺詐情報監測平臺監測到的賬號售賣情況

被“養過”的賬號隨後被買到下游黑產手中,用於廣告營銷、傳播違規信息等途徑,於是就有了內容平臺上出現的黑賬號。它們因爲模擬成正常賬號逃過了平臺的防護規則。

之後,通過不斷轉變敏感詞彙的表現形式(如,微信可以變成威信、VX等),黑產就能繞過平臺對敏感詞彙的過濾規則,再利用自動化腳本就能批量發佈違規內容。

內容審覈3.jpg

圖爲:違規信息

不過,其實現在黑產的日子也不那麼好過了,這和平臺採取的打擊措施有關。

許多內容平臺,在受到黑產的侵害後,會馬上加大對內容的審覈力度,通過風控策略攔截惡意賬號,或者組建審覈團隊、搭建數據模型來打擊平臺作弊行爲。

二、防範違規內容產生的基礎措施

監管部門加大監管力度,內容平臺提高自我審覈力度已是目前的常態。強監管下,企業或強化自身審覈能力,或與第三方合作探索提升內容安全的方式,但其底層邏輯都比較固定的,就是風控加持審覈體系。

1、利用反欺詐風控體系,從源頭攔截黑賬號

前面說到的機器審覈和人工審覈機制,都是在違規內容出現之後進行內容管理的一種方式。

但在與黑產***對抗的過程中,我們發現,如果能在黑賬號進入平臺時、發佈違規內容前就進行攔截,就能解決很大一部分違規問題。

在平臺上發佈違規內容的賬號,通常是黑產在髮卡平臺先買入一批手機號,然後利用自動化工具批量註冊的。如果平臺能夠通過賬號識別體系,在黑產註冊或登錄當下就識別並攔截,就能阻止進一步的作惡。

我們在建立反欺詐體系建立過程中,通過對黑產業鏈核心節點的布控,能夠掌握大量的黑產所利用的虛假手機號和惡意IP資源。當黑產利用這些資源進行賬號的註冊時,就可以在註冊或登錄環節進行風險賬號的攔截或降權處置。

這一層防護體系,就能從源頭上解決違規內容的產生。對於漏網之魚,只要補充內容審覈機制,大多數平臺的內容安全問題基本都能解決。


2、補充內容審覈機制,過濾違規內容

  • 利用機器審覈過濾違規內容


目前,違規信息主要會以四種主要的形式出現在平臺上,那就是文本、圖片、視頻和音頻。

文本內容相對來說會比其他三種內容的處理成本低,平臺可以自己維護一套動態文本庫,持續收集和更新敏感違規詞彙,也可以聯繫安全服務商接入一套外部文本庫。其中的邏輯都是一樣的,就是通過文本詞庫過濾的形式,篩選出違規的文字內容,然後進行後續的人工處理或直接刪除等操作。

而對於除文本外的圖片、視頻和音頻的視頻,往往和人工智能、機器學習技術掛鉤。要搭建一整套智能審覈體系,需要比較高的成本。因此,對於這類內容,平臺會選擇接入安全服務商的服務。


內容審覈1.png
圖爲:機器審覈涉及的智能技術


以圖片審覈爲例。在圖片上會出現兩種違規形式:

  • 一種是圖片本身的內容是違規屬性的,比如,圖片中出現有×××、武器、暴力場景的畫面;

  • 另一種是人爲後期給圖片加入了違規信息,比如,圖片上添加了推廣二維碼、微信號碼、電話號碼等內容


針對這兩類圖片,利用第三方的智能識別技術就能進行識別。而服務商只要不斷利用收集到的圖片數據信息對模型進行組合訓練,保證模型的快速迭代,就能進一步提升識別的準確率。

  • 人工輔助審覈,降低誤判率


充分利用人工智能技術對違規內容進行識別,在很大的程度上,其實就是爲了節省人力。但實際上,不管行業把人工智能技術吹得多牛X,就現階段來說,這項智能技術都會有不夠智能的時候,還是少不了人工的輔助。


內容審覈.png

圖爲:人工審覈+機器審覈相輔的審覈機制

就拿“掃碼”這個詞兒來說,它可以變成扌彐 石馬,少馬,掃**碼等各種形式,人工智能並不能精準識別所有變體。另外,對敏感內容的過濾規則設置還不能過於嚴格,不然,就會出現誤殺正常內容的情況。

在這樣的情況下,人工審覈就是一個必不可少的環節。

不同的平臺可以利用機器審覈機制設置不同的審覈策略,然後對違規內容的可判性打上不同程度的標籤,然後進行相應的處理。

比如,對於確定是違規的內容,可以標爲【高危】,直接刪除或封號處理;對於涉嫌違規的內容,可以標爲【中危】,然後給予文字警告;對於命中少量違規內容,但無法準確判定性質的可以標爲【低危】,對於低危的內容就可以由人工審覈處理,避免造成誤殺。

人工審覈的環節對於所有做內容的平臺都至關重要。目前,比較大型的內容平臺,甚至會自己設立人審機制,少則十幾人,多則數千人,專門審覈平臺內容。

寫在最後


在具體的實踐中,不同平臺會有不同的內容展示形式,最終的解決方案和規則設定就會因“平臺”而異了。但不論什麼平臺,都需要認識到的一點是,黑產的***手段總是在不斷進化,爲了躲避攔截策略,會不斷出現新的內容發佈形式,平臺方只有持續關注內容管理解決方案,業務安全方只有不斷迭代防護技術,才能在這場“貓鼠遊戲”中佔據上風。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章