數據標註案例分享:搜索結果相關性匹配標註項目丨曼孚科技

​搜索結果相關性匹配標註有助於優化搜索模型,更好地匹配用戶需求。

以下內容節選於某搜索結果相關性匹配標註項目。

一.標註需求說明

閱讀資訊內容並隨意進行提問,頁面會反饋答案內容,需要對答案內容進行標註評分。

總計有4種標註結果:十分相關、一般相關、略微相關、不相關。

☆十分相關:問題中的名詞、動詞在回答內容中都有提及,且回答內容較爲完整全面。(能夠精準回答問題的答案,用戶會更加感興趣。)

☆一般相關:問題中的名詞、動詞基本在回答內容中都有提及,但回答內容並不夠完整與全面。(描述了相關的事實,用戶有可能感興趣。)

☆略微相關:問題中的名詞在回答內容中有提及,但是內容基本與問題無關。(大的主題相關,但是細節相差較大。不能回答問題,用戶基本不感興趣。)

☆不相關:問題中的名詞沒有在回答內容中提及,且與問題內容毫不相干。(完全無關,用戶完全不感興趣。)

二.實際標註範例

1.問題:巨鯨和谷歌什麼時候停止合作?

1)回答內容樣例一:

巨鯨音樂網創始人兼CEO 陳戈表示,歷史上,巨鯨音樂網獲得四大及音樂工業全球歷史上第一個MP3免費搜索下載視聽授權,從2009年3月谷歌音樂搜索上線到2012年6月,巨鯨服務谷歌上億用戶60億次下載視聽,產生PV150億左右,廣告存量4億元左右;但谷歌從2010年退出中國後一直混亂,谷歌音樂廣告銷售幾乎停止,同時多次拒絕巨鯨來賣廣告的申請,導致在巨大流量下,谷歌負責的廣告銷售極少。兩者的合作幾乎停止。

標註結果:

十分相關,提及巨鯨和谷歌的合作,提到谷歌從2010年退出中國。

2)回答內容樣例二:

巨鯨音樂CEO陳戈透露,巨鯨音樂已於上月獲得來自谷歌與姚明的新一筆投資,金額在數百萬美元級別。陳戈同時強調,谷歌退出中國不影響巨鯨的發展,巨鯨音樂將推出音樂雲服務,甚至還會計劃推出獨立音樂搜索。巨鯨音樂網由陳戈於2005年創辦,啓動資金是體育明星姚明以及其經紀人章明基共同投資的300萬美元。2008年,谷歌中國斥資700萬美元,與巨鯨音樂網合作推出谷歌音樂產品。2009年3月30日,雙方正式面向大陸用戶推出正版音樂搜索。而這也是谷歌在全球第一次嘗試音樂搜索服務。

標註結果:

一般相關,提及巨鯨和谷歌的合作,但未提及中止合作的事情,不能回答問題。

3)回答內容樣例三:

“谷歌音樂搜索沒有給谷歌帶來過多的利潤是其被關閉的主要原因。”飛象網CEO、知名電信專家項立剛在接受《國際金融報》記者採訪時表示,谷歌音樂搜索涉及到知識產權等方面的因素,近年來的利潤收入沒有達到預期的目標,加上百度等有力競爭者對其“虎視眈眈”。

標註結果:

略微相關,提及谷歌的一些信息,不能回答問題。

4)回答內容樣例四:

據法新社及日本共同社最新報道,日本宣佈退出國際捕鯨委員會,將在2019年7月重新開啓商業捕鯨活動。早在2018年的9月10日,在巴西召開的國際捕鯨委員會大會上,日方就曾提出要恢復商業捕鯨。但國際捕鯨委員會以41票反對、27票贊成的投票結果,否決了日方的提案。有專家分析,正是由於支持捕鯨與反對捕鯨的國家無法達成一致,日本擔心影響自己的商業捕鯨活動,索性“退羣”了之。此前,日本就有試探性動作,表達過退羣的意願,當時即遭到了多國的抗議。澳大利亞海洋保護協會首席執行官達倫.金德利塞茲表示,日本“退羣”意味着“背棄國際社會”,“會給其他國際條約或公約開一個非常危險的先例”。新西蘭鯨類和海豚信託基金代表利茨.斯洛滕說,如果日本退出,可能在國際捕鯨委員會引發嚴重後果:一些國家或許會效仿,這一國際組織可能分裂。

標註結果:不相關,問題和內容完全不相關。

2.問題:哪隻戰隊是英雄聯盟s8世界賽冠軍?

1)回答內容樣例一:

11月3日,英雄聯盟S8世界賽總決賽在韓國仁川開打,最終IG3:0擊潰FNC拿下冠軍寶座。爲了慶祝勝利,IG背後的老闆王思聰11月6日通過微博發佈冠軍之月慶祝抽獎活動,在轉發/評論/點贊中抽取113個人每個人一萬元現金。

標註結果:

十分相關,提及英雄聯盟、S8、冠軍,能夠回答問題。

2)回答內容樣例二:

全球總決賽(簡稱S8)在韓國火熱開戰,比賽將從10月1日持續到11月3日,爲今年最長的國際賽事賽程,24支世界最頂級的LOL隊伍將爭奪2018年最高的榮譽S8召喚師英雄獎盃。LPL賽區的三支隊伍RNG、EDG、IG戰隊作爲中國代表隊赴韓征戰,目前IG戰隊已順利挺進決賽,這是LPL時隔四年再一次挺進全球總決賽的決賽舞臺。

標註結果:

一般相關,提及英雄聯盟、S8,不能夠回答問題。

3)回答內容樣例三:

5月22日,《英雄聯盟》2017年季中冠軍賽在巴西里約熱內盧落下帷幕,韓國戰隊SKT以3:1的比分擊敗歐洲黑馬戰隊G2,蟬聯季中賽冠軍,戰隊成員Faker從傳奇足球明星羅納爾多手中接過獎盃。

標註結果:

略微相關,提及英雄聯盟,不能夠回答問題。

4)回答內容樣例四:

DOTA2領域中國戰隊實力強勁中國的電子競技戰隊在世界賽場上一直保持着很強的競爭力,而在DOTA2領域,甚至有着統治級的表現。

標註結果:

不相關,問題和內容完全不相關。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章