源地址 ： http://www.kddchina.com/article-49-1.html
|
個性化推薦很多人都知道，但其中不乏認識上的誤區。有的人覺得個性化推薦就是細分市場和精準營銷，實際上細分市場和精準營銷往往是把潛在的用戶分成很多羣體，這固然相比基於全體的統計有了長足的進步，但是距離“給每一個用戶量身定做的信息服務”還有很大的差距，所以，只能說個性化推薦是細分市場的極致！還有人覺得個性化推薦就等同於協同過濾，這可能是因爲協同過濾應用比較廣泛並且比較容易爲大衆理解，實際上協同過濾只是個性化推薦技術中的一個成員。它與很多技術相比，就好像流行歌曲和高雅音樂，前者廣受歡迎，而且一般人也可以拿個麥克風吼兩聲，但是說到藝術高度，流行歌曲還是要差一些。所以，協同過濾只是個性化推薦技術中的一款輕武器，遠遠不等於個性化推薦技術本身。有些人認爲個性化推薦技術的研究已經進入了很成熟的階段，沒有什麼特別激動人心的問題和成果。恰恰相反，現在個性化推薦技術面臨很大的挑戰，這也是本文力圖讓大家認識的。
有些朋友可能不是很瞭解個性化推薦，我先推薦一些閱讀的材料。中文的綜述可以看我們2009年在《自然科學進展》上的綜述[1]。這篇文章質量不能說很好，但是可以比較快得到很多信息，瞭解個性化推薦研究的概貌。有了這個基礎，如果想要了解一個應用級別的算法和技術，我推薦項亮、陳義和王益合著的《推薦系統實踐》。我們自己寫過一本名爲《個性化：商業的未來》的小冊子[3]，應用場景和商業模式介紹得比較細緻，技術上設計很少，附錄裏面介紹了一些主流算法和可能的缺陷，或許能夠稍有啓發。國外的專著建議關注最近出版的兩本[4,5]，其中[4]實際上是很多文章的彙總，因爲寫這些文章的都是達人，所以質量不錯。Adomavicius和Tuzhilin的大型綜述特別有影響力，不僅系統回顧了推薦系統研究的全貌，還提出了一些有趣的開放性問題[6]。我個人不是很喜歡他們對於推薦系統的分類方法，但是我自己是看着這個綜述入門的，所以感情很深。我們今年在《物理報導》上面有一篇大綜述，應該是目前最全面的綜述，所強調的不僅僅是算法，還有很多現象和思路[7]——大家有興趣不妨踩踩。
接下來進入正題！我將列出十個挑戰（僅代表個人觀點），其中有一些是很多年前就認識到但是沒有得到解決的長期問題，有一些事實上不可能完全解決，只能提出改良方案，還有一些是最近的一些研究提出來的焦點問題。
挑戰一：數據稀疏性問題。現在待處理的推薦系統規模越來越大，用戶和商品（也包括其他物品，譬如音樂、網頁、文獻……）數目動輒百千萬計，兩個用戶之間選擇的重疊非常少。如果用用戶和商品之間已有的選擇關係佔所有可能存在的選擇關係的比例來衡量系統的稀疏性，那麼我們平時研究最多的MovieLens數據集的稀疏度是4.5%，Netflix是1.2%，這些其實都是非常密的數據了，Bibsonomy是0.35%，Delicious是0.046%。想想淘寶上號稱有8億商品，平均而言一個用戶能瀏覽800件嗎，我估計不能，所以稀疏度應該在百萬分之一或以下的量級。數據非常稀疏，使得絕大部分基於關聯分析的算法（譬如協同過濾）效果都不好。這個問題本質上是無法完全克服的，爲了解決這個問題，也有很多辦法，譬如可以通過擴散的算法，從原來的一階關聯（兩個用戶有多少相似打分或者共同購買的商品）到二階甚至更高階的關聯（假設關聯性或者說相似性本身是可以傳播的）[8]，也可以添加一些缺省的打分[9]，從而提高相似性的分辨率。數據規模越大，一般而言越稀疏，現在能夠處理稀疏數據的算法被認爲是更有前途的（譬如擴散[8]、迭代尋優[10]，轉移相似性[11]等等）。
挑戰二：冷啓動問題。新用戶因爲罕有可以利用的行爲信息，很難給出精確的推薦。反過來，新商品由於被選擇次數很少，也難以找到合適的辦法推薦給用戶。一種辦法是利用文本信息進行輔助推薦，或者通過註冊以及詢問得知一些用戶的屬性信息，譬如年齡、居住城市、受教育程度、性別、職業等等[12,13]。最近標籤系統（tagging systems）的廣泛應用提供瞭解決冷啓動問題的可能方案[14]，因爲標籤既可以看作是商品內容的萃取，同時也反映了用戶的個性化喜好——譬如對《桃姐》這部電影，有的人打上標籤“倫理”，有的人打上標籤“劉德華”，兩個人看的電影一樣，但是興趣點可能不盡相同。當然，利用標籤也只能是提高有少量行爲的用戶的推薦準確性，對於純粹的冷啓動用戶，是沒有幫助的，因爲這些人還沒有打過任何標籤。有趣的是，最近的研究顯示，新用戶更容易選擇特別流行的商品[15]——這無論如何是一個好消息，說明使用熱銷榜也能獲得不錯的結果。冷啓動問題還可以通過多維數據的交叉推薦部分解決，其精確度和多樣性又遠勝於熱銷榜，這一點我們在後面會進一步介紹。
挑戰三：大數據處理與增量計算問題。儘管數據很稀疏，大部分數據都擁有百千萬計的用戶和商品，因此，如何快速高效處理這些數據成爲迫在眉睫的問題，而算法時間和空間的複雜性，尤其是前者，獲得了空前重視。一個高效的算法，要麼複雜性很低，要麼能夠很好並行化，要麼兩者兼具。局部擴散算法在這兩個方面都具有明顯優勢[16]！另外一條可能的解決之道，是設計增量算法，也就是說當產生新用戶，新商品以及新的連接關係時，算法的結果不需要在整個數據集上重新進行計算，而只需要考慮所增加節點和連邊局部的信息，對原有的結果進行微擾，快速得到新結果[17]。一般而言，這種算法隨着加入的信息量的增多，其誤差會積累變大，最終每過一段時間還是需要利用全局數據重新進行計算。一個特別困難的挑戰，使如何設計一種算法，能夠保證其誤差不會累積，也就是說其結果與利用全部數據重新計算的結果之間的差異不會單調上升。我們把這種算法叫做自適應算法，它是增量算法的一個加強版本[18]，其設計要求和難度更高。增量算法已經在業界有了應用，譬如百分點科技推薦引擎中的若干算法都採用了增量技術，使得用戶每次新瀏覽收藏或者購買商品後其推薦列表立刻得到更新。當然，該引擎也只是部分算法實現了增量技術，更沒有達到所有算法都能夠自適應學習的程度，還有很長的路要走。
挑戰四：多樣性與精確性的兩難困境。如果要給用戶推薦他喜歡的商品，最“保險”的方式就是給他特別流行或者得分特別高的商品，因爲這些商品有更大的可能性被喜歡（至少貝葉斯會這麼想），往壞了說，也很難特別被討厭。但是，這樣的推薦產生的用戶體驗並不一定好，因爲用戶很可能已經知道這些熱銷流行的產品，所以得到的信息量很少，並且用戶不會認同這是一種“個性化的”推薦。事實上，Mcnee等人已經警告大家，盲目崇拜精確性指標可能會傷害推薦系統——因爲這樣可能會導致用戶得到一些信息量爲0的“精準推薦”並且視野變得越來越狹窄[19]。讓用戶視野變得狹窄也是協同過濾算法存在的一個比較主要的缺陷。與此同時，應用個性化推薦技術的商家，也希望推薦中有更多的品類出現，從而激發用戶新的購物需求。遺憾的是，推薦多樣的商品和新穎的商品與推薦的精確性之間存在矛盾，因爲前者風險很大——一個沒什麼人看過或者打分較低的東西推薦出手，很可能被用戶憎惡，從而效果更差。很多時候，這是一個兩難的問題，只能通過犧牲多樣性來提高精確性，或者犧牲精確性來提高多樣性。一種可行之策是直接對推薦列表進行處理，從而提升其多樣性[20-22]。目前百分點推薦引擎所使用的方法也是類似的。這種方法固然在應用上是有效的，但是沒有任何理論的基礎和優美性可言，只能算一種野蠻而實用的招數。我們發現，通過精巧混合精確性高和多樣性好的兩種算法，可以同時提高算法的多樣性和精確性，不需要犧牲任何一方[23]。遺憾的是，我們還沒有辦法就這個結果提供清晰的解讀和深刻的見解。多樣性和精確性之間錯綜複雜的關係和隱匿其後的競爭，到目前爲止還是一個很棘手的難題。
挑戰五：推薦系統的脆弱性問題。受推薦系統在電子商務領域重大的經濟利益的驅動，一些心懷不軌的用戶通過提供一些虛假惡意的行爲，故意增加或者壓制某些商品被推薦的可能性[24]。因此，一個算法能否在一定程度上保持對惡意攻擊的魯棒性，成爲需要認真考慮的一個特徵。以最簡單的關聯規則挖掘算法爲例，Apriori算法的魯棒性就遠勝於k近鄰算法[25]。有一些技術已經被設計出來提高推薦系統面對惡意攻擊的魯棒性，譬如通過分析對比真實用戶和疑似惡意用戶之間打分行爲模式的差異，提前對惡意行爲進行判斷，從而阻止其進入系統或賦予疑似惡意用戶比較低的影響力[26-28]。總體來說，這方面的研究相對較少，系統性的分析還很缺乏，反而是攻擊策略層出不窮，有一種“道高一尺，魔高一丈”的感覺。僅Burke等人2011年的研究報告中就分析了4大種類8種不同的攻擊策略[29]。
挑戰六：用戶行爲模式的挖掘和利用。深入挖掘用戶的行爲模式有望提高推薦的效果或在更復雜的場景下進行推薦。譬如說，新用戶和老用戶具有很不一樣的選擇模式：一般而言，新用戶傾向於選擇熱門的商品，而老用戶對於小衆商品關注更多[15]，新用戶所選擇的商品相似度更高，老用戶所選擇的商品多樣性較高[30]。有些混合算法可以通過一個單參數調節推薦結果的多樣性和熱門程度[23]，在這種情況下就可以考慮爲給不同用戶賦予不同參數（從算法結果的個性化到算法本身的個性化），甚至允許用戶自己移動一個滑鈕調節這個參數——當用戶想看熱門的時候，算法提供熱門推薦；當用戶想找點很酷的產品時，算法也可以提供冷門推薦。用戶行爲的時空統計特性也可以用於提高推薦或者設計針對特定場景的應用。用戶的選擇可能同時蘊含了長期的興趣和短期的興趣，通過將這兩種效應分離出來，可以明顯提高推薦的精確度[31-33]。事實上，簡單假設用戶興趣隨時間按照指數遞減，也能夠得到改進的推薦效果[34,35]。利用手機上網現在已經越來越普及，與此同時，嵌入GPS的手機越來越多，因此，基於位置的服務成爲一個受到學術界和業界廣泛關注的問題。基於位置信息的推薦可能會成爲個性化推薦的一個研究熱點和重要的應用場景，而這個問題的解決需要能夠對用戶的移動模式有深入理解[36,37]（包括預測用戶的移動軌跡和判斷用戶在當前位置是否有可能進行餐飲購物活動等），同時還要有定量的辦法去定義用戶之間以及地點之間的相似性[38,39]。另外，不同用戶打分的模式也很不一樣[40,41]，用戶針對不同商品的行爲模式也不一樣[42,43]（想象你在網上下載一首歌和團購房子時的區別），這些都可以用來提高推薦的效果。
挑戰七：推薦系統效果評估。推薦系統的概念提出已經有幾十年了，但是怎麼評價推薦系統，仍然是一個很大的問題。常見的評估指標可以分爲四大類，分別是準確度、多樣性、新穎性和覆蓋率，每一類下轄很多不同的指標，譬如準確度指標又可以分爲四大類，分別是預測評分準確度、預測評分關聯、分類準確度、排序準確度四類。以分類準確度爲例，又包括準確率、召回率、準確率提高率、召回率提高率、F1指標和AUC值。朱鬱筱和呂琳媛總結了文獻中曾經出現過的幾乎所有的推薦系統指標[44]，這些指標都是基於數據本身的指標，可以認爲是第一層次。實際上，在真實應用時，更爲重要的是另外兩個層次的評價，第二個層次是商業應用上的關鍵表現指標，譬如受推薦影響的轉化率，購買率，客單價，購買品類數等等，第三個層次是用戶真實的體驗。絕大部分研究只針對第一個層次的評價指標，而業界真正感興趣的是第二個層次的評價（譬如到底是哪個指標或者哪些指標組合的結果能夠提高用戶購買的客單價），而第三個層細最難，沒人能知道，只能通過第二層面來估計。如何建立第一層面和第二層面指標之間的關係，就成爲了關鍵，這一步打通了，理論和應用之間的屏障就通了一大半了。
挑戰八：用戶界面與用戶體驗。這個問題更多地不是一個學術性質的問題，而是真實應用的問題。十年前就有學者指出[45,46]，推薦結果的可解釋性，對於用戶體驗有至關重要的影響——用戶希望知道這個推薦是怎麼來的。在這個意義上，協同過濾有明顯的優勢，譬如亞馬遜基於商品的協同過濾在發送推薦的電子郵件時會告訴用戶之所以向其推薦某書，是因爲用戶以前購買過某些書。相對地，矩陣分解或者集成學習算法就很難向用戶解釋推薦結果的起源。用戶更喜歡來自自己朋友的推薦而不是系統的推薦，這一點在後面還會詳細提到。另外，推薦列表往往含有很多項，這些推薦項最好能夠區分成很多類別，不同類別往往來自於不同的推薦方法，譬如看過還看過（瀏覽過本商品的客戶還瀏覽過的商品）、買過還買過（購買過本商品的客戶還購買過的商品）、看過最終購買（瀏覽過本商品的客戶最終購買的商品）、個性化熱銷榜（個性化流行品推薦）、猜你喜歡（個性化冷門商品推薦）等等。當然，如何更好呈現推薦，是一個很難建立理論模型和進行量化的問題，對於不同被推薦品而言，用戶界面設計的準則也可能大不相同。建立一個可以進行A/B測試的系統，或可積累重要的實驗數據。
挑戰九：多維數據的交叉利用。目前網絡科學研究一個廣受關注的概念是具有相互作用的網絡的結構和動力學。網絡與網絡之間的相互作用大體可以分成三類：一類是依存關係[47]，譬如電力網絡和Internet，如果發生了大規模停電事故，當地的自主系統和路由器也會受到影響，導致網絡局部中斷；第二類是合作關係[48]，譬如人的一次出行，可以看作航空網絡、鐵路網絡和公路網絡的一次合作；第三類是交疊關係[49]，主要針對社會網絡，這也是我們最關注的。我們幾乎每一個人，都參與了不止一個大型的社會網絡中，譬如你可能既有新浪微博的帳號，又是人人網的註冊用戶，還是用手機，那麼你已經同時在三個巨大的社會網絡中了。與此同時，你可能還經常在淘寶、京東、麥包包、1號店、庫巴網……這些地方進行網購，那麼你也是一張巨大的用戶-商品二部分圖中的一員。想象如果能夠把這些網絡數據整合起來，特別是知道每個節點身份的對應關係（不需要知道你真實身份，只需要知道不同網絡中存在的一些節點是同一個人），其中有特別巨大的社會經濟價值。舉個例子，你可能已經在新浪微博上關注了很多數據挖掘達人的微博，並且分享了很多算法學習的心得和問題，當你第一次上當當網購書的時候，如果主頁向你推薦數據挖掘的最新專著並附有折扣，你會心動嗎？交疊社會關係中的數據挖掘，或稱多維數據挖掘，是真正有望解決系統內部冷啓動問題的終極法寶——只要用戶在系統外部的其他系統有過活動。單純從個性化商品推薦來講，可以利用用戶在其他電商的瀏覽購買歷史爲提高在目標電商推薦的精確度——當然，每一個電商既是付出者，也是獲利者，總體而言，大家能夠通過提高用戶體驗和點擊深度實現共贏。與此同時，可以利用微博和其他社會網絡的活動提高商品推薦的精度，還可以反過來利用商品瀏覽歷史提高微博關注對象推薦的精度。給一個經常購買專業羽毛球和瀏覽各種專業羽毛球設備的用戶推薦關注羽毛球的專業選手和業餘教練成功率應該很高，而且不會陷入“總在一個圈子裏面來回推薦”的毛病中。 從機器學習的角度，楊強等人提出的“遷移學習”算法有望移植來解決這種跨鄰域的推薦[50]。我們分析了百分點科技服務客戶的真實數據，發現有相當比例的用戶都具有交叉購物的習慣（在多個獨立B2C電商有瀏覽和購買行爲）[51,52]。即便只考慮兩個點上，例如利用麥包包的瀏覽購買數據爲名鞋庫的用戶進行個性化推薦（這些用戶在名鞋庫上是沒有任何歷史記錄的新用戶，但是在麥包包上有瀏覽購買行爲），就可以明顯提高推薦的準確度[51]（比完全冷啓動的隨機推薦高數十倍），而如果利用3家或以上的外部電商的數據，其推薦的精確度可以明顯高於熱銷榜（注意，熱銷榜一點個性化都沒有），特別在團購類網站上表現非常好[52]。雖然針對多維數據挖掘的研究剛剛起步，但是我完全相信這在學術和應用上都將是一個焦點和難點。
挑戰十：社會推薦。很早以前，研究人員就發現，用戶更喜歡來自朋友的推薦而不是被系統“算出來的推薦”[53]。社會影響力被認爲比歷史行爲的相似性更加重要[54,55]，例如通過社會關係的分析，可以大幅度提高從科研文獻[56]到網購商品[57]推薦的精確度。來自朋友的社會推薦有兩方面的效果：一是增加銷售（含下載、閱讀……）[58]，二是在銷售後提高用戶的評價[59]。社會推薦的效果也不完全是正面的，譬如Leskovec等人[58]在同一篇論文中也報導了一個反例：朋友推薦對書的銷售增長幾乎沒有幫助，有時候還會起到負面作用。國內業界做得最出色的是豆瓣網，其朋友推薦被接受被高度評價的比例非常高，我們的研究也主要是基於豆瓣網的數據[59]。最近有證據顯示，朋友推薦也是淘寶商品銷售一個非常重要的驅動力量[60]。在社會推薦方向存在的挑戰主要可以分爲三類：一是如何利用社會關係提高推薦的精確度[55]，二是如何建立更好的機制以促進社會推薦[61,62]，三是如何將社會信任關係引入到推薦系統中[63,64]。社會推薦的效果可能來自於類似口碑傳播的社會影響力，也可能是因爲朋友之間本來就具有相似的興趣或者興趣相投更易成爲朋友，對這些不同的潛在因素進行量化區別，也屬學術研究的熱點之一[65]。
參考文獻：
[1]劉建國，周濤，汪秉宏，個性化推薦系統的研究進展，自然科學進展 19 (2009) 1-15. [2] 項亮，陳義，王益，推薦系統實踐，圖靈出版社，2012. [3] 蘇萌，柏林森，周濤，個性化：商業的未來，機械工業出版社，2012. [4] F. Ricci, L. Rokach, B. Shapira, P. B. Kantor, Recommender Systems Handbook: A Complete Guide for Scientists and Practioners, Springer, 2011. [5] D. Jannach, M. Zanker, A. Felfernig, G. Friedrich. Recommender Systems: An Introduction. Cambridge University Press, 2011. [6] G. Adomavicius, A. Tuzhilin, Toward the next generation of recommender systems: a survey of the state-of-the-art and possible extensions, IEEE Transactions on Knowledge and Data Engineering 17 (2005) 734-749. [7] L. Lü, M. Medo, C. H. Yeung, Y.-C. Zhang, Z.-K. Zhang, T. Zhou, Recommender Systems, Physics Reports (to be published). http://dx.doi.org/10.1016/j.physrep.2012.02.006 [8] Z. Huang, H. Chen, D. Zeng, Applying associative retrieval techniques to alleviate the sparsity problem in collaborative filtering, ACM Transactions on Information Systems 22 (2004) 116-142. [9] J. S. Breese, D. Heckerman, C. Kadie, Empirical analysis of predictive algorithms for collaborative filtering, in: Proceedings of the 14th Conference on Uncertainty in Artificial Intelligence, 1998, pp. 43-52. [10] J. Ren, T. Zhou, Y.-C. Zhang, Information filtering via self-consistent refinement, EPL 82 (2008) 58007. [11] D. Sun, T. Zhou, J.-G. Liu, R.-R. Liu, C.-X. Jia, B.-H. Wang, Information filtering based on transferring similarity, Physical Review E 80 (2009) 017101. [12] A. I. Schein, A. Popescul, L. H. Ungar, D. M. Pennock, Methods and metrics for cold-start recommendations, in: Proceedings of the 25th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, ACM Press, New York, 2002, pp. 253-260. [13] X. N. Lam, T. Vu, T. D. Le, A. D. Duong, Addressing cold-start problemin recommendation systems, in: Proceedings of the 2nd International Conference on Ubiquitous Information Management and Communication, 2008, pp. 208-211. [14] Z.-K. Zhang, C. Liu, Y.-C. Zhang, T. Zhou, Solving the cold-start problem in recommender systems with social tags, EPL 92 (2010) 28002. [15] C.-J. Zhang, A. Zeng, Behavior patterns of online users and the effect on information filtering, Physica A 391 (2012) 1822-1830. [16] T. Zhou, J. Ren, M. Medo, Y.-C. Zhang, Bipartite network projection and personal recommendation, Physical Review E 76 (2007) 046115. [17] B. Sarwar, J. Konstan, J. Riedl, Incremental singular value decomposition algorithms for highly scalable recommender systems, in: International Conference on Computer and Information Science, 2002, pp. 27-28. [18] C.-H. Jin, J.-G. Liu, Y.-C. Zhang, T. Zhou, Adaptive information filtering for dynamics recommender systems, arXiv:0911.4910. [19] S.M. Mcnee, J. Riedl, J.A. Konstan, Being accurate is not enough: how accuracy metrics have hurt recommender systems, in: Proceedings of the CHI'06 Conference on Human Factors in Computing Systems, ACM Press, New York, 2006, pp. 1097-1101. [20] B. Smyth, P. Mcclave, Similarity vs. diversity, in: D.W. Aha, I. Watson (Eds.), Case-Based Reasoning Research and Development, Springer, 2001, pp. 347-361. [21] C.-N. Ziegler, S.M. Mcnee, J.A. Konstan, G. Lausen, Improving recommendation lists through topic diversification, in: Proceedings of the 14th International Conference on World Wide Web, ACM Press, New York, 2005, pp. 22-32. [22] N. Hurley,M. Zhang, Novelty and diversity in top-N recommendation—analysis and evaluation, ACMTransactions on Internet Technology 10 (2011) 14. [23] T. Zhou, Z. Kuscsik, J.-G. Liu, M. Medo, J.R. Wakeling, Y.-C. Zhang, Solving the apparent diversity–accuracy dilemma of recommender systems, Proceedings of the National Academy of Sciences of the United States of America 107 (2010) 4511-4515. [24] B. Mobasher, R. Burke, R. Bhaumik, C. Williams, Towards trustworthy recommender systems: an analysis of attackmodels and algorithm robustness, ACM Transactions on Internet Technology 7 (2007) 23. [25] J. J. Sandvig, B. Mobasher, R. Burke, Robustness of collaborative recommendation based on association rule mining, in: Proceedings of the 2007 ACM Conference on Recommender Systems, ACM Press, 2007, pp. 105-112. [26] S. K. Lam, D. Frankowski, J. Riedl, Do You Trust Your Recommendations? An Exploration of Security and Privacy Issues in Recommender Systems, in: Lecture Notes in Computer Science, vol. 3995, Springer, Heidelberg, Germany, 2006, pp. 14-29. [27] P. Resnick, R. Sami, The influence limiter: provably manipulation-resistant recommender systems, in: Proceedings of the 2007 ACM Conference on Recommender Systems, ACM Press, 2007, pp. 25-32. [28] C. Shi, M. Kaminsky, P. B. Gibbons, F. Xiao, DSybil: Optimal Sybil-Resistance for Recommendation Systems, IEEE Press, 2009, pp. 283-298. [29] R. Burke, M. P. O'mahony, N. J. Hurley, Robust Collaborative Recommendation, in: F. Ricci, L. Rokach, B. Shapira, P. B. Kantor (Eds.), Recommender Systems Handbook, Part 5, Springer, 2011, pp. 805-835 (Chapter 25). [30] M.-S. Shang, L. Lü, Y.-C. Zhang, T. Zhou, Empirical analysis of web-based user-object bipartite networks, EPL 90 (2010) 48006. [31] S.-H. Min, I. Han, Detection of the customer time-variant pattern for improving recommender systems, Expert Systems with Applications 28 (2005) 189-199. [32] L. Xiang, Q. Yuan, S. Zhao, L. Chen, X. Zhang, Q. Yang, J. Sun, Temporal recommendation on graphs via long-and short-term preference fusion, in: Proceedings of the 16th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, ACM Press, New York, 2010, pp. 723-732. [33] N. N. Liu, M. Zhao, E. Xiang, Q. Yang, Online evolutionary collaborative filtering, in: Proceedings of the 4th ACM Conference on Recommender Systems, ACM Press, New York, 2010, pp. 95-102. [34] J. Liu, G. Deng, Link prediction in a user-object network based on time-weighted resource allocation, Physica A 39 (2009) 3643-3650. [35] Y. Koren, Collaborative filtering with temporal dynamics, in: Proceedings of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, ACM Press, New York, 2009, pp. 447-456. [36] C. Song, Z. Qu, N. Blumm, A.-L. Barabási, Limits of predictability in human mobility, Science 327 (2010) 1018-1021. [37] E. Cho, S.A. Myers, J. Leskovec, Friendship and mobility: user movement in location-based social networks, in: Proceedings of the 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, ACM Press, New York, 2011, pp. 1082-1090. [38] V. W. Zheng, Y. Zheng, X. Xie, Q. Yang, Collaborative location and activity recommendations with GPS history data, in: Proceedings of the 19th International Conference on World Wide Web, ACM Press, New York, 2010, pp. 1029-1038. [39] M. Clements, P. Serdyukov, A. P. De Vries, M. J. T. Reinders, Personalised travel recommendation based on location co-occurrence, arXiv:1106.5213. [40] Y. Koren, J. Sill, OrdRec: An ordinal model for predicting personalized item rating distributions, Proc. 5th ACM Conference on Recommender Systems, ACM Press, New York, 2011, pp. 117-124. [41] Z. Yang, Z.-K. Zhang, T. Zhou, Uncovering Voting Patterns in Recommender Systems (unpublished). [42] J. Vig, S. Sen, J. Riedl, Navigation the tag genome, in: Proceedings of the 16th International Conference on Intelligent User Interfaces, ACM Press, New York, 2011, pp. 93-102. [43] L. Chen, P. Pu, Critiquing-based recommenders: survey and emerging trends, User Modeling and User-Adapted Interaction 22 (2012) 125-150. [44] 朱鬱筱，呂琳媛，推薦系統評價指標綜述，電子科技大學學報（已接收）. [45] R. Sinha, K. Swearingen, The role of transparency in recommender systems, in: Proceedings of the CHI'06 Conference on Human Factors in Computing Systems, 2002, pp. 830-831. [46] A. D. J. Cooke, H. Sujan, M. Sujan, B. A. Weitz, Marketing the unfamiliar: the role of context and item-specific information in electronic agent recommendations, Journal of Marketing Research 39 (2002) 488-497. [47] S. V. Buldyrev, R. Parshani, G. Paul, H. E. Stanley, S. Havlin, Catastrophic cascade of failures in interdependent networks, Nature 464 (2010) 1025-1028. [48] C.-G. Gu, S.-R. Zou, X.-L. Xu, Y.-Q. Qu, Y.-M. Jiang, D.-R. He, H.-K. Liu, T. Zhou, Onset of cooperation between layered networks, Physical Review E 84 (2011) 026101. [49] M. Mognani, L. Rossi, The ML-model for multi-layer social networks, 2011 International Conference on Advances in Social Networks Analysis and Mining, IEEE Press, 2011, pp. 5-12. [50] S. J. Pan, Q. Yang, A survey on transfer learning, IEEE Transactions on Knowledge and Data Engineering 22 (2010) 1345-1359. [51] 張亮，柏林森，周濤，基於跨電商行爲的交叉推薦算法，電子科技大學學報（已接收）. [52] T. Zhou, L. Zhang, L.-S. Bai, L. |
