對用戶沉澱的海量歷史行爲數據進行充分的理解和學習，是電商、信息流、短視頻推薦這類強用戶行爲反饋驅動的應用中，近幾年技術研發的關鍵方向，尤其在CTR模型這個領域，更是關鍵的勝負手。
以淘寶爲例，大量用戶在網站上沉澱了長達數年甚至十幾年的歷史行爲數據：平均每個用戶每年產生的點擊量超過10000，更不用提其中高頻用戶的活躍行爲。然而，如何建模這種超長行爲序列的數據，學術界和工業界都還在早期摸索階段。傳統的如LSTM、Transformer等序列建模的技術，普遍適用於序列數據長度在100以內的情況，當序列長度提高一個數量級達到1000以上時，就會存在建模困難。此外，即使離線模型能夠處理，如何將模型部署到實際生產系統，在時延和吞吐上都達到工業級標準，更是極具挑戰的難題。18年我們團隊研發上線、19年在KDD上披露的MIMN[1]，是業界首個處理超長行爲序列的工業級解決方案，其提出了一套能夠對長達1000長度的行爲序列數據進行訓練和在線serving的整體解決方案。然而，MIMN算法基於的是memory network算法，在處理更大規模的序列數據時，容易被數據的噪聲干擾、效果很不理想。
2019年，我們從一個全新的視角來思考這個難題，提出並實現了一套基於搜索範式的超長用戶行爲建模新方法。跟以往建模考慮如何提取有效的模式擬合整個樣本的分佈不同，考慮到每個用戶的數據足夠的豐富，我們提出“一人一世界”的全新建模理念：將每個用戶的life-long行爲數據構建成可以被高效檢索的索引庫，在做預估任務時將候選的item信息作爲Query來對用戶的歷史行爲庫做搜索，獲取和此item相關的信息來輔助預估。這樣每個用戶私有的行爲索引庫就類似其大腦裏面存儲的記憶，任何一次預測就是訪問記憶做決策的過程。我們將這個模型命名爲 Search-based user Interest Model（SIM），用於解決工業級應用大規模的用戶行爲建模的挑戰。在我們實際的線上系統中，SIM處理的用戶最長行爲序列長度達到了54000，是過去SOTA的54倍，且這個序列長度可以隨需要進一步擴充。2019年底，SIM正式上線並取得了顯著效果。目前SIM模型已經部署到阿里定向展示廣告各個主要的業務線，成爲新一代主模型。
爲什麼我們持續投入探索用戶的長期行爲建模問題？
互聯網的世界蓬勃發展，用戶每時每刻都在和互聯網世界進行交互，這些交互行爲是用戶意願的表達，是用戶的決策。用戶的行爲數據價值巨大，孕育了多樣的應用和研究，推動了不同領域的技術飛速的發展。比如在淘寶這樣一個電商場景，我們的許多應用都是基於用戶的行爲數據所研發的，如推薦、計算廣告、搜索等。
數據讓電商給用戶帶來了完全不同的體驗，淘寶擁有用戶從初入淘寶開始life-long的行爲數據。通過這些數據，推薦系統可以推測用戶的興趣，給每個用戶個性化的體驗，給用戶展現其可能感興趣的商品，極大的增加了用戶在逛淘寶過程中的信息獲取效率。如圖一所示，我們引入更豐富的用戶數據，對於用戶點擊行爲預估將會更爲準確。
但是電商也有其困境，和傳統的線下購物相比，電商和用戶的交互過程是局部的，收集到的數據偏向於決策結果，是一種局部觀測數據。想象一下線下的購物情景，用戶可以和銷售人員交互，交互的信息不僅僅侷限於對某個商品的點擊、購買與否，還包括一些與用戶個人興趣、喜好、購物目的、預算等決策邏輯相關的豐富信息。
在電商場景，劣勢是我們收集到的數據大部分僅僅是最終的決策結果，優勢是相比線下的情景可以記錄這個用戶life-long的數據。推薦系統需要根據用戶的行爲數據去建模和推測用戶潛在的興趣、喜好、目的等抽象信息，進一步的給用戶個性化的推薦結果。
過去大部分的推薦系統使用的都是用戶局部數據，更具體的是用戶短期數據，如淘寶用戶的平均life-long行爲序列可能長達數萬，過去的算法使用的行爲數據長度卻普遍只有幾十、幾百。如圖二所示，用戶的點擊行爲非常豐富，但是我們模型僅僅只能捕捉到用戶最近的幾十個行爲。這樣的做法沒有真正發揮線上推薦系統的優勢，本就是局部觀測數據的行爲數據僅僅只有很小一部分被使用會帶來許多問題：
- 短期的行爲不能代表用戶，基於此的建模讓用戶很容易被近期熱點和大多數所代表。
- 基於短期行爲的算法無法建模用戶長期以來堅持的興趣，如品質、風格方面長期才能反映的喜好。
- 推薦系統大多數都是data-driven的，本就會形成數據閉環，而基於短期行爲的推薦系統，可能會將自己的“視野”侷限在一個非常窄的範圍內。
長期行爲建模在算法&工業實踐的難點
前文中我們分析了長期行爲建模的重要性，事實上無論是在工業界還是研究界，長期行爲建模都吸引了大量的注意，但真正落實到業界應用的進展還比較有限。這確實是一個挑戰極大的問題，當我們將建模的行爲數據從過去短期的100量級擴充到life-long如接近100000量級，無論是在算法建模層面還是在系統實現上，行爲建模都面臨新的問題。同時算法建模和系統實現的問題又會耦合在一起，讓這個問題挑戰重重卻又魅力無窮。
爲了更簡單和清晰地描述問題，後文我們將把問題的討論範圍縮小到CTR預估問題上。
系統實現的挑戰：
真實系統中CTR預估需要樣本準備、訓練、實時預估服務三個模塊來提供完整的系統服務能力。行爲序列長度的增加會帶來樣本數據的膨脹，意味着存儲和訓練計算開銷的增長。具體來說，如果我們的核心數據和建模計算模塊都在行爲序列上，那麼行爲序列從過去常見的100量級到100000量級將帶來約一千倍的存儲和離線計算增長。當然實際情況會少一些，但也會是一個很誇張的數字。這會讓未來系統的日常維護、更新迭代成本急劇提高。
相比於樣本準備和訓練部分的挑戰，在線實時預估計算服務是一個更大的難題。不同於樣本準備和訓練僅僅面對的是處理量的問題，在線服務還受很強的時間約束，它需要具備高併發且低延時的處理能力。用戶的請求發起後，要求在極短的時間內完成響應，否則便會降低用戶的體驗，甚至錯過這次展示的機會。
比如在我們的系統裏如圖三所示，CTR預估模塊需要對每次請求在幾十ms內完成對幾百上千的候選集的CTR預估計算，而流量高峯時，可能我們需要在短時間內服務幾百上千萬的用戶請求。普遍的系統設計下，在線CTR預估服務需要完成單條請求數據構造、模型參數獲取、模型計算等幾個串行的過程。整個過程涉及在線存儲、通信、計算等資源需求。而傳統的涉及精細用戶建模的CTR預估模型，如DIN/DIEN[2,3]等，其存儲、通信、計算資源的開銷幾乎都隨用戶行爲序列長度線性增長。在經過了非常仔細的系統優化以及設計後，DIN[3]和DIEN[2]能在線處理150左右的序列長度。但如果我們希望建模用戶life-long的行爲序列，如100000量級，在現有的方案下，這是一個遙不可及的目標。
算法建模的挑戰：
超長的行爲序列建模的算法設計也是一個非常困難的問題。想象一下，我們對原始的life-long行爲序列數據直接做建模，系統上，因爲數據規模是不可接受的。很自然的，我們可以考慮預先對行爲序列做一些信息壓縮，比如做一些降維encode。Memory network或者說NTM看起來非常適合處理這樣的問題。
然而實踐過程中，卻有諸多問題：
- 動態數據分佈捕獲問題和一些靜態數據研究問題不一樣。工業界推薦系統要處理的問題並不是在一個固定的數據上去擬合一個確定的ground truth。真實世界的系統中，CTR預估面對的數據分佈是不斷變化的，我們需要不停根據最新的數據來更新模型的參數，讓模型能適應近期數據的分佈。這個需求和encode的思路存在天然的衝突。對行爲序列的encode依賴哪個版本的參數？參數更新後需不需要去重新對行爲序列進行encode？
- 信息遺忘問題。如果模型擬合的目標是當前樣本，對當前樣本有效的encode信息，這個encode結果並不一定對未來的樣本有效，如何讓模型能找到對用戶life-long的行爲序列進行encode並長期持續有效的方法？
- 建模噪聲問題。受限於實際系統使用，encode的空間複雜度是有限的，源於問題1和問題2，又會有新的問題，我們怎麼在有限的encode空間內去建模用戶life-long的行爲序列，表達用戶多個方面的興趣。將用戶的行爲序列encode爲一個固定的向量（或者矩陣，可以展開爲向量），這個用戶向量的表達能力是隨向量的維度增加的。同時其空間複雜度以及後續的計算複雜度也幾乎和向量維度線性相關。也就意味着這是一個表達能力受限的方法。
去年，我們借鑑了NLP領域的memory network思路，在encode這條線路上做了一次嘗試。我們提出MIMN[1]模型，來解決推薦點擊預估領域引入用戶長序列建模帶來的問題。由於用戶興趣狀態隨着用戶新增行爲發生變化，和廣告請求無關。因此我們試圖利用興趣memory來建模用戶的原始行爲，將用戶原始行爲進行歸納和抽象爲用戶抽象的興趣表達。
從工業系統實現上，我們設計了一個UIC模塊將用戶興趣memory計算和廣告請求獨立，從而解決了系統計算時長和行爲長度相關的問題。同時由於UIC內部是增量的更新計算，新的行爲進入後，對於該行爲進行興趣歸納，無需存儲原始的用戶行爲，系統僅需存儲固定大小的用戶抽象的興趣表達memory。因此基於memory-based的MIMN&UIC方案緩解了超長用戶行爲建模在工業生產帶來的壓力。
然而memory-based的模型在將大量用戶行爲壓縮成爲固定大小的興趣memory的過程中，存在信息損失。當用戶行爲膨脹到數萬數十萬時，有限的興趣memory向量維度難以完整記錄用戶原始的行爲信息。與此同時，MIMN難以準確建模用戶和廣告相關的興趣，在面對不同候選廣告提取相關興趣時，由於信息壓縮，單個興趣槽內存在大量噪聲。因此從算法角度，memory-based的模型很難精確刻畫用戶在預估廣告上的興趣表達。
既然對於用戶行爲進行抽象歸納和建模存在信息損失，同時在表達動態的用戶興趣時還存在噪聲，那麼我們能否直接從原始的用戶行爲角度出發，根據原始的用戶行爲建模和預估廣告相關的用戶興趣？
DIN[3]直接利用用戶原始的行爲，根據預估廣告採用遍歷的方式，從用戶原始行爲中捕捉和候選廣告相關的行爲進行動態用戶興趣表達建模。但是在生產上存儲和計算壓力下，DIN[3]很難直接對於上萬的用戶序列行爲進行搜索。
因此我們從單個用戶的視角，對於單用戶行爲進行結構化的組織，試圖打破原來遍歷方式帶來的計算和存儲壓力。我們試圖利用用戶數萬的歷史行爲，來完整的對於單個用戶在淘寶上的全週期興趣進行建模，試圖打造出用戶在電商場景上的“一人一世界”的預估模式。我們利用預估廣告和用戶的信息作爲query從我們構造的單用戶數據庫中快速檢索到相關的用戶行爲，直接在原始用戶行爲數據上建模用戶在當前廣告上的動態興趣表達。爲此我們提出了一個基於搜索的用戶興趣建模範式SIM(Search Interest Model)來解決超長用戶行爲建模中的計算和存儲挑戰。
SIM借鑑了DIN[3]中通過候選廣告搜索相關用戶行爲的方法。在SIM，我們利用兩個階段來捕捉用戶在廣告上的精準興趣表達：
(1) 第一階段我們提出了GSU(General Search Unit) 從原始的超長用戶行爲中根據廣告信息搜索到和廣告相關的用戶行爲。由於在線的計算和服務時長的限制，GSU採用了比較簡單但是有效的方法來提取相關用戶行爲。搜索後的用戶行爲數據能夠由原來的上萬長度降低到數百長度，與此同時大部分和當前廣告無關的信息都會被過濾。
(2) 第二階段我們提出ESU(Exact Search Unit) 利用第一階段提取出和廣告相關的用戶行爲和候選的廣告信息來精準建模用戶的多樣興趣。在ESU中，我們可以採用類似DIN[3]或者DIEN[2]這樣複雜的模型來捕捉用戶和廣告相關的動態興趣表達。
通過我們提出的基於兩階段搜索的用戶興趣建模範式，能很好的緩解超長用行爲建模給在線帶來的壓力。從2019年底，我們就將SIM部署到阿里的定向展示廣告場景，並在信息流場景上取得了很大的提升。目前SIM的方法已經部署到阿里定向展示廣告各個主要的業務線，作爲各個場景的主流量模型服務生產。現階段SIM建模的最長用戶長度能到54000，相比之前MIMN 引入1000長度用戶序列提升了54倍。
算法方案
爲了打破局部用戶行爲數據給推薦系統帶來的侷限性，能夠個性化的建模用戶需求、精準的刻畫用戶偏好，我們引入了超長的用戶行爲數據。我們從全新視角出發提出了一個兩階段搜索範式來建模用戶的超長行爲序列。算法框架如圖四所示。SIM包含兩級檢索模塊General Search Unit (GSU) 和 Exact Search Unit (ESU)。
在第一階段，我們利用General Search Unit (GSU) 從原始用戶行爲中搜索Top-K相關的用戶子序列行爲。這個搜索時間遠低於原始行爲遍歷時間，同時K也比原始用戶行爲小几個數量級。我們在限制的時間內採用了合適且有效的方案來對於超長用戶行爲進行搜索。如圖所示，我們在GSU中提出了兩種搜索方案：sotf-search和hard-search。GSU將原始的用戶行爲從數萬降低到數百，同時還過濾掉了和候選廣告信息不相關的用戶行爲數據。
在第二階段，ESU利用GSU產出的和廣告相關的用戶序列數據來捕捉用戶跟廣告更精準的興趣表達。由於用戶行爲已經降低到數百量級，因此在這個部分我們採用複雜的模型結構來進行建模。
General Search Unit
由於在面對單個候選廣告時，只有部分用戶行爲對當前預估有效，因此我們提出GSU(General Search Unit)來提取超長用戶行爲中和廣告相關的行爲數據，從而降低後續基於長期行爲的用戶興趣建模難度。
我們提出了兩種方案：hard-search 和soft-search。給定用戶行爲$B=[b_1;b_2;…;b_T]$，其中$b_i$代表了用戶第i個行爲，T代表了行爲長度。GSU對於每一個用戶行爲計算一個相關性分數$r_i$。然後根據$r_i$從原始行爲中選出Top-K相關的行爲然後生成一個新的子序列$B^*$。$r_i$的計算方式如下：
hard-search是無參數的。只有和候選廣告類目相同的用戶行爲數據纔會被選出送到下一級進行建模。其中$C_a$代表了候選廣告類目，$C_i$代表了第i個用戶行爲的類目。雖然hard-search是一種基於數據特性的一種比較直觀的方案，但是它非常容易部署到實際工業界在線預估系統。在Soft-search中，我們將用戶序列B行爲映射成爲embedding表達$E=[e_1;2_2;…;e_T]$。$W_b$和$W_a$都是模型參數。其中$e_a$代表了候選廣告embedding，$e_i$代表了第i個用戶行爲embedding。
然後我們採用向量檢索的方式來篩選出top-K和廣告相關的用戶行爲。通過這樣的方式原始行爲序列能夠降低到百量級。由於長期興趣和短期興趣的數據分佈存在差異，我們不能直接採用已經學習充分的短期興趣模型向量來進行相似用戶行爲計算。因此，對於soft-search我們採用了一個輔助CTR任務來學習長期數據和候選廣告之間的相關性。如圖四左面所示。
Exact Search Unit
在第二階段，我們採用GSU篩選出Top-K和廣告相關的用戶行爲子序列$B^*$作爲輸入。我們考慮到我們引入的是超長的用戶行爲序列，用戶行爲間橫跨較長的時間。因此我們將每個用戶行爲引入了一個時間狀態屬性。我們引入用戶行爲時間和當前預估廣告時間差$D=[\Delta_1;\Delta_2;…;\Delta_K]$來表達每個行爲的時間狀態屬性。最後我們利用一個multi-head attention結構來捕捉用戶在廣告上的動態的用戶興趣。其中第一階段和第二階段是採用交叉熵loss聯合學習。Loss函數如下：
工業實現
在工業界，推薦或者廣告系統需要在一秒內處理完大規模在線請求，返回展示結果。所以CTR預估服務需要實時響應，響應時間通常不超過30ms。由於在attention-based模型上系統處理的通信量和用戶行爲長度呈正相關，同時我們的系統在流量高峯將會處理超過100萬的用戶請求，在面對超長用戶行爲序列建模時，在線的響應時長和存儲都倍感壓力。因此將超長用戶行爲算法模型部署到在線CTR預估系統將會面臨很大的挑戰。
如算法部分，我們提出了兩種GSU方案 soft-search和hard-search，並在阿里生產數據集上進行了實驗。我們發現soft-search相比hard-search方式提升微弱，如表三所示。同時我們發現大部分soft-search 中的相似Top-K行爲和ad共享相同的類目。這個是基於阿里場景數據發現的特性，大部分的item在相同的類目下往往比較相似。
考慮到離線效果提升和在線資源開銷的性價比，我們將hard-search方式的SIM部署到我們的在線廣告系統。對於hard-search，我們發現用戶行爲可以直接按照類目進行組織並建立好離線索引，使得在線檢索時間消耗非常小。因此我們構建了一個兩級的索引來組織用戶行爲，取名爲 User Behavior Tree(UBT)（如圖五所示）。
UBT採用Key-Key-Value數據結構來進行存儲：第一級key是用戶ID，第二級key是葉子行爲所屬的類目。我們採用分佈式部署的方式處理22T UBT數據使得它能服務大規模的在線流量請求，並採用廣告類目作爲hard-search檢索query。經過了GSU模塊之後，我們將原始用戶行爲長度從上萬數量級降低到百級。因此在線的對於長序列的存儲壓力得以緩解。圖五顯示了基於SIM改造後的在線RTP系統。
實驗
我們在兩個公開數據集和一個生產數據集分別進行了實驗來證明SIM模型在引入超長用戶行爲後的廣告點擊預估任務中的有效性。表一顯示了各個數據集數據規模具體情況。同時我們還將SIM部署到我們在線系統，將它和我們系統基線模型進行了嚴格的在線A/B test。
在Amazon數據中最大長度爲100，我們將最近10次行爲作爲用戶短期行爲，後面90次行爲作爲用戶長期行爲。Taobao數據集最大長度爲500，我們將前100數據作爲用戶短期行爲，後面400數據作爲用戶長期行爲進行建模。在生產上，我們收集了49天曝光樣本數據，然後利用第50天數據作爲測試。在生產數據中我們將用戶180天行爲數據作爲長期用戶行爲，14天行爲作爲短期用戶行爲。其中超過30%樣本特徵長度超過10000,最長用戶行爲長度爲54000，相比MIMN提升了54倍。
實驗設置如下：
（1）DIN：是我們早期的建模用戶短期興趣的模型。
（2）Avg-Pooling Long DIN：爲了能分析長序列數據帶來的價值，我們將長序列avg pooling處理後和DIN其他特徵concat一起進行建模。
（3）MIMN是我們之前提出基於memory-base的長序列用戶行爲建模方法。
（4）SIM(hard)是GSU採用hard-search的SIM方案。
（5）SIM(soft)是GSU採用soft-search的SIM方案。
（6）SIM(soft/hrad) with Timeinfo是引入時間間隔屬性的SIM方案。
我們在公開數據集Amazon(book)和Taobao進行了實驗對比。實驗結果如表二。
我們可以看到，在公開數據集上，其他引入長期數據模型都比DIN表現更優異。這說明長期用戶行爲數據對於CTR建模很有幫助。同時SIM比MIMN有較大提升，也說明了MIMN將用戶行爲壓縮到memory的方式，候選很難捕捉到精確的用戶相關興趣。其中SIM兩階段方案在所有方法中表現最好。
我們在生產數據上進行了實驗，實驗結果如表三：
我們對於SIM這樣兩階段的檢索方式進行了實驗拆分驗證其有效性，結果如表四所示。
採用SIM的方法都能帶來提升，說明長期用戶行爲內存在和當前預估廣告不相關的噪聲。同時在引入第二階段對於用戶興趣進行精準刻畫之後還能帶來更進一步的提升。
2019年底，我們將SIM模型部署到了生產環境，進行了嚴謹公平的在線A/B test。從2020-01-07到2020-02-07觀察期間，在阿里展示廣告猜你喜歡場景，SIM相比在線主流量模型實現了顯著提升：CTR+7.1%, RPM+4.4%。目前SIM已經覆蓋了淘寶內主要展示廣告場景業務線，成爲了各個業務線主流量模型，每天在線服務。
由於淘寶流量請求非常大，同時我們需要實時響應在線請求，在線工程實現需要考慮到性能問題。對於一個用戶請求，我們需要預估上百個候選廣告，計算量非常大。我們離線構建了一個兩級索引來檢索用戶行爲，索引每天都會更新。儘管我們需要給每個請求預估上百個廣告，但是這些廣告總體類目低於20。同時出於性能考慮我們將每個類目下檢索到的用戶行爲按照200截斷(大部分行爲都會低於150)，通過這樣的方式在線請求的壓力緩解。另外，我們對於mutil-head attention部分的在線計算實現進行了fusion優化。
圖六顯示了目前線上部署的模型在超長用戶行爲建模中的性能。其中MIMN/DIEN是處理1000長度行爲序列時的性能指標。SIM是處理最長用戶行爲長度爲54000的性能指標，計算長度相比DINE/MIMN提升了54倍。SIM能處理超過10000以上的用戶行爲，相比MIMN只增加了5ms。
同時，我們還對SIM給淘寶用戶和推薦系統帶來的影響進行分析。我們將用戶的點擊行爲進行統計，賦予每個點擊行爲一個興趣時長。我們用當前點擊廣告對應的類目信息，對過去這個用戶全網點擊進行比對。如果這個用戶過去15天內的點擊商品都不屬於當前點擊的類目，那麼這個點擊的興趣時長就是15天。按照這樣的方式，我們對於一天的所有用戶行爲點擊都進行了統計，畫出不同興趣時長不同模型的點擊行爲佔比，如圖七所示。
我們發現SIM相比於線上的短期DIEN模型，在較長的興趣時長點擊數量有明顯的提升（其中DIEN和SIM流量大小一樣）。這說明我們的推薦系統的視野變得“開闊”起來，能夠給用戶推薦更長期的商品。同時在推薦長期興趣相關的商品時，能夠準確的對用戶興趣偏好進行精準的刻畫，使得用戶點擊興趣時長變長。
未來工作
我們試圖引入更多的用戶行爲數據來打破對於用戶推薦的侷限性，希望構建一個更加智能的推薦體系。通過對於用戶life-long行爲的建模，從用戶最末端的行爲決策中，透過現象看本質，捕捉到用戶真正進入電商場景內的需求。我們希望能夠充分的尊重用戶，真正獨立打造出“一人一世界”的建模體系。在電商場景內，用戶的需求和偏好不會被大部分的行爲模式所代表，能夠通過用戶自身的大量行爲數據來進行個性化的刻畫。
目前我們僅僅邁出了一小步，引入了更多的用戶行爲數據來表達用戶偏好。不過我們目前的建模方式和參數學習仍然是全庫共享，依靠大數據驅動的方式來進行信息提取。在推薦領域，單用戶單模型的模式還需要進行持續探索和思考，從而實現真正的個性化推薦。
論文原文下載地址：https://arxiv.org/abs/2006.05639
參考文獻：
[1] Qi Pi, Weijie Bian, Guorui Zhou, Xiaoqiang Zhu, and Kun Gai. 2019. Practice on Long Sequential User Behavior Modeling for Click-through Rate Prediction. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. ACM, 1059–1068.
[2] Zhou G, Mou N, Fan Y, et al. Deep interest evolution network for click-through rate prediction[C]//Proceedings of the AAAI conference on artificial intelligence. 2019, 33: 5941-5948
[3] Guorui Zhou, Xiaoqiang Zhu, Chenru Song, Ying Fan, Han Zhu, Xiao Ma, Yanghui Yan, Junqi Jin, Han Li, and Kun Gai. 2018. Deep interest network for click-through rate prediction. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. ACM, 1059–1068.