搜索引擎技術內幕之索引

搜索引擎中索引的好壞直接影響着搜索引擎的性能，最終影響到用戶的體驗，可見索引的重要性。

今天我們就來談談索引技術。談到索引大家第一想到的是倒排索引，的確倒排在全文檢索中的優勢，在搜索引擎中的大量使用令它聲名鵲起。所以在此就以倒排進行分析。但是除了倒排索引外還有很多的索引方式，如靜態索引方式有：位圖、簽名文件、倒排等；動態索引有：B樹、B+樹等等。

搜索引擎之所以大量使用倒排作爲它內部的索引結構，本人覺得主要有兩個原因：

1、容易實現、存儲簡單，更重要的一點是方便進行rank排序，當然還包括倒排列表可以壓縮。像位圖和簽名文件就沒有rank排序和壓縮的優勢。

2、方便查詢結果處理，很容易實現布爾計算。現今的主流搜索引擎用的本質計算都屬於布爾計算。如要查詢包含A和B的文檔，其實質是先找出包含A的文檔列表，再找出包含B的文檔列表，最後把那些既在列表A又在列表B的文檔作爲結果返回。其實質就是進行一個合取查詢操作。

 

下面就以簡單的程序方式來說明到排索引(基於內存的索引)的原理：

import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Scanner; import java.util.Set; import java.util.TreeSet; import java.util.regex.Matcher; import java.util.regex.Pattern; public class ReverseIndex { /** * 字典.<術語,倒排列表> */ private static Map<String,Set<Node>> dictionary = new HashMap<String,Set<Node>>(); private static Pattern extraPattern = Pattern.compile("(//w+)"); public void addTerm(String term){ if (term != null) { term = term.trim().toLowerCase(); //大小寫摺疊 if (! dictionary.containsKey(term)) { dictionary.put(term, new TreeSet<Node>()); } } } //建立倒排列表 private void index(String term,Integer doc,int f){ term = term.toLowerCase(); Set<Node> reverseList = dictionary.get(term); if(reverseList !=null){ reverseList.add(new Node(doc,f)); } } /** * 這一步其實屬於關鍵詞抽取，在搜索引擎中由專門的抽取程序處理。 * @param txt 要建索引的文檔 * @param doc 文檔編號 */ public void buildIndex(String txt,Integer doc){ if(txt == null) return; Matcher m = extraPattern.matcher(txt); Map<String,Integer> map = new HashMap<String, Integer>(); while(m.find()){ //算沒個詞條的頻率，準備使用座標匹配的rank String t = m.group(1); if(! map.containsKey(t)) map.put(t, 1); else map.put(t, map.get(t) + 1); } for (Map.Entry<String, Integer> entry : map.entrySet()) { index(entry.getKey(),doc,entry.getValue()); } } /* * 對查詢結果進行布爾查詢中的合取操作 */ private Set<Node> mergeResult(List<Set<Node>> queryResult){ if(queryResult == null || queryResult.size() == 0){ return new TreeSet<Node>(); } Set<Node> min = null; for (Set<Node> set : queryResult) { //選擇元素最少的查詢列表，這樣可以減少合取時計算量 if(min == null){ min = set; }else if(min.size() > set.size()){ min = set; } } Set<Node> ret = new TreeSet<Node>(); for (Node n : min) { ret.add(n); } for (Node n : min) { for (Set<Node> set : queryResult) { if(min == set){ continue; }else if(! set.contains(n)){ ret.remove(n); //如果在此查詢詞中不包括文檔號，則直接刪除此文檔 break; } } } return ret; } /** * 查詢包含查詢術語query的文檔 * @param query * @return 文檔列表 */ public Node[] retrieve(String query){ if(query ==null) return new Node[0]; query = query.trim().toLowerCase(); if(query.length() ==0) return new Node[0]; String[] terms = query.split("//s+"); List<Set<Node>> queryResults = new ArrayList<Set<Node>>(); for (String t : terms) { Set<Node> reverseList = dictionary.get(t); if (reverseList != null) { queryResults.add(reverseList); } } Set<Node> result = mergeResult(queryResults); return result.toArray(new Node[result.size()]); } /** * @param args */ public static void main(String[] args) { String books = "This distribution includes cryptographic software. The country in /n" + "which you currently reside may have restrictions on the import, /n" + "possession, use, and/or re-export to another country, of /n" + "encryption software. BEFORE using any encryption software, please /n" + "check your country's laws, regulations and policies concerning the /n" + "import, possession, or use, and re-export of encryption software, to /n" + "see if this is permitted. See <http://www.wassenaar.org/> for more /n" + "information. /n" + "The U.S. Government Department of Commerce, Bureau of Industry and /n" + "Security (BIS), has classified this software as Export Commodity /n" + "Control Number (ECCN) 5D002.C.1, which includes information security /n" + "software using or performing cryptographic functions with asymmetric /n" + "algorithms. The form and manner of this Apache Software Foundation /n" + "distribution makes it eligible for export under the License Exception /n" + "ENC Technology Software Unrestricted (TSU) exception (see the BIS /n" + "Export Administration Regulations, Section 740.13) for both object /n" + "code and source code. /n" + "The following provides more details on the included cryptographic /n" + "software: /n" + " Hadoop Core uses the SSL libraries from the Jetty project written /n" + "by mortbay.org. /n" ; /* * 要建索引的文檔，每一行爲一個文檔 */ String[] docs = books.split("/n"); //字典文件 String[] dics = "the provides details Commerce Security Commodity Hadoop libraries TSU laws distribution software country reside import possession".split("//s+"); ReverseIndex index = new ReverseIndex(); for (String term : dics) { //構建字典 index.addTerm(term); } int sno = 0; for(String doc:docs){ //建立索引 index.buildIndex(doc, sno++); } System.err.println("please type query words:"); while(true){ Scanner in = new Scanner(System.in); String query = in.nextLine(); if("exit".equalsIgnoreCase(query)) break; System.out.println("query:"+query); Node[] dosList = index.retrieve(query); if(dosList.length ==0 ) { System.out.printf("there are not docs relate to query words '%s'",query); continue; } for(Node dc:dosList){ System.out.printf("[%d,%d] %s/n", dc.doc, dc.frequency, docs[dc.doc]); } } } static class Node implements Comparable<Node>{ private Integer doc; private int frequency; @Override public int compareTo(Node o) { return o.doc - doc ; } public Node(int doc,int f){ this.doc = doc; this.frequency = f; } public Integer getDoc() { return doc; } public int getFrequency() { return frequency; } } }

 

說明：

 1、索引必須要有一個字典存在，字典就是一些術語的集合.如dog、cat、hotel、beijing .....索引引擎中的字典一般來自公共知識庫，商場、娛樂新聞、電影簡報等等。

2、索引以索引文件的形式存在磁盤上，在使用的時候加載進內存，或者部分加載進內存，大多數情況下內存不夠存放所有的索引，所以有時候索引會進行壓縮存儲,字典文件和倒排列表都有相應的壓縮方式。如字典中常用的壓縮有前綴壓縮、最小完美hash、基於磁盤的字典等；到排列表壓縮有：一元編碼等

3、這裏給出的索引方式爲基於內存的索引，在索引數據量大時不適用。當然這裏把它放在內存是沒問題，畢竟才一篇文章，文章的每一行作爲一個文檔對待。

4、真正的搜索引擎當到索引這一步時所有的數據都已經就緒，關鍵詞的抽取(extract)、術語的權重等等。