使用PHP+Sphinx建立高效的站內搜索引擎

 

1.    爲什麼要使用Sphinx

 

 

假設你現在運營着一個論壇,論壇數據已經超過100W,很多用戶都反映論壇搜索的速度非常慢,那麼這時你就可以考慮使用Sphinx了(當然其他的全文檢索程序或方法也行)。

 

 

2.    Sphinx是什麼

 

 

 

Sphinx由俄羅斯人Andrew Aksyonoff 開發的高性能全文搜索軟件包,在GPL與商業協議雙許可協議下發行。

全文檢索是指以文檔的全部文本信息作爲檢索對象的一種信息檢索技術。檢索的對象有可能是文章的標題,也有可能是文章的作者,也有可能是文章摘要或內容。

 

 

3.    Sphinx的特性

 

 

 

 

l  高速索引 (在新款CPU,10 MB/);

 

 

l  高速搜索 (2-4G的文本量中平均查詢速度不到0.1);

 

 

l  高可用性 (CPU上最大可支持100 GB的文本,100M文檔);

 

l  提供良好的相關性排名

 

l  支持分佈式搜索;

 

 

l  提供文檔摘要生成;

 

l  提供從MySQL內部的插件式存儲引擎上搜索

 

l  支持布爾,短語, 和近義詞查詢;

 

 

l  支持每個文檔多個全文檢索域(默認最大32);

 

 

l  支持每個文檔多屬性;

 

 

l  支持斷詞;

 

 

l  支持單字節編碼與UTF-8編碼;

 

 

 

4.    下載並安裝Sphinx

 

 

打開網址http://www.coreseek.cn/news/7/52/ 找到適合自己的操作系統的版本,比如我是Windows那麼我就可以下載Coreseek Win32通用版本Linux下可以下載源碼包,自己編譯安裝。這裏解釋下爲什麼我們下載的程序叫CoreseekCoreseek是基於Sphinx開發的一款軟件,對Sphinx做了一些改動,在中文方面支持得比Sphinx好,所以我們使用之。

下載完成後,將程序解壓到你想解壓的地方,比如我就想解壓到E盤根目錄,之後修改目錄名爲Coreseek,大功告成Coreseek安裝完成了,安裝的目錄是在E:\coreseek\

 

 

5.    使用Sphinx

 

我要使用Sphinx需要做以下幾件事

1)        首先得有數據

2)        建立Sphinx配置文件

3)        生成索引

 

4)        啓動Sphinx

 

5)        使用之(調用apisearch.exe程序進行查詢)

 

 

1件:(導入數據)

 

我們建立測試所需要用到得數據庫、表以及數據,篇幅有限,這些在附件中都有,下載後導入MySQL即可。

 

 

2件:(建立配置文件)

 

接下來我們需要建立一個Sphinx的配置文件 E:\coreseek\etc\mysql.conf,將其內容改爲下面這些:

source mysql

{

       type                                         = mysql

 

       sql_host                                    = localhost 

 

 

       sql_user                                    = root          

 

 

       sql_pass                                          =           

 

 

       sql_db                                      = test           

 

 

       sql_port                                    = 3306         

 

       sql_query_pre                         = SET NAMES utf8

       sql_query                                 = SELECT id,addtime,title,content FROM post

       sql_attr_timestamp                 = addtime

}

 

index mysql

{

       source                                      = mysql

       path                                         = E:/coreseek/var/data/mysql

       charset_dictpath                   = E:/coreseek/etc/

       charset_type                           = zh_cn.utf-8

}

 

searchd

{

       listen                                         = 9312

       max_matches                         = 1000

       pid_file                                     = E:/coreseek/var/log/searchd_mysql.pid

       log                                            = E:/coreseek/var/log/searchd_mysql.log

       query_log                                = E:/coreseek/var/log/query_mysql.log

}

 

先講下這個配置文件中每項的含義。

 

source mysql{} 定義源名稱爲mysql,也可以叫其他的,比如:source xxx{}

 

type  數據源類型

sql_* 數據相關的配置,比如sql_host,sql_pass什麼的,這些不解釋鳥

sql_query 建立索引時的查詢命令,在這裏儘可能不使用wheregroup by,將wheregroupby的內容交給sphinx,由sphinx進行條件過濾與groupby效率會更高,注意:select 的字段必須包括一個唯一主鍵以及要全文檢索的字段,where中要用到的字段也要select出來

sql_query_pre 在執行sql_query前執行的sql命令, 可以有多條

sql_attr 以這個開頭的配置項,表示屬性字段,在where,orderby,groupby中出現的字段要分別定義一個屬性,定義不同類型的字段要用不同的屬性名,比如上面的sql_attr_timestamp就是時間戳類型。

 

 

index mysql{} 定義索引名稱爲mysql,也可以叫其他的,比如:index xxx{}

 

source 關聯源,就是source xxx定義的。

path 索引文件存放路徑,比如:E:/coreseek/var/data/mysql 實際存放在E:/coreseek/var/data/目錄,然後創建多個名稱爲mysql後綴卻不同的索引文件

charset_dictpath  指明分詞法讀取詞典文件的位置,當啓用分詞法時,爲必填項。在使用LibMMSeg作爲分詞 庫時,需要確保詞典文件uni.lib在指定的目錄下

 

charset_type 字符集,比如charset_type = zh_cn.gbk

 

 

searchd{} sphinx守護進程配置

listen 監聽端口

max_matches最大匹配數,也就是查找的數據再多也只返回這裏設置的1000

pid_file pid文件路徑

log全文檢索日誌

query_log查詢日誌

 

好了,配置文件就這樣,配置的參數還有很多,大家可以自己查文檔。

 

 

3件:(生成索引)

 

開始 -> 運行 -> 輸入cmd回車,打開命令行工具

e:\coreseek\bin\indexer --config e:\coreseek\etc\mysql.conf --all

這一串東西其實就是調用indexer程序來生成所有索引

 

如果只想對某個數據源進行索引,則可以這樣:e:\coreseek\bin\indexer --config e:\coreseek\etc\mysql.conf 索引名稱(索引名稱指配置文件中所定義的)

--config,--all這些都是indexer程序的參數,想了解更多參數的朋友可以查看文檔

運行命令後如果你沒看到FATAL,ERROR這些東西,那麼索引文件就算生成成功了,比如我看到得就是

 

………省略………

 

using config file 'e:\coreseek\etc\mysql.conf'...

indexing index 'mysql'...

collected 4 docs, 0.0 MB

 

………省略………

 

 

4件:(啓動Sphinx

同樣命令行下

e:\coreseek\bin\searchd --config e:\coreseek\etc\mysql.conf

運行後提示了一大堆東西

using config file 'e:\coreseek\etc\mysql.conf'...

listening on all interfaces, port=9312

accepting connections

不用管這些鳥文是啥意思,反正Sphinx是啓動好了。

現在有一串鳥文的這個命令行是不能關的,因爲關了Sphinx也就關了,如果覺得這樣不爽,可以將Sphinx安裝成系統服務,在後臺運行。

安裝系統服務只需在命令行中輸入以下命令

e:\coreseek\bin\searchd --config e:\coreseek\etc\mysql.conf --install

安裝之後記得啓動這個服務,不會啓動那我沒法,自己google

 

 

5步:(使用Sphinx

 

web根目錄下建立一個search目錄(當然不在根目錄也行,同樣目錄名也可以隨取),複製E:\coreseek\api\ sphinxapi.php文件到search目錄(sphinxapi.php這個是sphinx官方提供的api),開始php程序的編寫。

search目錄建立一個文件,名字叫啥都行,我管它叫index.php,其內容如下

<?php

 

 

include 'sphinxapi.php';  // 加載Sphinx API

 

 

 

$sc = new SphinxClient(); // 實例化Api

 

$sc->setServer('localhost', 9312); // 設置服務端,第一個參數sphinx服務器地址,第二個sphinx監聽端口

$res = $sc->query('sphinx', 'mysql'); // 執行查詢, 第一個參數查詢的關鍵字,第二個查詢的索引名稱,mysql索引名稱(這個也是在配置文件中定義的),多個索引名稱以,分開,也可以用*表示所有索引。

print_r($res);

 

打印結果:

Array

(

   ………省略………

    [matches] => Array

        (

            [2] => Array

                (

                    [weight] => 2

                    [attrs] => Array

                        (

                            [addtime] => 1282622004

                        )

                )

            [4] => Array

                (

                    [weight] => 2

                    [attrs] => Array

                        (

                            [addtime] => 1282622079

                        )

                )

        )

  ………省略………

)

Matches中就是查詢的結果了,但是彷彿不是我們想要的數據,比如titilecontent字段的內容就沒有查詢出來,根據官方的說明是Sphinx並沒有連接到MySQL去取數據,只是根據它自己的索引內容進行計算,因此如果想用Sphinx提供的API去取得我們想要的數據,還必須以查詢的結果爲依據,再次查詢MySQL從而得到我們想要的數據。

 

查詢結果中鍵值分別表示

 

2唯一主鍵

 

weight權重

attrs sql_attr_*中配置

至此,搜索引擎算是完成一大半了,剩下的大家可以自行完成。

 

比如:

 

<?php

$ids    = array_keys($res['matches']); // 獲取主鍵

$ids = join(',', $ids);

$query  = mysql_query("SELECT * FROM post WHERE id IN ({$ids})");

while($row = mysql_fetch_assoc($query)) {

    .....

}

 

 

Sphinx的更多配置,程序的參數等,大家可以查看

Sphinx的文檔


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章