轉自 原文鏈接：http://blog.s135.com/httpsqs/
HTTPSQS（HTTP Simple Queue Service）是一款基於 HTTP GET/POST 協議的輕量級開源簡單消息隊列服務，使用 Tokyo Cabinet 的 B+Tree Key/Value 數據庫來做數據的持久化存儲。
項目網址：http://code.google.com/p/httpsqs/
使用文檔：http://blog.s135.com/httpsqs/
使用環境：Linux（同時支持32位、64位操作系統，推薦使用64位操作系統）
軟件作者：張宴
隊列（Queue）又稱先進先出表（First In First Out），即先進入隊列的元素，先從隊列中取出。加入元素的一頭叫“隊頭”，取出元素的一頭叫“隊尾”。利用消息隊列可以很好地異步處理數據傳送和存儲，當你頻繁地向數據庫中插入數據、頻繁地向搜索引擎提交數據，就可採取消息隊列來異步插入。另外，還可以將較慢的處理邏輯、有併發數量限制的處理邏輯，通過消息隊列放在後臺處理，例如FLV視頻轉換、發送手機短信、發送電子郵件等。
HTTPSQS 具有以下特徵：
● 非常簡單，基於 HTTP GET/POST 協議。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP協議的編程語言均可調用。
● 非常快速，入隊列、出隊列速度超過10000次/秒。
● 高併發，支持上萬的併發連接，C10K不成問題。
● 支持多隊列。
● 單個隊列支持的最大隊列數量高達10億條。
● 低內存消耗，海量數據存儲，存儲幾十GB的數據只需不到100MB的物理內存緩衝區。
● 可以在不停止服務的情況下便捷地修改單個隊列的最大隊列數量。
● 可以實時查看隊列狀態（入隊列位置、出隊列位置、未讀隊列數量、最大隊列數量）。
● 可以查看指定隊列ID（隊列點）的內容，包括未出、已出的隊列內容。
● 查看隊列內容時，支持多字符集編碼。
● 源代碼不超過800行，適合二次開發。
1、HTTPSQS 1.7 壓力測試：
採用Apache ab命令進行壓力測試，開啓10個線程，放入10萬條文本數據（每條512字節）到隊列中:
使用HTTP Keep-Alive時：23018 requests/sec
關閉HTTP Keep-Alive時：11840 requests/sec
採用Apache ab命令進行壓力測試，開啓10個線程，從隊列中取出10萬條文本數據（每條512字節）:
使用HTTP Keep-Alive時：25982 requests/sec
關閉HTTP Keep-Alive時：13294 requests/sec
詳細測試內容：http://code.google.com/p/httpsqs/wiki/BenchmarkTest
生產環境應用：在金山遊戲官網中，新聞、論壇帖子、客服公告、SNS社區等發生的增、刪、改操作，文本內容實時寫入HTTPSQS隊列，全站搜索引擎增量索引準實時（1分鐘內）更新的數據源取自HTTPSQS。HTTPSQS 2009年12月18日上線至今，運行穩定，既有來自Web服務器的入隊列操作，也有來自命令行腳本的批量入、出隊列操作。
2、HTTPSQS 的生產環境應用：
●金山通行證（https://my.xoyo.com）
隊列應用類型：手機短信上行、手機短信下發、郵件下發
隊列應用要求：穩定性高，存儲數據量大
隊列部署結構：一主、一備兩臺 HTTPSQS 熱備模式
●金山用戶行爲分析系統（http://kbi.xoyo.com）
隊列應用類型：用戶鼠標點擊、訪問URL原始數據採集
隊列應用要求：併發性能高，存儲數據量大
隊列部署結構：多臺 HTTPSQS 應用層哈希分佈式模式
●金山網絡遊戲運營平臺 KingEyes
隊列應用類型：用戶操作日誌記錄
●金山逍遙網站內搜索
隊列應用類型：索引準實時更新。在金山遊戲官網中，新聞、論壇帖子、客服公告、SNS社區等發生的增、刪、改操作，文本內容實時寫入HTTPSQS隊列，全站搜索引擎增量索引準實時（1分鐘內）更新的數據源取自HTTPSQS。
●金山逍遙網全站通用評論系統
隊列應用類型：評論發表
●金山《劍俠情緣》電視連續劇四大角色人物選秀活動（http://zt.xoyo.com/haixuan/）
隊列應用類型：用戶上傳的照片異步裁剪、縮放處理
●新浪郵箱（http://mail.sina.com.cn）
隊列應用類型：用戶登陸日誌記錄
wget http://httpsqs.googlecode.com/files/libevent-2.0.12-stable.tar.gz
tar zxvf libevent-2.0.12-stable.tar.gz
cd libevent-2.0.12-stable/
./configure --prefix=/usr/local/libevent-2.0.12-stable/
make
make install
cd ../
wget http://httpsqs.googlecode.com/files/tokyocabinet-1.4.47.tar.gz
tar zxvf tokyocabinet-1.4.47.tar.gz
cd tokyocabinet-1.4.47/
./configure --prefix=/usr/local/tokyocabinet-1.4.47/
#注：在32位Linux操作系統上編譯Tokyo cabinet，請使用./configure --enable-off64代替./configure，可以使數據庫文件突破2GB的限制。
#./configure --enable-off64 --prefix=/usr/local/tokyocabinet-1.4.47/
make
make install
cd ../
wget http://httpsqs.googlecode.com/files/httpsqs-1.7.tar.gz
tar zxvf httpsqs-1.7.tar.gz
cd httpsqs-1.7/
make
make install
cd ../
4、HTTPSQS 服務器使用文檔：
[root@xoyo ~]# httpsqs -h
-p <num> 監聽的TCP端口（默認值：1218）
-x <path> 數據庫目錄，目錄不存在會自動創建（例如：/opt/httpsqs/data）
-t <second> HTTP請求的超時時間（默認值：3）
-s <second> 同步內存緩衝區內容到磁盤的間隔秒數（默認值：5）
-c <num> 內存中緩存的最大非葉子節點數（默認值：1024）
-m <size> 數據庫內存緩存大小，單位：MB（默認值：100）
-i <file> 保存進程PID到文件中（默認值：/tmp/httpsqs.pid）
-a <auth> 訪問HTTPSQS的驗證密碼（例如：mypass123）
-d 以守護進程運行
-h 顯示這個幫助
示例：
httpsqs -d -p 1218 -x /data0/queue
請使用命令“killall httpsqs”、“pkill httpsqs”和“kill `cat /tmp/httpsqs.pid`”來停止httpsqs。
注意：請不要使用命令“pkill -9 httpsqs”和“kill -9 httpsqs的進程ID”來結束httpsqs，否則，內存中尚未保存到磁盤的數據將會丟失。
5、HTTPSQS 客戶端使用文檔：
(1)、入隊列（將文本消息放入隊列）：
HTTP GET 協議（以curl命令爲例）：
HTTP POST 協議（以curl命令爲例）：
以瀏覽器爲例：
如果入隊列成功，返回：
如果入隊列失敗，返回：
如果隊列已滿，返回：
從HTTPSQS 1.2版本開始，在返回給客戶端的HTTP Header頭中增加了一行“Pos: xxx”，輸出當前隊列的讀取位置點，例如：
Content-Type: text/plain
Keep-Alive: 120
Pos: 19
Date: Thu, 18 Mar 2010 04:57:08 GMT
Content-Length: 14
HTTPSQS_PUT_OK
(2)、出隊列（從隊列中取出文本消息）：
HTTP GET 協議（以curl命令爲例）：
以瀏覽器爲例：
返回消息隊列的內容給客戶端。
如果沒有未取出的消息隊列，則返回：
從HTTPSQS 1.2版本開始，在返回給客戶端的HTTP Header頭中增加了一行“Pos: xxx”，輸出當前隊列的讀取位置點，例如：
Content-Type: text/plain; charset=utf-8
Keep-Alive: 120
Pos: 7
Date: Thu, 18 Mar 2010 04:56:01 GMT
Content-Length: 18
消息隊列內容
參數charset說明（例如：/?charset=utf-8）：
指定HTTP輸出Header頭的字符編碼，即：
Content-Type: text/plain; charset=utf-8
任何在IANA註冊的字符編碼均可使用，但是，並不是所有的瀏覽器都能解析全部的字符編碼。對於中文，常用的字符編碼有：utf-8、gb2312、gbk、gb18030、big5等。
(3)、查看隊列狀態（普通方式，便於瀏覽器查看）：
HTTP GET 協議（以curl命令爲例）：
返回（示例）：
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (1st lap): 45
Get position of queue (1st lap): 6
Number of unread queue: 39
如果“隊列寫入點值”大於“最大隊列數量值”，將重置“隊列寫入點”爲1，即又從1開始存儲新的隊列內容，覆蓋原來隊列位置點的內容：
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (2st lap): 4562
Get position of queue (1st lap): 900045
Number of unread queue: 104517
以瀏覽器爲例：
(4)、查看隊列狀態（JSON方式，便於程序處理返回內容）：
從HTTPSQS 1.3版本開始支持此功能。
HTTP GET 協議（以curl命令爲例）：
返回（示例）：
如果“隊列寫入點值”大於“最大隊列數量值”，將重置“隊列寫入點”爲1，即又從1開始存儲新的隊列內容，覆蓋原來隊列位置點的內容：
(5)、查看指定隊列位置點的內容：
跟一般的隊列系統不同的是，HTTPSQS 可以查看指定隊列ID（隊列點）的內容，包括未出、已出的隊列內容。可以方便地觀測進入隊列的內容是否正確。
另外，假設有一個發送手機短信的隊列，由客戶端守護進程從隊列中取出信息，並調用“短信網關接口”發送短信。但是，如果某段時間“短信網關接口”有故障，而這段時間隊列位置點300~900的信息已經出隊列，但是發送短信失敗，我們還可以在位置點300~900被覆蓋前，查看到這些位置點的內容，作相應的處理。
HTTP GET 協議（以curl命令爲例）：
pos >=1 並且 <= 1000000000
返回指定隊列位置點的內容。
(6)、重置指定隊列：
HTTP GET 協議（以curl命令爲例）：
如果重置成功，返回：
如果重置失敗，返回：
(7)、更改指定隊列的最大隊列數量：
默認的最大隊列長度（100萬條）：1000000
HTTP GET 協議（以curl命令爲例）：
num >=10 並且 <= 1000000000
如果更改最大隊列數量成功，則返回：
更改的最大隊列數量必須大於當前的“隊列寫入點”。另外，當“隊列寫入點”小於“隊列讀取點”時（即PUT位於圓環的第二圈，而GET位於圓環的第一圈時），本操作將被取消，然後返回給客戶端以下信息：
(8)、不停止服務的情況下，修改定時刷新內存緩衝區內容到磁盤的間隔時間：
從HTTPSQS 1.3版本開始支持此功能。
默認間隔時間：5秒 或 httpsqs -s <second> 參數設置的值。
HTTP GET 協議（以curl命令爲例）：
num >=1 and <= 1000000000
如果修改間隔時間成功，則返回：
如果 num 不在 1 ～ 1000000000 之間，本操作將被取消，然後返回給客戶端以下信息：
(9)、密碼校驗失敗：
從HTTPSQS 1.5版本開始支持此功能。
如果密碼校驗失敗（/?auth=xxx），將返回以下信息：
(10)、全局錯誤：
如果發生全局錯誤（即指令、參數錯誤等），將返回以下信息：
6、HTTPSQS 客戶端
(1)、PHP 客戶端說明文檔：
A、PHP 客戶端擴展（第三方提供，詳情請訪問：http://code.google.com/p/php-httpsqs-client/）
B、PHP 客戶端 Class 文件（官方提供：適用於 HTTPSQS 1.7 以上版本，推薦使用。）
查看 PHP Class 源代碼：httpsqs_client.php
PHP Client 所有函數使用示例：test_example.php
PHP Client 命令行運行示例：test_commandline.php
用法：
(2)、Perl 客戶端說明文檔（第三方提供，作者：tonny0830）：
查看Perl客戶端源代碼：perl client
開發平臺：CentOS 5.4
Perl版本：5.8.8
Editor: VIM
##################################################################
new 方法：
參數個數：4個
參數說明：
1.HttpSQS-服務器IP地址。
2.HttpSQS-工作端口號。
3.Proto-連接服務器協議類型，TCP 還是UDP. 默認是TCP連接。
4.Charset-字符集。默認是UTF-8。
###################################################################
put方法：
參數個數：2個
傳遞參數：
1.隊列名
2.以POST方式提交的字符串
####################################################################
get方法：
參數個數：1個
傳遞參數：
1.隊列名
####################################################################
status方法：
參數個數：1個
傳遞參數：
1.隊列名
#####################################################################
view方法：
參數個數：2個
傳遞參數：
1.隊列名
2.查看隊列的編號
#####################################################################
reset方法：
參數個數：1個
傳遞參數：
1.隊列名
#####################################################################
maxqueue方法：
參數個數：2個
傳遞參數：
1.隊列名
2.指定的最大隊列數
#####################################################################
pput方法：
參數個數：2個
傳遞參數：
1.隊列名
2.POST方式提交的數據。
#####################################################################
pget方法：
參數個數：1個
傳遞參數：
1.隊列名
#####################################################################
pstatus方法：
參數個數：1個
傳遞參數：
1.隊列名
#####################################################################
pview方法：
參數個數：2個
傳遞參數：
1.隊列名
2.查看隊列的編號。
#####################################################################
pmaxqueue方法：
參數個數：2個
傳遞參數：
1.隊列名
2.指定隊列的最大數。
#####################################################################
preset方法：
參數個數：1個
傳遞參數：
1.隊列名
#####################################################################
使用的例子見：
httpsqs_cmdline_test.pl
httpsqs_cmdline_loop_test.pl
(3)、C 客戶端示例（第三方提供，作者：李博）：
查看C客戶端示例源代碼：C client
(4)、Java 客戶端
A、第一款客戶端（推薦）（第三方提供，作者：Snow Young）：
下載 1.0 版本：http://httpsqs.googlecode.com/files/httpsqs4j-java-client-1.0.zip
從SVN下載最新代碼：svn checkout http://httpsqs.googlecode.com/svn/trunk/client/httpsqs4j/ httpsqs4j
幫助文檔：http://blog.s135.com/book/httpsqs/client/httpsqs4j/
B、第二款客戶端（第三方提供，作者：李博）：
查看Java客戶端示例源代碼：Java client
(5)、Python客戶端（第三方提供，作者：Wendal）：
下載：http://wendal.net/261.html
7、HTTPSQS 生產環境典型應用案例架構：
一個採用PHP編寫的HTTPSQS客戶端簡單守護進程框架如下：
環境，假設PHP安裝路徑爲/usr/local/webserver/php，使用PHP編寫一個文件/opt/httpsqs_client_daemon.php：
在Linux下，推送到後臺執行即可：
8、HTTPSQS 軟件版本修改歷史：
● [2009年12月29日] HTTPSQS 1.1 版本發佈。這是第一個開源發佈版本。
● [2010年03月18日] HTTPSQS 1.2 版本發佈。點擊這兒查看該版本的新增功能。
● [2010年06月28日] HTTPSQS 1.3 版本發佈。點擊這兒查看該版本的新增功能。
● [2011年04月21日] HTTPSQS 1.6 版本發佈。點擊這兒查看該版本的新增功能。
● [2011年07月26日] HTTPSQS 1.7 版本發佈。點擊這兒查看該版本的新增功能。
附：本使用文檔修改歷史
● [2009年12月30日] [Version 1.1.0] HTTPSQS 1.1 版本使用文檔。
● [2010年03月18日] [Version 1.2.0] HTTPSQS 1.2 版本使用文檔。增加了 HTTPSQS 1.2 版本新增功能的說明，以及生產環境典型應用案例架構圖。
● [2010年03月19日] [Version 1.2.1] 在第7節中，增加了一個採用PHP編寫的HTTPSQS客戶端簡單守護進程框架代碼。
● [2010年04月07日] [Version 1.2.2] 在第6節中，增加了第三方的C客戶端示例和Java客戶端示例。
● [2010年04月30日] [Version 1.2.3] 在第6節中，再增加了一款第三方Java客戶端：httpsqs4j。
● [2010年05月11日] [Version 1.2.4] 解決了在某些Linux系統上，默認動態鏈接庫目錄中找不到TC動態鏈接庫的問題：/usr/bin/httpsqs: error while loading shared libraries: libtokyocabinet.so.9: cannot open shared object file: No such file or directory。
● [2010年06月29日] [Version 1.3.0] HTTPSQS 1.3 版本使用文檔。增加了 HTTPSQS 1.3 版本新增功能的說明。
● [2010年08月26日] [Version 1.3.1] 在第6節中，增加了第三方PHP客戶端擴展鏈接。
● [2011年04月21日] [Version 1.6.0] HTTPSQS 1.6 版本使用文檔。增加了 HTTPSQS 1.6 版本新增功能的說明。
● [2011年07月26日] [Version 1.7.0] HTTPSQS 1.7 版本使用文檔。修復一處BUG，改爲動態編譯HTTPSQS。
● [2011年11月04日] [Version 1.7.1] 增加支持 HTTPSQS 1.7 版本的 PHP Client Class。