mongodb C driver的異步查詢

  最近在選用NOSQL數據庫的時候最終選擇了mongodb, 感覺其各方面都很優秀, 於是爲服務器增加了一組mongodb的接口, 以方便LUA邏輯層使用.

 

  驅動方面選用了官方指定的C DRIVER, 大家有興趣的可以直接去mongodb的官網上查找, 不過查看了其mongo_find接口發現爲同步調用, 這在服務器併發應用方面會受到限制, 通常服務器爲了提高併發處理效率會使用異步接口. 開始的時候比較偷懶, 在其官網上留言想讓其driver開發人員幫忙添加異步調用接口, 這事情也就先放下了... 2天過後, 等我想要接着製作的時候, 再次查看了官網動態... 發現死氣沉沉的毫無反應... 我個人還算是比較勤快, 好在driver代碼實在好讀, 這點讓我很佩服, 仔細的分析了下原尾, 決定自己爲其添加一組異步調用接口 :)

 

  ok, let's do it :) 

 

  由於鄙人資歷經驗尚淺... 如有不妥之處, 歡迎各位及時指正.

 

 思路:

  我們知道LUA中提供coroutine, 這極大的方便了我們開發異步調用, 首先, 我們需要明確異步查詢流程: LUA腳本層發起查詢請求, 調用引擎層接口發送查詢請求, 返回LUA腳本層並掛起當前coroutine, --- (引擎處理其他事件) ---, 引擎收到mongodb返回查詢結果, 組織封裝結果並通知LUA腳本層喚醒查詢請求coroutine, coroutine繼續執行得到返回結果並處理.

 

  由於有coroutine的幫助, 使得我們在LUA層面上的調用和正常的順序編程沒有區別, 而異步的回調處理過程完全被屏蔽在邏輯層之下, 大大的簡化了我們的邏輯層編程複雜度, 而且提高了引擎併發處理能力.

 

 實現:

  好了, 接下來我們來看看如何實現這樣的功能. 根據上面的思路, 我們需要首先解決一個問題, 如何正確的恢復一個被掛起的coroutine, 這裏如果我們使用多個線程等待同一條連接上的請求響應時, 如果在未加鎖保護的情況下會出現這樣一種情況: 比如2個線程通過同一條連接請求A, B發送至數據庫, 但接受情況爲B, A. 因爲加鎖實屬下策, 所以, 我們應當讓數據庫幫助我們記錄一些信息以便在返回的結果中我們可以正確的喚醒相應的coroutine. 

  

  mongodb的消息頭中包含了這樣的字段, 我們可以暫且爲其命名爲query_id, 當我們在發送時填充該字段後, 在接受到的返回消息頭中會原封不動的得到該query_id, 這樣我們就可以簡單的使用自增id作爲query_id進行填充即可.

  

  下面我們要用將原driver中的find接口進行拆分, 原有接口的邏輯爲: 創建消息頭, 填充query, 發送請求, 等待接受結果, 接收到結果並返回. 我們將其拆分爲3個接口:

  1.創建併發送請求

  2.接受返回結果消息頭

  3.接受返回結果數據並做相應的回調處理.

 

  這樣, 我們可以非常方便的將其放入如libevent的事件驅動內進行處理.

  因爲第二個和第三個接口都在接收返回結果時調用, 此過程爲連續過程, 所以不用擔心這裏面會有亂序的情況.

 

  下面放上代碼:(此代碼爲在原作者接口基礎上進行拆分和稍作修改)

  // mongo.h typedef void (*mongo_async_send_handler)(const char* pbuf, size_t len, void* arg); // async mongo find interface, the param id is the callback param #define MONGO_ASYNC_READ_HEAD_LEN (sizeof(mongo_header) + sizeof(mongo_reply_fields)) void mongo_async_init(mongo_async_send_handler pfunc); void mongo_async_find(mongo_connection* conn, const char* ns, const bson* query, bson* fields, int nToReturn, int nToSkip, int options, int id, void* arg); mongo_cursor* mongo_async_response(mongo_connection* conn, const char* ns, mongo_reply* mm); mongo_reply * mongo_read_async_response_head(mongo_connection* conn, const char* buf, int* data_len/*out*/, int* query_id/*out*/); // buf size must be MONGO_ASYNC_READ_HEAD_LEN and return left data len mongo_reply* mongo_read_async_response_data(mongo_connection* conn, mongo_reply* out, const char* buf); //mongo.c static mongo_async_send_handler async_handler = NULL; void mongo_message_async_send(mongo_connection* conn, mongo_message* mm, void* arg){ mongo_header head; /* little endian */ bson_little_endian32(&head.len, &mm->head.len); bson_little_endian32(&head.id, &mm->head.id); bson_little_endian32(&head.responseTo, &mm->head.responseTo); bson_little_endian32(&head.op, &mm->head.op); MONGO_TRY{ //looping_write(conn, &head, sizeof(head)); //looping_write(conn, &mm->data, mm->head.len - sizeof(head)); async_handler((char*)&head, sizeof(head), arg); async_handler((char*)&mm->data, mm->head.len - sizeof(head), arg); }MONGO_CATCH{ free(mm); MONGO_RETHROW(); } free(mm); } void mongo_async_init(mongo_async_send_handler pfunc){ if( !pfunc ){ printf("mongodb async init failed/n"); exit(-5); } async_handler = pfunc; } // async mongo find // note: the id must not be zero or mongo_message_create will call rand() to generate void mongo_async_find(mongo_connection* conn, const char* ns, const bson* query, bson* fields, int nToReturn, int nToSkip, int options, int id, void* arg){ char * data; mongo_message * mm = mongo_message_create( 16 + /* header */ 4 + /* options */ strlen( ns ) + 1 + /* ns */ 4 + 4 + /* skip,return */ bson_size( query ) + bson_size( fields ) , id , 0 , mongo_op_query ); data = &mm->data; data = mongo_data_append32( data , &options ); data = mongo_data_append( data , ns , strlen( ns ) + 1 ); data = mongo_data_append32( data , &nToSkip ); data = mongo_data_append32( data , &nToReturn ); data = mongo_data_append( data , query->data , bson_size( query ) ); if ( fields ) data = mongo_data_append( data , fields->data , bson_size( fields ) ); bson_fatal_msg( (data == ((char*)mm) + mm->head.len), "query building fail!" ); mongo_message_async_send(conn, mm, arg); } // buf len must be >= MONGO_ASYNC_READ_HEAD_LEN mongo_reply * mongo_read_async_response_head(mongo_connection* conn, const char* buf, int* data_len/*out*/, int* query_id/*out*/ ){ mongo_header head; /* header from network */ mongo_reply_fields fields; /* header from network */ mongo_reply * out; /* native endian */ int len; //looping_read(conn, &head, sizeof(head)); //looping_read(conn, &fields, sizeof(fields)); memcpy(&head, buf, sizeof(head)); memcpy(&fields, buf + sizeof(head), sizeof(fields)); bson_little_endian32(&len, &head.len); if (len < sizeof(head)+sizeof(fields) || len > 64*1024*1024) MONGO_THROW(MONGO_EXCEPT_NETWORK); /* most likely corruption */ out = (mongo_reply*)bson_malloc(len); out->head.len = len; bson_little_endian32(&out->head.id, &head.id); bson_little_endian32(&out->head.responseTo, &head.responseTo); bson_little_endian32(&out->head.op, &head.op); bson_little_endian32(&out->fields.flag, &fields.flag); bson_little_endian64(&out->fields.cursorID, &fields.cursorID); bson_little_endian32(&out->fields.start, &fields.start); bson_little_endian32(&out->fields.num, &fields.num); *data_len = out->head.len - MONGO_ASYNC_READ_HEAD_LEN; *query_id = out->head.responseTo; return out; } // read response data mongo_reply* mongo_read_async_response_data(mongo_connection* conn, mongo_reply* out, const char* buf){ int len = out->head.len; MONGO_TRY{ //looping_read(conn, &out->objs, len-sizeof(head)-sizeof(fields)); memcpy(&out->objs, buf, len - MONGO_ASYNC_READ_HEAD_LEN); }MONGO_CATCH{ free(out); MONGO_RETHROW(); } return out; } mongo_cursor* mongo_async_response(mongo_connection* conn, const char* ns, mongo_reply* mm){ int sl; volatile mongo_cursor * cursor; /* volatile due to longjmp in mongo exception handler */ cursor = (mongo_cursor*)bson_malloc(sizeof(mongo_cursor)); MONGO_TRY{ cursor->mm = mm; }MONGO_CATCH{ free((mongo_cursor*)cursor); /* cast away volatile, not changing type */ MONGO_RETHROW(); } sl = strlen(ns)+1; cursor->ns = bson_malloc(sl); if (!cursor->ns){ free(cursor->mm); free((mongo_cursor*)cursor); /* cast away volatile, not changing type */ return 0; } memcpy((void*)cursor->ns, ns, sl); /* cast needed to silence GCC warning */ cursor->conn = conn; cursor->current.data = NULL; return (mongo_cursor*)cursor; }  

 

  這裏面需要注意的地方就是在處理回調的過程中需要妥善保存好發起請求時傳入的參數"ns", 此爲database.collection, 簡單的做法就是使用發送請求時生成的query_id作爲key, 將ns copy出來存入hash結構中, 在響應回調時取出並正確的處理結果 :)

 總結:

  經過簡單測試, 還是比較滿意這次的改動, 不過細節方面還有待改善, 不過這些代碼僅作爲初步使用, 昨天下午的時候我也將這些改動的patch發給了原driver製作組, 他們的反饋意見是會仔細考慮這個意見, 不過他們還要處理優先級更高的任務 :D , 所以, 如果想使用最終官方的接口, 還是要等driver製作組的更新了. 本人的改動僅作爲參考和測試.

 

  大家有什麼問題相互探討可以隨時留言或email給我([email protected])