TeamTalk服務端源碼解析之DB_Server

原創 eerstar 2018-08-24 02:31

本文轉載自：http://blog.csdn.net/hailong0715/article/details/53418594

特根據理解繪製業務圖如下：


線程圖：



DB_PROXY_Server數據庫代理是TeamTalk TTServer中負責與數據庫交互的代理服務器，在DB server中負責承載TeamTalk所有業務層面和邏輯層面的數據入庫和持久化等服務，是TT_Server中比較重要的一環，在設計中採用了很多實用的技術，比如池化技術，數據庫代理，單例模式等，收益匪淺，下面對TealTalk的DB_Server作個詳細分析，以封面是自己閱讀代碼後的學習總結，一方面可以給其他學習TT_Server的人提供參考。

可以通過查看DB_Server的配置文件dbproxyserver.conf文件，DB_SERVER主要分爲以下幾個部分：

1、TeamTalk_Matser 採用了MySQL數據庫

2、TeamTalk_Slave   MYSQL數據庫 

3、unread 未讀信息實例 Redis 數據庫

4、group_set 羣組設置實例 redis數據庫

5、token 實例 redis數據庫

6、sync實例  redis數據庫 同步功能

7、group_member redis 數據庫 

每個數據庫實例都會預先打開於數據庫的兩個鏈接，不需要在每次使用的時候再打開，使用結束後釋放，節省了數據打開和釋放需要的時間和資源，在當前可用連接數不夠的情況下再新增一個數據庫鏈接，動態調節DB_Server的負載，同時限定了每個實例的最大可用連接數，由於系統資源是有限的，當業務比較繁忙時不能無限制創建新的連接，避免耗盡系統資源，這種場景下，當沒有可用連接的時候，新的業務請求必須等待，等待可用的連接，然後再執行相應的業務操作。

DB_Server採用了多線程，在DB_Server啓動的時候預先分配了配置文件中指定的線程數，用來處理具體的數據庫請求，當一個請求到達DB_Server時，DB_Server將該請求封裝成DB相關的額任務類，然後隨機加入到預先啓動的線程的任務列表中，有線程回調函數不停執行具體的任務請求，者就是整個DB_Serve的設計思路。

下面來看代碼的流程：

1、CacheManager的初始化

db_proxy_server的main函數中，依次從配置文件中讀取各個實例的名稱以及初始DB實例個數，最大連接數等信息。

首先獲取CacheManager的對象，在獲取對象的同時對該對象以及該對象管理的資源進行了初始化。

[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. CacheManager* pCacheManager = CacheManager::getInstance();  

需要明確的是，cacheManager維護了一個map，map<string, CachePool*>m_cache_pool_map;這個map的key值就是每個配置文件中每個CacheInstances的名稱，對應給每一個cache實例維護了一個連接池CachePool， 在CachePool中有維護了一個list<CacheConn*>m_free_list;，這個list保存了對應cache實例的連接，CacheConn是對每個DB連接的封裝。這個類中維護了對應數據庫連接的一些基本信息，redis數據的話保存的是數據庫連接上下文redisContext，以及操作數據庫的Set 和Get方法。

創建CacheManager的對象

[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. CacheManager* CacheManager::getInstance()  
  2. {  
  3.     if (!s_cache_manager) {  
  4.         s_cache_manager = new CacheManager();  
  5.         if (s_cache_manager->Init()) {  
  6.             delete s_cache_manager;  
  7.             s_cache_manager = NULL;  
  8.         }  
  9.     }  
  10.   
  11.     return s_cache_manager;  
  12. }  
調用CacheManager的Init的方法，初始化CacheManager管理的資源，在這裏就是讀取配置文件，根據配置文件中的CacheInstance名稱創建對應的實例，並創建相應的連接池對象，將其插入到Manager管理的Map中。
[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. int CacheManager::Init()  
  2. {  
  3.     CConfigFileReader config_file("dbproxyserver.conf");  
  4.   
  5.     char* cache_instances = config_file.GetConfigName("CacheInstances");  
  6.     if (!cache_instances) {  
  7.         log("not configure CacheIntance");  
  8.         return 1;  
  9.     }  
  10.   
  11.     char host[64];  
  12.     char port[64];  
  13.     char db[64];  
  14.     char maxconncnt[64];  
  15.     CStrExplode instances_name(cache_instances, ',');  
  16.     for (uint32_t i = 0; i < instances_name.GetItemCnt(); i++) {  
  17.         char* pool_name = instances_name.GetItem(i);  
  18.         //printf("%s", pool_name);  
  19.         snprintf(host, 64, "%s_host", pool_name);  
  20.         snprintf(port, 64, "%s_port", pool_name);  
  21.         snprintf(db, 64, "%s_db", pool_name);  
  22.         snprintf(maxconncnt, 64, "%s_maxconncnt", pool_name);  
  23.   
  24.         char* cache_host = config_file.GetConfigName(host);  
  25.         char* str_cache_port = config_file.GetConfigName(port);  
  26.         char* str_cache_db = config_file.GetConfigName(db);  
  27.         char* str_max_conn_cnt = config_file.GetConfigName(maxconncnt);  
  28.         if (!cache_host || !str_cache_port || !str_cache_db || !str_max_conn_cnt) {  
  29.             log("not configure cache instance: %s", pool_name);  
  30.             return 2;  
  31.         }  
  32.   
  33.         CachePool* pCachePool = new CachePool(pool_name, cache_host, atoi(str_cache_port),  
  34.                 atoi(str_cache_db), atoi(str_max_conn_cnt));  
  35.         if (pCachePool->Init()) {  
  36.             log("Init cache pool failed");  
  37.             return 3;  
  38.         }  
  39.   
  40.         m_cache_pool_map.insert(make_pair(pool_name, pCachePool));  
  41.     }  
  42.   
  43.     return 0;  
  44. }  
根據在配置文件中定義的instanceNane_DB的值創建CacheConn對象，調用其init函數，並將其插入到CachePool管理的空閒鏈表中。

[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. int CachePool::Init()  
  2. {  
  3.     for (int i = 0; i < m_cur_conn_cnt; i++) {  
  4.         CacheConn* pConn = new CacheConn(this);  
  5.         if (pConn->Init()) {  
  6.             delete pConn;  
  7.             return 1;  
  8.         }  
  9.   
  10.         m_free_list.push_back(pConn);  
  11.     }  
  12.   
  13.     log("cache pool: %s, list size: %lu", m_pool_name.c_str(), m_free_list.size());  
  14.     return 0;  
  15. }  
調用CacheConn的Init函數，創建數據庫的連接。

[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. /* 
  2.  * redis初始化連接和重連操作，類似mysql_ping() 
  3.  */  
  4. int CacheConn::Init()  
  5. {  
  6.     if (m_pContext) {  
  7.         return 0;  
  8.     }  
  9.   
  10.     // 4s 嘗試重連一次  
  11.     uint64_t cur_time = (uint64_t)time(NULL);  
  12.     if (cur_time < m_last_connect_time + 4) {  
  13.         return 1;  
  14.     }  
  15.   
  16.     m_last_connect_time = cur_time;  
  17.   
  18.     // 200ms超時  
  19.     struct timeval timeout = {0, 200000};  
  20.     m_pContext = redisConnectWithTimeout(m_pCachePool->GetServerIP(), m_pCachePool->GetServerPort(), timeout);  
  21.     if (!m_pContext || m_pContext->err) {  
  22.         if (m_pContext) {  
  23.             log("redisConnect failed: %s", m_pContext->errstr);  
  24.             redisFree(m_pContext);  
  25.             m_pContext = NULL;  
  26.         } else {  
  27.             log("redisConnect failed");  
  28.         }  
  29.   
  30.         return 1;  
  31.     }  
  32.   
  33.     redisReply* reply = (redisReply *)redisCommand(m_pContext, "SELECT %d", m_pCachePool->GetDBNum());  
  34.     if (reply && (reply->type == REDIS_REPLY_STATUS) && (strncmp(reply->str, "OK", 2) == 0)) {  
  35.         freeReplyObject(reply);  
  36.         return 0;  
  37.     } else {  
  38.         log("select cache db failed");  
  39.         return 2;  
  40.     }  
  41. }  
上述流程就完成了所有CacheInstance的初始化，並創建了數據的連接池，後續所有對數據庫的操作都通過調用CashManager::GetCacheConn方法來獲取數據庫的連接，從cachePool管理的free_list中出隊列，如果隊列爲空，則創建新的連接或者等待，使用完連接後加入free_list中，供下次使用。

2、CDBManager的初始化

CDBManager的初始化流程與CacheManager的初始化流程類似，唯一不同的是CDBManager保存的CDBConn是到MYSQL數據庫的連接。其他過程類似，理解上面CacheManager的流程就很容易理解該部分流程，這裏不再重複敘述了。

3、資源對象初始化

完成DB相關資源的對象初始化，這些類都用了單例模式，因此初始化這些對象都只需要調用自身的GetInstance方法，

[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. puts("db init success");  
  2. // 主線程初始化單例，不然在工作線程可能會出現多次初始化  
  3. if (!CAudioModel::getInstance()) {  
  4.     return -1;  
  5. }  
  6.      
  7.    if (!CGroupMessageModel::getInstance()) {  
  8.        return -1;  
  9.    }  
  10.      
  11.    if (!CGroupModel::getInstance()) {  
  12.        return -1;  
  13.    }  
  14.      
  15.    if (!CMessageModel::getInstance()) {  
  16.        return -1;  
  17.    }  
  18.   
  19. if (!CSessionModel::getInstance()) {  
  20.     return -1;  
  21. }  
  22.      
  23.    if(!CRelationModel::getInstance())  
  24.    {  
  25.        return -1;  
  26.    }  
  27.      
  28.    if (!CUserModel::getInstance()) {  
  29.        return -1;  
  30.    }  
  31.      
  32.    if (!CFileModel::getInstance()) {  
  33.        return -1;  
  34.    }  

4、工作線程池初始化，任務執行回調初始化。

這個部分可謂是db_proxy_server中重要的一環，所有的DB任務都是通過從工作線程池中的線程通過獲取對應命令ID的回調函數來執行所有的數據庫操作任務，因此理解了這部分差不多就理解了db_proxy_server的一半，下面介紹這部分流程。

[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. int init_proxy_conn(uint32_t thread_num)  
  2. {  
  3.     s_handler_map = CHandlerMap::getInstance();  
  4.     g_thread_pool.Init(thread_num);  
  5.   
  6.     netlib_add_loop(proxy_loop_callback, NULL);  
  7.   
  8.     signal(SIGTERM, sig_handler);  
  9.   
  10.     return netlib_register_timer(proxy_timer_callback, NULL, 1000);  
  11. }  
該部分的初始化時在main函數中調用全局函數init_proxy_conn函數完成的，該函數的一個入參thread_num指定了工作線程池的線程數量。

（1）首先獲取CHandlerMap的對象，在獲取對象的同時完成了所有回調函數的註冊。

[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. CHandlerMap* CHandlerMap::getInstance()  
  2. {  
  3.     if (!s_handler_instance) {  
  4.         s_handler_instance = new CHandlerMap();  
  5.         s_handler_instance->Init();  
  6.     }  
  7.   
  8.     return s_handler_instance;  
  9. }  


[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. void CHandlerMap::Init()  
  2. {  
  3.     // Login validate  
  4.     m_handler_map.insert(make_pair(uint32_t(CID_OTHER_VALIDATE_REQ), DB_PROXY::doLogin));  
  5.     m_handler_map.insert(make_pair(uint32_t(CID_LOGIN_REQ_PUSH_SHIELD), DB_PROXY::doPushShield));  
  6.     m_handler_map.insert(make_pair(uint32_t(CID_LOGIN_REQ_QUERY_PUSH_SHIELD), DB_PROXY::doQueryPushShield));  
  7.       
  8.     // recent session  
  9.     m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_RECENT_CONTACT_SESSION_REQUEST), DB_PROXY::getRecentSession));  
  10.     m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_REMOVE_SESSION_REQ), DB_PROXY::deleteRecentSession));  
  11.       
  12.     // users  
  13.     m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_USER_INFO_REQUEST), DB_PROXY::getUserInfo));  
  14.     m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_ALL_USER_REQUEST), DB_PROXY::getChangedUser));  
  15.     m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_DEPARTMENT_REQUEST), DB_PROXY::getChgedDepart));  
  16.     m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_CHANGE_SIGN_INFO_REQUEST), DB_PROXY::changeUserSignInfo));  
  17.   
  18.       
  19.     // message content  
  20.     m_handler_map.insert(make_pair(uint32_t(CID_MSG_DATA), DB_PROXY::sendMessage));  
  21.     m_handler_map.insert(make_pair(uint32_t(CID_MSG_LIST_REQUEST), DB_PROXY::getMessage));  
  22.     m_handler_map.insert(make_pair(uint32_t(CID_MSG_UNREAD_CNT_REQUEST), DB_PROXY::getUnreadMsgCounter));  
  23.     m_handler_map.insert(make_pair(uint32_t(CID_MSG_READ_ACK), DB_PROXY::clearUnreadMsgCounter));  
  24.     m_handler_map.insert(make_pair(uint32_t(CID_MSG_GET_BY_MSG_ID_REQ), DB_PROXY::getMessageById));  
  25.     m_handler_map.insert(make_pair(uint32_t(CID_MSG_GET_LATEST_MSG_ID_REQ), DB_PROXY::getLatestMsgId));  
  26.       
  27.     // device token  
  28.     m_handler_map.insert(make_pair(uint32_t(CID_LOGIN_REQ_DEVICETOKEN), DB_PROXY::setDevicesToken));  
  29.     m_handler_map.insert(make_pair(uint32_t(CID_OTHER_GET_DEVICE_TOKEN_REQ), DB_PROXY::getDevicesToken));  
  30.       
  31.     //push 鎺ㄩ€佽緗?  
  32.     m_handler_map.insert(make_pair(uint32_t(CID_GROUP_SHIELD_GROUP_REQUEST), DB_PROXY::setGroupPush));  
  33.     m_handler_map.insert(make_pair(uint32_t(CID_OTHER_GET_SHIELD_REQ), DB_PROXY::getGroupPush));  
  34.       
  35.       
  36.     // group  
  37.     m_handler_map.insert(make_pair(uint32_t(CID_GROUP_NORMAL_LIST_REQUEST), DB_PROXY::getNormalGroupList));  
  38.     m_handler_map.insert(make_pair(uint32_t(CID_GROUP_INFO_REQUEST), DB_PROXY::getGroupInfo));  
  39.     m_handler_map.insert(make_pair(uint32_t(CID_GROUP_CREATE_REQUEST), DB_PROXY::createGroup));  
  40.     m_handler_map.insert(make_pair(uint32_t(CID_GROUP_CHANGE_MEMBER_REQUEST), DB_PROXY::modifyMember));  
  41.   
  42.       
  43.     // file  
  44.     m_handler_map.insert(make_pair(uint32_t(CID_FILE_HAS_OFFLINE_REQ), DB_PROXY::hasOfflineFile));  
  45.     m_handler_map.insert(make_pair(uint32_t(CID_FILE_ADD_OFFLINE_REQ), DB_PROXY::addOfflineFile));  
  46.     m_handler_map.insert(make_pair(uint32_t(CID_FILE_DEL_OFFLINE_REQ), DB_PROXY::delOfflineFile));  
  47.   
  48. }  

在ChandleMap註冊數據庫請求的CommandID對應的回調函數，在處理接收的請求時，根據CmdID查詢CHandleMap，獲取回調函數處理請求。

（2）初始化工作線程池

g_thread_pool.Init(thread_num);這行代碼根據傳入的參數創建了指定數量的線程，每個工作線程中都維護了一個任務隊列，在有數據請求來的時候，系統隨機將任務添加到線程的任務隊列中，線程一次執行自己任務隊列中的任務。

[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. int CThreadPool::Init(uint32_t worker_size)  
  2. {  
  3.     m_worker_size = worker_size;  
  4.     m_worker_list = new CWorkerThread [m_worker_size];  
  5.     if (!m_worker_list) {  
  6.         return 1;  
  7.     }  
  8.   
  9.     for (uint32_t i = 0; i < m_worker_size; i++) {  
  10.         m_worker_list[i].SetThreadIdx(i);  
  11.         m_worker_list[i].Start();  
  12.     }  
  13.   
  14.     return 0;  
  15. }  
[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. void CWorkerThread::Start()  
  2. {  
  3.     (void)pthread_create(&m_thread_id, NULL, StartRoutine, this);  
  4. }  
線程回調

[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. void* CWorkerThread::StartRoutine(void* arg)  
  2. {  
  3.     CWorkerThread* pThread = (CWorkerThread*)arg;  
  4.   
  5.     pThread->Execute();  
  6.   
  7.     return NULL;  
  8. }  
處理任務

[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. void CWorkerThread::Execute()  
  2. {  
  3.     while (true) {  
  4.         m_thread_notify.Lock();  
  5.   
  6.         // put wait in while cause there can be spurious wake up (due to signal/ENITR)  
  7.         while (m_task_list.empty()) {  
  8.             m_thread_notify.Wait();  
  9.         }  
  10.   
  11.         CTask* pTask = m_task_list.front();  
  12.         m_task_list.pop_front();  
  13.         m_thread_notify.Unlock();  
  14.   
  15.         pTask->run();  
  16.   
  17.         delete pTask;  
  18.   
  19.         m_task_cnt++;  
  20.         //log("%d have the execute %d task\n", m_thread_idx, m_task_cnt);  
  21.     }  
  22. }  

（3）環回檢查，超時檢測處理異常中斷

[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. netlib_add_loop(proxy_loop_callback, NULL);  
  2.   
  3. signal(SIGTERM, sig_handler);  
  4.   
  5. return netlib_register_timer(proxy_timer_callback, NULL, 1000);  
DB操作中的相應並不是來一個請求發送一個響應，CProxyConn中維護了一個static list<ResponsePdu_t*>s_response_pdu_list，將需要發送的相應PDU插入到該list中，在db_proxy_server的時間分發器中，每次循環都會調用CheckLoop函數，根據註冊的proxy_loop_callback回調發送響應信息。

[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. <span style="white-space:pre">  </span>signal(SIGTERM, sig_handler);  
註冊程序異常終止時的信號處理函數，處理函數異常退出時的一些清理工作，發送未發送的數據，停止接受請求等

[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. static void sig_handler(int sig_no)  
  2. {  
  3.     if (sig_no == SIGTERM) {  
  4.         log("receive SIGTERM, prepare for exit");  
  5.         CImPdu cPdu;  
  6.         IM::Server::IMStopReceivePacket msg;  
  7.         msg.set_result(0);  
  8.         cPdu.SetPBMsg(&msg);  
  9.         cPdu.SetServiceId(IM::BaseDefine::SID_OTHER);  
  10.         cPdu.SetCommandId(IM::BaseDefine::CID_OTHER_STOP_RECV_PACKET);  
  11.         for (ConnMap_t::iterator it = g_proxy_conn_map.begin(); it != g_proxy_conn_map.end(); it++) {  
  12.             CProxyConn* pConn = (CProxyConn*)it->second;  
  13.             pConn->SendPdu(&cPdu);  
  14.         }  
  15.         // Add By ZhangYuanhao  
  16.         // Before stop we need to stop the sync thread,otherwise maybe will not sync the internal data any more  
  17.         CSyncCenter::getInstance()->stopSync();  
  18.           
  19.         // callback after 4 second to exit process;  
  20.         netlib_register_timer(exit_callback, NULL, 4000);  
  21.     }  
  22. }  
netlib_register_timer(proxy_timer_callback, NULL, 1000)註冊心跳，1000tick到發送一個心跳包，防止客戶端掉線時佔用系統資源，及時清理對應客戶端的連接符等系統資源。


5、同步聊天記錄等信息

[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. CSyncCenter::getInstance()->init();  
  2. CSyncCenter::getInstance()->startSync();  
[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. void CSyncCenter::init()  
  2. {  
  3.     // Load total update time  
  4.     CacheManager* pCacheManager = CacheManager::getInstance();  
  5.     // increase message count  
  6.     CacheConn* pCacheConn = pCacheManager->GetCacheConn("unread");  
  7.     if (pCacheConn)  
  8.     {  
  9.         string strTotalUpdate = pCacheConn->get("total_user_updated");  
  10.   
  11.         string strLastUpdateGroup = pCacheConn->get("last_update_group");  
  12.         pCacheManager->RelCacheConn(pCacheConn);  
  13.     if(strTotalUpdate != "")  
  14.         {  
  15.             m_nLastUpdate = string2int(strTotalUpdate);  
  16.         }  
  17.         else  
  18.         {  
  19.             updateTotalUpdate(time(NULL));  
  20.         }  
  21.         if(strLastUpdateGroup.empty())  
  22.         {  
  23.             m_nLastUpdateGroup = string2int(strLastUpdateGroup);  
  24.         }  
  25.         else  
  26.         {  
  27.             updateLastUpdateGroup(time(NULL));  
  28.         }  
  29.     }  
  30.     else  
  31.     {  
  32.         log("no cache connection to get total_user_updated");  
  33.     }  
  34. }  
創建線程並開始同步
[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. void CSyncCenter::startSync()  
  2. {  
  3. #ifdef _WIN32  
  4.     (void)CreateThread(NULL, 0, doSyncGroupChat, NULL, 0, &m_nGroupChatThreadId);  
  5. #else  
  6.     (void)pthread_create(&m_nGroupChatThreadId, NULL, doSyncGroupChat, NULL);  
  7. #endif  
  8. }  

由於主線程執行需要執行其他任務，爲了避免主線程耗時，同步聊天記錄，羣主信息功能在新創建的線程中執行，節省主線程啓動時間；所有同步操作均在線程回調函數中完成doSyncGroupChat.

6、事件分發，主線程助理主流程，接受客戶連接，處理客戶請求

所有TT_SERVER的網絡處理統一在事件分發起中執行，包括從socket中接收連接，讀寫數據，處理異常
[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. void CEventDispatch::StartDispatch(uint32_t wait_timeout)  
  2. {  
  3.     struct epoll_event events[1024];  
  4.     int nfds = 0;  
  5.   
  6.     if(running)  
  7.         return;  
  8.     running = true;  
  9.       
  10.     while (running)  
  11.     {  
  12.         nfds = epoll_wait(m_epfd, events, 1024, wait_timeout);  
  13.         for (int i = 0; i < nfds; i++)  
  14.         {  
  15.             int ev_fd = events[i].data.fd;  
  16.             CBaseSocket* pSocket = FindBaseSocket(ev_fd);  
  17.             if (!pSocket)  
  18.                 continue;  
  19.               
  20.             //Commit by zhfu @2015-02-28  
  21.             #ifdef EPOLLRDHUP  
  22.             if (events[i].events & EPOLLRDHUP)  
  23.             {  
  24.                 //log("On Peer Close, socket=%d, ev_fd);  
  25.                 pSocket->OnClose();  
  26.             }  
  27.             #endif  
  28.             // Commit End  
  29.   
  30.             if (events[i].events & EPOLLIN)  
  31.             {  
  32.                 //log("OnRead, socket=%d\n", ev_fd);  
  33.                 pSocket->OnRead();  
  34.             }  
  35.   
  36.             if (events[i].events & EPOLLOUT)  
  37.             {  
  38.                 //log("OnWrite, socket=%d\n", ev_fd);  
  39.                 pSocket->OnWrite();  
  40.             }  
  41.   
  42.             if (events[i].events & (EPOLLPRI | EPOLLERR | EPOLLHUP))  
  43.             {  
  44.                 //log("OnClose, socket=%d\n", ev_fd);  
  45.                 pSocket->OnClose();  
  46.             }  
  47.   
  48.             pSocket->ReleaseRef();  
  49.         }  
  50.   
  51.         _CheckTimer();  
  52.         _CheckLoop();  
  53.     }  
  54. }  

在事件分發中需要詳解的是從socket中讀取客戶請求數據並解析PDU數據包，處理客戶請求，回覆效應，其他socket連接等部分在之前的文章中已經敘述過了，這裏就不再重複了，下面主要陳述db_proxy_server中處理客戶請求的流程。

在db_proxy_server中接收到用戶的請求數據後都會在如下的函數中解析請求數據。

[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. void CProxyConn::HandlePduBuf(uchar_t* pdu_buf, uint32_t pdu_len)  
  2. {  
  3.     CImPdu* pPdu = NULL;  
  4.     pPdu = CImPdu::ReadPdu(pdu_buf, pdu_len);  
  5.     if (pPdu->GetCommandId() == IM::BaseDefine::CID_OTHER_HEARTBEAT) {  
  6.         return;  
  7.     }  
  8.       
  9.     pdu_handler_t handler = s_handler_map->GetHandler(pPdu->GetCommandId());  
  10.       
  11.     if (handler) {  
  12.         CTask* pTask = new CProxyTask(m_uuid, handler, pPdu);  
  13.         g_thread_pool.AddTask(pTask);  
  14.     } else {  
  15.         log("no handler for packet type: %d", pPdu->GetCommandId());  
  16.     }  
  17. }  
解析接收到的PDU數據包，根據CommandId判斷是否是心跳包，如果是心跳包直接丟失，不是心跳包則在CHandlerMap中獲取對應CommandId的回調，創建一個新的CProxyTask任務類，將任務類隨機的加入到工作線程的任務隊列中。


[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. void CThreadPool::AddTask(CTask* pTask)  
  2. {  
  3.     /* 
  4.      * select a random thread to push task 
  5.      * we can also select a thread that has less task to do 
  6.      * but that will scan the whole thread list and use thread lock to get each task size 
  7.      */  
  8.     uint32_t thread_idx = random() % m_worker_size;  
  9.     m_worker_list[thread_idx].PushTask(pTask);  
  10. }  
線程在處理任務的時候會調用相應任務類的Run方法，處理任務

[cpp] view plain copy
 在CODE上查看代碼片派生到我的代碼片
  1. void CProxyTask::run()  
  2. {  
  3.   
  4.     if (!m_pPdu) {  
  5.         // tell CProxyConn to close connection with m_conn_uuid  
  6.         CProxyConn::AddResponsePdu(m_conn_uuid, NULL);  
  7.     } else {  
  8.         if (m_pdu_handler) {  
  9.             m_pdu_handler(m_pPdu, m_conn_uuid);  
  10.         }  
  11.     }  
  12. }  

至此db_proxy_server的整個初始化流程和處理流程都介紹完畢。在整個db server中核心思想就是池化技術，（DB連接池，工作線程池）；整個核心流程是創建線程池，根據命令ID註冊對應的處理回調，在線程回調函數中處理任務隊列，依次取出任務，根據註冊的回調處理任務請求，迴響應。


鑑於本人理解有限，在行文的過程中可能存在一些理解或者描述錯誤的地方，請各位看官指正，TT_SERVER詳解系列，是本人學習teamtalk源碼的一些理解和心得，看源碼主要看的是設計方法，處理思維，在不斷學習中進步。


發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

CentOS 安裝 SVN1.7.7

CentOS默認的yum --install subversion ，安裝的是1.6版本 安裝1.7腳本爲： #!/bin/bash echo WANdisco Subversion Installer for Cen

dreamZhf 2020-07-08 12:36:10

linux CentOS7 mysql 源碼安裝和rpm安裝

今天是安裝linux mysql第三天，終於安裝成功了。 第一種方法，源碼安裝。 下載 cmake-2.8.10.2.tar.gz 和 mysql-5.6.4-m7.tar.gz 上傳到服務器解壓完成 1.在cmake-2.8.10.2這

weixin_38081382 2020-07-08 12:31:47

No more authentication methods to try,Permission denied (publickey)

簡言之就是ssh client更新了，不支持rsa的私鑰，導致無法登陸。ssh登陸服務器，出現類似下面的提示：debug3: authmethod_is_enabled publickey debug1: Next authenticati

the5fire 2023-11-21 09:53:05

linux有磁盤空間卻顯示不足 linux中inode使用率過高處理辦法 linux中inode使用率過高處理辦法

linux中inode使用率過高處理辦法 前幾天收到監控告警，說Inode節點空間不足，之前沒處理過這種問題，所以記錄一下處理過程，便於以後查閱。 Inode使用率高並不會影響系統正常運行和新文件的創建，但是當使用率達到100%的時候，

故宮博物院 2022-12-25 14:18:39

Unixbench：簡介及使用【轉】

轉自：https://www.cnblogs.com/chenshengkai/p/12761467.html 一、安裝 1.下載 https://github.com/kdlucas/byte-unixbench/archive

張昺華-sky 2022-06-30 14:35:50

linux下kill殺死進程的命令

常規篇：　首先，用ps查看進程，方法如下： $ ps -ef … smx 1822 1 0 11:38 ? 00:00:49 gnome-terminal smx 1823 1822 0 11:38 ? 00:00:00 gnome-p

K~hat 2020-11-10 13:34:45

基於tiny4412的Linux內核移植 -- 設備樹的展開【轉】

轉自：https://www.cnblogs.com/pengdonglin137/p/5248114.html 閱讀目錄(Content) 作者信息 平臺簡介 摘要 正文 一、根據設備樹創建device node鏈表 二、遍歷de

張昺華-sky 2020-10-22 13:20:25

增加FastDfs多文件存儲路徑

項目需要增加聊天會話功能，涉及到上傳語音圖片等信息。考慮新增一個目錄，所有相關文件存在一個相同的目錄中。因此需要對原項目增加一個存儲的路徑。以前的項目因爲只有一個路徑，且已經運行中。走了些彎路，僅此記錄操作過程。nginx version

pengdayong77 2020-07-08 12:37:23

supervisor管理redis，mysql進程

參考:https://blog.csdn.net/lihao21/article/details/77689790 查看supervisor的管理文件 查看redis的啓動文件 編寫supervisor的ini文件  [progra

pengdayong77 2020-07-08 12:37:23

linux下禁止用戶使用密碼方式登陸，而使用密鑰方式登陸

使用putty生成密鑰和登陸根據公鑰認證的原理（見後面說明），認證雙方任何一方都可製作該鑰匙對，並且只要認證方有被認證方的公鑰信息，即可匹配成功。這裏，我們先以Windows上的putty登陸Linux服務器爲例說明。所以，該密鑰對由pu

dreamZhf 2020-07-08 12:36:09

find的用法：find查找指定文件和文件夾，設置爲指定用戶和用戶組

find . -name js  查找當前文件夾內名稱完全是js的文件和文件夾 find . -name "*js*"  查找當前文件夾內名稱包含js的文件和文件夾 find . -type d -name "*js"  查找當前文件夾

sh2018 2020-07-08 12:35:54

centos創建應用快捷方式文件的語法

以下是在創建應用程序桌面快捷方式文件的內容要求： [Desktop Entry] 文件頭 Encoding 編碼格式 Name 應用名稱 Name[xx] 不同語言的應用名稱 Comment 描述 E

柘月十七 2020-07-08 12:33:16

關於IP地址與主機名映射的/etc/hosts文件配置

爲什麼要這樣做？ 首先，在hadoop工作就像是一個社團幫派，master是老大，而slave1、slave2等就是master的小弟。但是，slave並沒有像我們那麼聰明一眼就能分辨出自己的老大，它們是以ip地址作爲辨別的。那麼

柘月十七 2020-07-08 12:33:16

阿里年薪破百架構師推薦：鳥哥的Linux私房菜，搭配面試題，真香

在Linux實操的過程中，你是否有過這些疑問： 如何提取日誌中含有關鍵字的指定行，上一行或上幾行？ ln 做了符號鏈接，對符號鏈接進行權限修改，原文件是否會受到影響？ Shell 腳本里有很多特殊符號，到底該怎麼用？網上流傳的

毛发旺盛的程序员 2020-07-08 12:27:30

臨時設置環境變量（python和Linux命令行）

python中設置環境變量（臨時） 使用os模塊 import os #當前存在的環境變量，可以在ipython中直接輸入下面這句查看keys In [3]: os.environ.keys() Out[3]: ['LC_NUM

lscelory 2020-07-08 12:24:41