一致性哈希算法的簡單實現和在redis集羣的應用

    項目中需要搭建一個簡單的redis集羣，用來存儲系統中的特徵值，利用到一致性哈希算法，簡介可以看一致性哈希算法，本文簡單實現了一致性哈希的算法，主要闡述一下應用場景和一些感想。

#ifndef _CONSISTENTHASH_H #define _CONSISTENTHASH_H #include<vector> #include<map> #include<utility> #include<string> using namespace std; class ConsistentHash { public: ConsistentHash(); ~ConsistentHash(); ConsistentHash(int cachedNodeNum, int virtualNodeNum); int getCachedNodeId(uint64_t key); int getCachedNodeId(string key); private: void getVirtualNodeForString(int cachedNodeNum, int virtualNodeNum, string &virtualNodeString); private: vector<uint64_t> vHashValues; map<uint64_t, pair<int int=""> > mVirtualNodeMap; int cachedNodeNum; int virtualNodeNum; }; #endif

#include"ConsistentHash.h" #include"city.h" #include<iostream> #include<algorithm> #include<vector> using namespace std; ConsistentHash::ConsistentHash() { } ConsistentHash::~ConsistentHash() { } /* * cachedNodeNum:cache節點的數量 * virtualNodeNum:虛擬節點的個數 * 根據cache節點數量和虛擬節點個數生成環 */ ConsistentHash::ConsistentHash(int cachedNodeNum, int virtualNodeNum) { this->cachedNodeNum = cachedNodeNum; this->virtualNodeNum = virtualNodeNum; for(int i = 0; i < cachedNodeNum; ++i) { for(int j = 0; j < virtualNodeNum; ++j) { string hashStr = ""; uint64 hashInt = 0; //可以根據節點信息計算hash值 getVirtualNodeForString(i, j, hashStr); //利用Google的CityHash算法計算hash值 hashInt = CityHash64(hashStr.c_str(), hashStr.size()); vHashValues.push_back(hashInt); mVirtualNodeMap[hashInt] = make_pair(i, j); } } sort(vHashValues.begin(), vHashValues.end()); } /* * key:要存儲的字符串 * 獲取該字符串要存儲的cache節點id */ int ConsistentHash::getCachedNodeId(string key) { vector<uint64_t>::iterator low; uint64_t hashInt = CityHash64(key.c_str(), key.size()); low = lower_bound(vHashValues.begin(), vHashValues.end(), hashInt); uint64_t nextHash; if(low == vHashValues.end()) { nextHash = vHashValues[0]; } else { nextHash = vHashValues[low - vHashValues.begin()]; } return mVirtualNodeMap[nextHash].first; } int ConsistentHash::getCachedNodeId(uint64_t key) { vector<uint64_t>::iterator low; uint64_t hashInt = key; low = lower_bound(vHashValues.begin(), vHashValues.end(), hashInt); uint64_t nextHash; if(low == vHashValues.end()) { nextHash = vHashValues[0]; } else { nextHash = vHashValues[low - vHashValues.begin()]; } return mVirtualNodeMap[nextHash].first; } void ConsistentHash::getVirtualNodeForString(int cachedNodeNum, int virtualNodeNum, string &virtualNodeString) { virtualNodeString = ("node:" + cachedNodeNum); virtualNodeString += ":vnode:"; virtualNodeString = virtualNodeString + ("" + virtualNodeNum); }

以上代碼比較簡單的實現了一致性哈希的算法。算法對來自客戶端的請求進行分發，實現數據的存儲和讀取。redis也提供了相關的備份機制，但是是以犧牲了一部分的性能爲代價的，結合我們的應用場景，並沒有採用相關的備份機制，即使redis掛了，將模型重新計算和相關的特徵值存入就可以了，因爲特徵值丟失的代價是我們可以承受的，而且模型更新的間隔比較短，所以就沒有采用相關的備份機制，後續我們加入了雙寫的功能，即一份數據存儲到不同的兩個節點上，只需要在原有代碼基礎上稍加改動就行了，這樣即使一個redis掛了，可以到另一個節點讀取數據。