談談Memcached與Redis

1. Memcached簡介

Memcached是以LiveJurnal旗下Danga Interactive公司的Bard Fitzpatric爲首開發的高性能分佈式內存緩存服務器。其本質上就是一個內存key-value數據庫,但是不支持數據的持久化,服務器關閉之後數據全部丟失。Memcached使用C語言開發,在大多數像Linux、BSD和Solaris等POSIX系統上,只要安裝了libevent即可使 用。在Windows下,它也有一個可用的非官方版本(http://code.jellycan.com/memcached/)。Memcached 的客戶端軟件實現非常多,包括C/C++, PHP, Java, Python, Ruby, Perl, Erlang, Lua等。當前Memcached使用廣泛,除了LiveJournal以外還有Wikipedia、Flickr、Twitter、Youtube和 WordPress等。

在Window系統下,Memcached的安裝非常方便,只需從以上給出的地址下載可執行軟件然後運行memcached.exe –d install即可完成安裝。在Linux等系統下,我們首先需要安裝libevent,然後從獲取源碼,make && make install即可。默認情況下,Memcached的服務器啓動程序會安裝到/usr/local/bin目錄下。在啓動Memcached時,我們可以爲其配置不同的啓動參數。

1.1 Memcache配置

Memcached服務器在啓動時需要對關鍵的參數進行配置,下面我們就看一看Memcached在啓動時需要設定哪些關鍵參數以及這些參數的作用。

1)-p <num> Memcached的TCP監聽端口,缺省配置爲11211;

2)-U <num> Memcached的UDP監聽端口,缺省配置爲11211,爲0時表示關閉UDP監聽;

3)-s <file> Memcached監聽的UNIX套接字路徑;

4)-a <mask> 訪問UNIX套接字的八進制掩碼,缺省配置爲0700;

5)-l <addr> 監聽的服務器IP地址,默認爲所有網卡;

6)-d 爲Memcached服務器啓動守護進程;

7)-r 最大core文件大小;

8)-u <username> 運行Memcached的用戶,如果當前爲root的話需要使用此參數指定用戶;

9)-m <num> 分配給Memcached使用的內存數量,單位是MB;

10)-M 指示Memcached在內存用光的時候返回錯誤而不是使用LRU算法移除數據記錄;

11)-c <num> 最大併發連數,缺省配置爲1024;

12)-v –vv –vvv 設定服務器端打印的消息的詳細程度,其中-v僅打印錯誤和警告信息,-vv在-v的基礎上還會打印客戶端的命令和相應,-vvv在-vv的基礎上還會打印內存狀態轉換信息;

13)-f <factor> 用於設置chunk大小的遞增因子;

14)-n <bytes> 最小的chunk大小,缺省配置爲48個字節;

15)-t <num> Memcached服務器使用的線程數,缺省配置爲4個;

16)-L 嘗試使用大內存頁;

17)-R 每個事件的最大請求數,缺省配置爲20個;

18)-C 禁用CAS,CAS模式會帶來8個字節的冗餘;

2. Redis簡介

Redis是一個開源的key-value存儲系統。與Memcached類似,Redis將大部分數據存儲在內存中,支持的數據類型包括:字符串、哈希 表、鏈表、集合、有序集合以及基於這些數據類型的相關操作。Redis使用C語言開發,在大多數像Linux、BSD和Solaris等POSIX系統上無需任何外部依賴就可以使用。Redis支持的客戶端語言也非常豐富,常用的計算機語言如C、C#、C++、Object-C、PHP、Python、 Java、Perl、Lua、Erlang等均有可用的客戶端來訪問Redis服務器。當前Redis的應用已經非常廣泛,國內像新浪、淘寶,國外像 Flickr、Github等均在使用Redis的緩存服務。

Redis的安裝非常方便,只需從http://redis.io/download獲取源碼,然後make && make install即可。默認情況下,Redis的服務器啓動程序和客戶端程序會安裝到/usr/local/bin目錄下。在啓動Redis服務器時,我們需要爲其指定一個配置文件,缺省情況下配置文件在Redis的源碼目錄下,文件名爲redis.conf。

2.1 Redis配置文件

爲了對Redis的系統實現有一個直接的認識,我們首先來看一下Redis的配置文件中定義了哪些主要參數以及這些參數的作用。

1)daemonize no 默認情況下,redis不是在後臺運行的。如果需要在後臺運行,把該項的值更改爲yes;

2)pidfile /var/run/redis.pid當Redis在後臺運行的時候,Redis默認會把pid文件放在/var/run/redis.pid,你可以配置到其他地址。當運行多個redis服務時,需要指定不同的pid文件和端口;

3)port 6379指定redis運行的端口,默認是6379;

4)bind 127.0.0.1 指定redis只接收來自於該IP地址的請求,如果不進行設置,那麼將處理所有請求。在生產環境中最好設置該項;

5)loglevel debug 指定日誌記錄級別,其中Redis總共支持四個級別:debug、verbose、notice、warning,默認爲verbose。debug表示記錄很多信息,用於開發和測試。verbose表示記錄有用的信息,但不像debug會記錄那麼多。notice表示普通的verbose,常用於生產環 境。warning 表示只有非常重要或者嚴重的信息會記錄到日誌;

6)logfile /var/log/redis/redis.log 配置log文件地址,默認值爲stdout。若後臺模式會輸出到/dev/null;

7)databases 16 可用數據庫數,默認值爲16,默認數據庫爲0,數據庫範圍在0-(database-1)之間;

8)save 900 1保存數據到磁盤,格式爲save <seconds> <changes>,指出在多長時間內,有多少次更新操作,就將數據同步到數據文件rdb。相當於條件觸發抓取快照,這個可以多個條件配合。save 900 1就表示900秒內至少有1個key被改變就保存數據到磁盤;

9)rdbcompression yes 存儲至本地數據庫時(持久化到rdb文件)是否壓縮數據,默認爲yes;

10)dbfilename dump.rdb本地持久化數據庫文件名,默認值爲dump.rdb;

11)dir ./ 工作目錄,數據庫鏡像備份的文件放置的路徑。這裏的路徑跟文件名要分開配置是因爲redis在進行備份時,先會將當前數據庫的狀態寫入到一個臨時文件中, 等備份完成時,再把該臨時文件替換爲上面所指定的文件。而這裏的臨時文件和上面所配置的備份文件都會放在這個指定的路徑當中,AOF文件也會存放在這個目 錄下面。注意這裏必須指定一個目錄而不是文件;

12)slaveof <masterip> <masterport> 主從複製,設置該數據庫爲其他數據庫的從數據庫。設置當本機爲slave服務時,設置master服務的IP地址及端口。在Redis啓動時,它會自動從master進行數據同步;

13)masterauth <master-password> 當master服務設置了密碼保護時(用requirepass制定的密碼)slave服務連接master的密碼;

14)slave-serve-stale-data yes 當從庫同主機失去連接或者複製正在進行,從機庫有兩種運行方式:如果slave-serve-stale-data設置爲yes(默認設置),從庫會繼續 相應客戶端的請求。如果slave-serve-stale-data是指爲no,除去INFO和SLAVOF命令之外的任何請求都會返回一個錯誤"SYNC with master in progress";

15)repl-ping-slave-period 10從庫會按照一個時間間隔向主庫發送PING,可以通過repl-ping-slave-period設置這個時間間隔,默認是10秒;

16)repl-timeout 60 設置主庫批量數據傳輸時間或者ping回覆時間間隔,默認值是60秒,一定要確保repl-timeout大於repl-ping-slave-period;

17)requirepass foobared 設置客戶端連接後進行任何其他指定前需要使用的密碼。因爲redis速度相當快,所以在一臺比較好的服務器下,一個外部的用戶可以在一秒鐘進行150K次的密碼嘗試,這意味着你需要指定非常強大的密碼來防止暴力破解;

18)rename-command CONFIG "" 命令重命名,在一個共享環境下可以重命名相對危險的命令,比如把CONFIG重名爲一個不容易猜測的字符:# rename-command CONFIG b840fc02d524045429941cc15f59e41cb7be6c52。如果想刪除一個命令,直接把它重命名爲一個空字符""即可:rename-command CONFIG "";

19)maxclients 128設置同一時間最大客戶端連接數,默認無限制。Redis可以同時打開的客戶端連接數爲Redis進程可以打開的最大文件描述符數。如果設置 maxclients 0,表示不作限制。當客戶端連接數到達限制時,Redis會關閉新的連接並向客戶端返回max number of clients reached錯誤信息;

20)maxmemory <bytes> 指定Redis最大內存限制。Redis在啓動時會把數據加載到內存中,達到最大內存後,Redis會先嚐試清除已到期或即將到期的Key,Redis同 時也會移除空的list對象。當此方法處理後,仍然到達最大內存設置,將無法再進行寫入操作,但仍然可以進行讀取操作。注意:Redis新的vm機制,會 把Key存放內存,Value會存放在swap區;

21)maxmemory-policy volatile-lru 當內存達到最大值的時候Redis會選擇刪除哪些數據呢?有五種方式可供選擇:volatile-lru代表利用LRU算法移除設置過過期時間的key (LRU:最近使用 Least Recently Used ),allkeys-lru代表利用LRU算法移除任何key,volatile-random代表移除設置過過期時間的隨機key,allkeys_random代表移除一個隨機的key,volatile-ttl代表移除即將過期的key(minor TTL),noeviction代表不移除任何key,只是返回一個寫錯誤。

注意:對於上面的策略,如果沒有合適的key可以移除,寫的時候Redis會返回一個錯誤;

22)appendonly no 默認情況下,redis會在後臺異步的把數據庫鏡像備份到磁盤,但是該備份是非常耗時的,而且備份也不能很頻繁。如果發生諸如拉閘限電、拔插頭等狀況,那麼將造成比較大範圍的數據丟失,所以redis提供了另外一種更加高效的數據庫備份及災難恢復方式。開啓append only模式之後,redis會把所接收到的每一次寫操作請求都追加到appendonly.aof文件中。當redis重新啓動時,會從該文件恢復出之前的狀態,但是這樣會造成appendonly.aof文件過大,所以redis還支持了BGREWRITEAOF指令對appendonly.aof 進行重新整理,你可以同時開啓asynchronous dumps 和 AOF;

23)appendfilename appendonly.aof  AOF文件名稱,默認爲"appendonly.aof";

24)appendfsync everysec  Redis支持三種同步AOF文件的策略: no代表不進行同步,系統去操作,always代表每次有寫操作都進行同步,everysec代表對寫操作進行累積,每秒同步一次,默認是"everysec",按照速度和安全折中這是最好的。

25)slowlog-log-slower-than 10000 記錄超過特定執行時間的命令。執行時間不包括I/O計算,比如連接客戶端,返回結果等,只是命令執行時間。可以通過兩個參數設置slow log:一個是告訴Redis執行超過多少時間被記錄的參數slowlog-log-slower-than(微妙),另一個是slow log 的長度。當一個新命令被記錄的時候最早的命令將被從隊列中移除,下面的時間以微妙微單位,因此1000000代表一分鐘。注意制定一個負數將關閉慢日誌,而設置爲0將強制每個命令都會記錄;

26)hash-max-zipmap-entries 512 && hash-max-zipmap-value 64 當hash中包含超過指定元素個數並且最大的元素沒有超過臨界時,hash將以一種特殊的編碼方式(大大減少內存使用)來存儲,這裏可以設置這兩個臨界值。Redis Hash對應Value內部實際就是一個HashMap,實際這裏會有2種不同實現。這個Hash的成員比較少時Redis爲了節省內存會採用類似一維數組的方式來緊湊存儲,而不會採用真正的HashMap結構,對應的value redisObject的encoding爲zipmap。當成員數量增大時會自動轉成真正的HashMap,此時encoding爲ht;

27)list-max-ziplist-entries 512 list數據類型多少節點以下會採用去指針的緊湊存儲格式;

28)list-max-ziplist-value 64數據類型節點值大小小於多少字節會採用緊湊存儲格式;

29)set-max-intset-entries 512 set數據類型內部數據如果全部是數值型,且包含多少節點以下會採用緊湊格式存儲;

30)zset-max-ziplist-entries 128 zsort數據類型多少節點以下會採用去指針的緊湊存儲格式;

31)zset-max-ziplist-value 64 zsort數據類型節點值大小小於多少字節會採用緊湊存儲格式。

32)activerehashing yes Redis將在每100毫秒時使用1毫秒的CPU時間來對redis的hash表進行重新hash,可以降低內存的使用。當你的使用場景中,有非常嚴格的實時性需要,不能夠接受Redis時不時的對請求有2毫秒的延遲的話,把這項配置爲no。如果沒有這麼嚴格的實時性要求,可以設置爲yes,以便能夠儘可 能快的釋放內存;

2.2 Redis的常用數據類型

與Memcached僅支持簡單的key-value結構的數據記錄不同,Redis支持的數據類型要豐富得多。最爲常用的數據類型主要由五種:String、Hash、List、Set和Sorted Set。在具體描述這幾種數據類型之前,我們先通過一張圖來了解下Redis內部內存管理中是如何描述這些不同數據類型的。

image圖1 Redis對象

Redis內部使用一個redisObject對象來表示所有的key和value。redisObject最主要的信息如圖1所示:type代表一個 value對象具體是何種數據類型,encoding是不同數據類型在redis內部的存儲方式,比如:type=string代表value存儲的是一 個普通字符串,那麼對應的encoding可以是raw或者是int,如果是int則代表實際redis內部是按數值型類存儲和表示這個字符串的,當然前 提是這個字符串本身可以用數值表示,比如:"123" "456"這樣的字符串。這裏需要特殊說明一下vm字段,只有打開了Redis的虛擬內存功能,此字段纔會真正的分配內存,該功能默認是關閉狀態的。通過 Figure1我們可以發現Redis使用redisObject來表示所有的key/value數據是比較浪費內存的,當然這些內存管理成本的付出主要也是爲了給Redis不同數據類型提供一個統一的管理接口,實際作者也提供了多種方法幫助我們儘量節省內存使用。下面我們先來逐一的分析下這五種數據類型的使用和內部實現方式。

1)String

常用命令:set/get/decr/incr/mget等;

應用場景:String是最常用的一種數據類型,普通的key/value存儲都可以歸爲此類;

實現方式:String在redis內部存儲默認就是一個字符串,被redisObject所引用,當遇到incr、decr等操作時會轉成數值型進行計算,此時redisObject的encoding字段爲int。

2)Hash

常用命令:hget/hset/hgetall等

應用場景:我們要存儲一個用戶信息對象數據,其中包括用戶ID、用戶姓名、年齡和生日,通過用戶ID我們希望獲取該用戶的姓名或者年齡或者生日;

實現方式:Redis的Hash實際是內部存儲的Value爲一個HashMap,並提供了直接存取這個Map成員的接口。如圖2所示,Key是用戶 ID, value是一個Map。這個Map的key是成員的屬性名,value是屬性值。這樣對數據的修改和存取都可以直接通過其內部Map的 Key(Redis裏稱內部Map的key爲field), 也就是通過 key(用戶ID) + field(屬性標籤) 就可以操作對應屬性數據。當前HashMap的實現有兩種方式:當HashMap的成員比較少時Redis爲了節省內存會採用類似一維數組的方式來緊湊存 儲,而不會採用真正的HashMap結構,這時對應的value的redisObject的encoding爲zipmap,當成員數量增大時會自動轉成 真正的HashMap,此時encoding爲ht。

image圖2 Redis的Hash數據類型

3)List

常用命令:lpush/rpush/lpop/rpop/lrange等;

應用場景:Redis list的應用場景非常多,也是Redis最重要的數據結構之一,比如twitter的關注列表,粉絲列表等都可以用Redis的list結構來實現;

實現方式:Redis list的實現爲一個雙向鏈表,即可以支持反向查找和遍歷,更方便操作,不過帶來了部分額外的內存開銷,Redis內部的很多實現,包括髮送緩衝隊列等也都是用的這個數據結構。

4)Set

常用命令:sadd/spop/smembers/sunion等;

應用場景:Redis set對外提供的功能與list類似是一個列表的功能,特殊之處在於set是可以自動排重的,當你需要存儲一個列表數據,又不希望出現重複數據時,set是一個很好的選擇,並且set提供了判斷某個成員是否在一個set集合內的重要接口,這個也是list所不能提供的;

實現方式:set 的內部實現是一個 value永遠爲null的HashMap,實際就是通過計算hash的方式來快速排重的,這也是set能提供判斷一個成員是否在集合內的原因。

5)Sorted Set

常用命令:zadd/zrange/zrem/zcard等;

應用場景:Redis sorted set的使用場景與set類似,區別是set不是自動有序的,而sorted set可以通過用戶額外提供一個優先級(score)的參數來爲成員排序,並且是插入有序的,即自動排序。當你需要一個有序的並且不重複的集合列表,那麼可以選擇sorted set數據結構,比如twitter 的public timeline可以以發表時間作爲score來存儲,這樣獲取時就是自動按時間排好序的。

實現方式:Redis sorted set的內部使用HashMap和跳躍表(SkipList)來保證數據的存儲和有序,HashMap裏放的是成員到score的映射,而跳躍表裏存放的 是所有的成員,排序依據是HashMap裏存的score,使用跳躍表的結構可以獲得比較高的查找效率,並且在實現上比較簡單。

2.3 Redis的持久化

Redis雖然是基於內存的存儲系統,但是它本身是支持內存數據的持久化的,而且提供兩種主要的持久化策略:RDB快照和AOF日誌。我們會在下文分別介紹這兩種不同的持久化策略。

2.3.1 Redis的AOF日誌

Redis支持將當前數據的快照存成一個數據文件的持久化機制,即RDB快照。這種方法是非常好理解的,但是一個持續寫入的數據庫如何生成快照呢?Redis藉助了fork命令的copy on write機制。在生成快照時,將當前進程fork出一個子進程,然後在子進程中循環所有的數據,將數據寫成爲RDB文件。

我們可以通過Redis的save指令來配置RDB快照生成的時機,比如你可以配置當10分鐘以內有100次寫入就生成快照,也可以配置當1小時內有 1000次寫入就生成快照,也可以多個規則一起實施。這些規則的定義就在Redis的配置文件中,你也可以通過Redis的CONFIG SET命令在Redis運行時設置規則,不需要重啓Redis。

Redis的RDB文件不會壞掉,因爲其寫操作是在一個新進程中進行的,當生成一個新的RDB文件時,Redis生成的子進程會先將數據寫到一個臨時文件 中,然後通過原子性rename系統調用將臨時文件重命名爲RDB文件,這樣在任何時候出現故障,Redis的RDB文件都總是可用的。同時,Redis 的RDB文件也是Redis主從同步內部實現中的一環。

但是,我們可以很明顯的看到,RDB有他的不足,就是一旦數據庫出現問題,那麼我們的RDB文件中保存的數據並不是全新的,從上次RDB文件生成到 Redis停機這段時間的數據全部丟掉了。在某些業務下,這是可以忍受的,我們也推薦這些業務使用RDB的方式進行持久化,因爲開啓RDB的代價並不高。 但是對於另外一些對數據安全性要求極高的應用,無法容忍數據丟失的應用,RDB就無能爲力了,所以Redis引入了另一個重要的持久化機制:AOF日誌。

2.3.2 Redis的AOF日誌

AOF日誌的全稱是append only file,從名字上我們就能看出來,它是一個追加寫入的日誌文件。與一般數據庫的binlog不同的是,AOF文件是可識別的純文本,它的內容就是一個個 的Redis標準命令。當然,並不是發送發Redis的所有命令都要記錄到AOF日誌裏面,只有那些會導致數據發生修改的命令纔會追加到AOF文件。那麼每一條修改數據的命令都生成一條日誌,那麼AOF文件是不是會很大?答案是肯定的,AOF文件會越來越大,所以Redis又提供了一個功能,叫做AOF rewrite。其功能就是重新生成一份AOF文件,新的AOF文件中一條記錄的操作只會有一次,而不像一份老文件那樣,可能記錄了對同一個值的多次操 作。其生成過程和RDB類似,也是fork一個進程,直接遍歷數據,寫入新的AOF臨時文件。在寫入新文件的過程中,所有的寫操作日誌還是會寫到原來老的 AOF文件中,同時還會記錄在內存緩衝區中。當重完操作完成後,會將所有緩衝區中的日誌一次性寫入到臨時文件中。然後調用原子性的rename命令用新的 AOF文件取代老的AOF文件。

AOF是一個寫文件操作,其目的是將操作日誌寫到磁盤上,所以它也同樣會遇到我們上面說的寫操作的5個流程。那麼寫AOF的操作安全性又有多高呢。實際上 這是可以設置的,在Redis中對AOF調用write(2)寫入後,何時再調用fsync將其寫到磁盤上,通過appendfsync選項來控制,下面 appendfsync的三個設置項,安全強度逐漸變強。

1)appendfsync no

當設置appendfsync爲no的時候,Redis不會主動調用fsync去將AOF日誌內容同步到磁盤,所以這一切就完全依賴於操作系統的調試了。對大多數Linux操作系統,是每30秒進行一次fsync,將緩衝區中的數據寫到磁盤上。

2)appendfsync everysec

當設置appendfsync爲everysec的時候,Redis會默認每隔一秒進行一次fsync調用,將緩衝區中的數據寫到磁盤。但是當這一次的 fsync調用時長超過1秒時。Redis會採取延遲fsync的策略,再等一秒鐘。也就是在兩秒後再進行fsync,這一次的fsync就不管會執行多 長時間都會進行。這時候由於在fsync時文件描述符會被阻塞,所以當前的寫操作就會阻塞。所以結論就是,在絕大多數情況下,Redis會每隔一秒進行一 次fsync。在最壞的情況下,兩秒鐘會進行一次fsync操作。這一操作在大多數數據庫系統中被稱爲group commit,就是組合多次寫操作的數據,一次性將日誌寫到磁盤。

3)appednfsync always

當設置appendfsync爲always時,每一次寫操作都會調用一次fsync,這時數據是最安全的,當然,由於每次都會執行fsync,所以其性能也會受到影響。

3. Memcached和Redis關鍵技術對比

作爲內存數據緩衝系統,Memcached和Redis均具有很高的性能,但是兩者在關鍵實現技術上具有很大差異,這種差異決定了兩者具有不同的特點和不同的適用條件。下面我們會對兩者的關鍵技術進行一些對比,以此來揭示兩者的差異。

3.1 Memcached和Redis的內存管理機制對比

對於像Redis和Memcached這種基於內存的數據庫系統來說,內存管理的效率高低是影響系統性能的關鍵因素。傳統C語言中的 malloc/free函數是最常用的分配和釋放內存的方法,但是這種方法存在着很大的缺陷:首先,對於開發人員來說不匹配的malloc和free容易 造成內存泄露;其次,頻繁調用會造成大量內存碎片無法回收重新利用,降低內存利用率;最後,作爲系統調用,其系統開銷遠遠大於一般函數調用。所以,爲了提高內存的管理效率,高效的內存管理方案都不會直接使用malloc/free調用。Redis和Memcached均使用了自身設計的內存管理機制,但是 實現方法存在很大的差異,下面將會對兩者的內存管理機制分別進行介紹。

3.1.1 Memcached的內存管理機制

Memcached默認使用Slab Allocation機制管理內存,其主要思想是按照預先規定的大小,將分配的內存分割成特定長度的塊以存儲相應長度的key-value數據記錄,以完全解決內存碎片問題。Slab Allocation機制只爲存儲外部數據而設計,也就是說所有的key-value數據都存儲在Slab Allocation系統裏,而Memcached的其它內存請求則通過普通的malloc/free來申請,因爲這些請求的數量和頻率決定了它們不會對整個系統的性能造成影響

Slab Allocation的原理相當簡單。 如圖3所示,它首先從操作系統申請一大塊內存,並將其分割成各種尺寸的塊Chunk,並把尺寸相同的塊分成組Slab Class。其中,Chunk就是用來存儲key-value數據的最小單位。每個Slab Class的大小,可以在Memcached啓動的時候通過制定Growth Factor來控制。假定Figure 1中Growth Factor的取值爲1.25,所以如果第一組Chunk的大小爲88個字節,第二組Chunk的大小就爲112個字節,依此類推。

image圖3 Memcached內存管理架構

當Memcached接收到客戶端發送過來的數據時首先會根據收到數據的大小選擇一個最合適的Slab Class,然後通過查詢Memcached保存着的該Slab Class內空閒Chunk的列表就可以找到一個可用於存儲數據的Chunk。當一條數據庫過期或者丟棄時,該記錄所佔用的Chunk就可以回收,重新添加到空閒列表中。從以上過程我們可以看出Memcached的內存管理制效率高,而且不會造成內存碎片,但是它最大的缺點就是會導致空間浪費。因爲每個 Chunk都分配了特定長度的內存空間,所以變長數據無法充分利用這些空間。如圖 4所示,將100個字節的數據緩存到128個字節的Chunk中,剩餘的28個字節就浪費掉了。

image圖4 Memcached的存儲空間浪費

3.1.2 Redis的內存管理機制

Redis的內存管理主要通過源碼中zmalloc.h和zmalloc.c兩個文件來實現的。Redis爲了方便內存的管理,在分配一塊內存之後,會將 這塊內存的大小存入內存塊的頭部。如圖 5所示,real_ptr是redis調用malloc後返回的指針。redis將內存塊的大小size存入頭部,size所佔據的內存大小是已知的,爲 size_t類型的長度,然後返回ret_ptr。當需要釋放內存的時候,ret_ptr被傳給內存管理程序。通過ret_ptr,程序可以很容易的算出 real_ptr的值,然後將real_ptr傳給free釋放內存。

image圖5 Redis塊分配

Redis通過定義一個數組來記錄所有的內存分配情況,這個數組的長度爲ZMALLOC_MAX_ALLOC_STAT。數組的每一個元素代表當前程序所分配的內存塊的個數,且內存塊的大小爲該元素的下標。在源碼中,這個數組爲zmalloc_allocations。 zmalloc_allocations[16]代表已經分配的長度爲16bytes的內存塊的個數。zmalloc.c中有一個靜態變量 used_memory用來記錄當前分配的內存總大小。所以,總的來看,Redis採用的是包裝的mallc/free,相較於Memcached的內存 管理方法來說,要簡單很多。

3.2 Redis和Memcached的集羣實現機制對比

Memcached是全內存的數據緩衝系統,Redis雖然支持數據的持久化,但是全內存畢竟纔是其高性能的本質。作爲基於內存的存儲系統來說,機器物理內存的大小就是系統能夠容納的最大數據量。如果需要處理的數據量超過了單臺機器的物理內存大小,就需要構建分佈式集羣來擴展存儲能力。

3.2.1 Memcached的分佈式存儲

Memcached本身並不支持分佈式,因此只能在客戶端通過像一致性哈希這樣的分佈式算法來實現Memcached的分佈式存儲。圖6 給出了Memcached的分佈式存儲實現架構。當客戶端向Memcached集羣發送數據之前,首先會通過內置的分佈式算法計算出該條數據的目標節點, 然後數據會直接發送到該節點上存儲。但客戶端查詢數據時,同樣要計算出查詢數據所在的節點,然後直接向該節點發送查詢請求以獲取數據。

image圖6 Memcached客戶端分佈式存儲實現

3.2.2 Redis的分佈式存儲

相較於Memcached只能採用客戶端實現分佈式存儲,Redis更偏向於在服務器端構建分佈式存儲。儘管Redis當前已經發布的穩定版本還沒有添加分佈式存儲功能,但Redis開發版中已經具備了Redis Cluster的基本功能。預計在2.6版本之後,Redis就會發布完全支持分佈式的穩定版本,時間不晚於2012年底。下面我們會根據開發版中的實現,簡單介紹一下Redis Cluster的核心思想。

Redis Cluster是一個實現了分佈式且允許單點故障的Redis高級版本,它沒有中心節點,具有線性可伸縮的功能。圖7給出Redis Cluster的分佈式存儲架構,其中節點與節點之間通過二進制協議進行通信,節點與客戶端之間通過ascii協議進行通信。在數據的放置策略上,Redis Cluster將整個key的數值域分成4096個哈希槽,每個節點上可以存儲一個或多個哈希槽,也就是說當前Redis Cluster支持的最大節點數就是4096。Redis Cluster使用的分佈式算法也很簡單:crc16( key ) % HASH_SLOTS_NUMBER。

image圖7 Redis分佈式架構

爲了保證單點故障下的數據可用性,Redis Cluster引入了Master節點和Slave節點。如圖4所示,在Redis Cluster中,每個Master節點都會有對應的兩個用於冗餘的Slave節點。這樣在整個集羣中,任意兩個節點的宕機都不會導致數據的不可用。當Master節點退出後,集羣會自動選擇一個Slave節點成爲新的Master節點。

image

圖8 Redis Cluster中的Master節點和Slave節點

3.3 Redis和Memcached整體對比

Redis的作者Salvatore Sanfilippo曾經對這兩種基於內存的數據存儲系統進行過比較,總體來看還是比較客觀的,現總結如下:

1)性能對比:由於Redis只使用單核,而Memcached可以使用多核,所以平均每一個核上Redis在存儲小數據時比Memcached性能更 高。而在100k以上的數據中,Memcached性能要高於Redis,雖然Redis最近也在存儲大數據的性能上進行優化,但是比起 Memcached,還是稍有遜色。

2)內存使用效率對比:使用簡單的key-value存儲的話,Memcached的內存利用率更高,而如果Redis採用hash結構來做key-value存儲,由於其組合式的壓縮,其內存利用率會高於Memcached。

3)Redis支持服務器端的數據操作:Redis相比Memcached來說,擁有更多的數據結構和並支持更豐富的數據操作,通常在Memcached 裏,你需要將數據拿到客戶端來進行類似的修改再set回去。這大大增加了網絡IO的次數和數據體積。在Redis中,這些複雜的操作通常和一般的 GET/SET一樣高效。所以,如果需要緩存能夠支持更復雜的結構和操作,那麼Redis會是不錯的選擇。


轉載自:http://blog.sina.com.cn/s/blog_48c95a1901016903.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章