Redis 分頁排序查詢

Redis是一個高效的內存數據庫,它支持包括String、List、Set、SortedSet和Hash等數據類型的存儲,在Redis中通常根據數據的key查詢其value值,Redis沒有條件查詢,在面對一些需要分頁或排序的場景時(如評論,時間線),Redis就不太好不處理了。

前段時間在項目中需要將每個主題下的用戶的評論組裝好寫入Redis中,每個主題會有一個topicId,每一條評論會和topicId關聯起來,得到大致的數據模型如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
{
    topicId: 'xxxxxxxx',
    comments: [
        {
            username: 'niuniu',
            createDate: 1447747334791,
            content: '在Redis中分頁',
            commentId: 'xxxxxxx',
            reply: [
                {
                    content: 'yyyyyy'
                    username: 'niuniu'
                },
                ...
            ]
        },
        ...
    ]
}

將評論數據從MySQL查詢出來組裝好存到Redis後,以後每次就可以從Redis獲取組裝好的評論數據,從上面的數據模型可以看出數據都是key-value型數據,無疑要採用hash進行存儲,但是每次拿取評論數據時需要分頁而且還要按createDate字段進行排序,hash肯定是不能做到分頁和排序的。

那麼,就挨個看一下Redis所支持的數據類型:

1、String: 主要用於存儲字符串,顯然不支持分頁和排序。
2、Hash: 主要用於存儲key-value型數據,評論模型中全是key-value型數據,所以在這裏Hash無疑會用到。
3、List: 主要用於存儲一個列表,列表中的每一個元素按元素的插入時的順序進行保存,如果我們將評論模型按createDate排好序後再插入List中,似乎就能做到排序了,而且再利用List中的LRANGE key start stop指令還能做到分頁。嗯,到這裏List似乎滿足了我們分頁和排序的要求,但是評論還會被刪除,就需要更新Redis中的數據,如果每次刪除評論後都將Redis中的數據全部重新寫入一次,顯然不夠優雅,效率也會大打折扣,如果能刪除指定的數據無疑會更好,而List中涉及到刪除數據的就只有LPOP和RPOP這兩條指令,但LPOP和RPOP只能刪除列表頭和列表尾的數據,不能刪除指定位置的數據,所以List也不太適合
(轉載的時候看了下,是有 LREM命令可以做到刪除,但是LRANGE 似乎是一個耗時命令 O(N) )
4、Set: 主要存儲無序集合,無序!排除。
5、SortedSet: 主要存儲有序集合,SortedSet的添加元素指令ZADD key score member [[score,member]…]會給每個添加的元素member綁定一個用於排序的值score,SortedSet就會根據score值的大小對元素進行排序,在這裏就可以將createDate當作score用於排序,SortedSet中的指令ZREVRANGE key start stop又可以返回指定區間內的成員,可以用來做分頁,SortedSet的指令ZREM key member可以根據key移除指定的成員,能滿足刪評論的要求,所以,SortedSet在這裏是最適合的(時間複雜度O(log(N))

所以,我需要用到的數據類型有SortSet和Hash,SortSet用於做分頁排序,Hash用於存儲具體的鍵值對數據,我畫出瞭如下的結構圖:

      在上圖的SortSet結構中將每個主題的topicId作爲set的key,將與該主題關聯的評論的createDate和commentId分別作爲set的score和member,commentId的順序就根據createDate的大小進行排列。
      當需要查詢某個主題某一頁的評論時,就可主題的topicId通過指令zrevrange topicId (page-1)×10 (page-1)×10+perPage這樣就能找出某個主題下某一頁的按時間排好順序的所有評論的commintId。page爲查詢第幾頁的頁碼,perPage爲每頁顯示的條數。
當找到所有評論的commentId後,就可以把這些commentId作爲key去Hash結構中去查詢該條評論對應的內容。
這樣就利用SortSet和Hash兩種結構在Redis中達到了分頁和排序的目的。


博主額外添加的實現算法:

@Test
	public void sortedSetPagenation(){
		for  ( int  i =  1 ; i <=  100 ; i+=10) {  
			// 初始化CommentId索引 SortSet
			RedisClient.zadd("topicId", i, "commentId"+i);
			// 初始化Comment數據 Hash
			RedisClient.hset("Comment_Key","commentId"+i, "comment content .......");
		}  
		// 倒序取 從0條開始取 5條 Id 數據
		LinkedHashSet<String> sets = RedisClient.zrevrangebyscore("topicId", "80", "1", 0, 5);
		String[] items = new String[]{};
		System.out.println(sets.toString());
		// 根據id取comment數據
		List<String> list = RedisClient.hmget("Comment_Key", sets.toArray(items));
		for(String str : list){
			System.out.println(str);
		}
	}
工具類:
package com.util;

import java.util.LinkedHashSet;
import java.util.List;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;

/**
 * Redis 客戶端集羣版
 *
 * @author babylon
 * 2016-5-10
 */
public class RedisClient{
	
	private static  JedisPool jedisPool;
	
	static {
		JedisPoolConfig config = new JedisPoolConfig();
        config.setMaxTotal(Global.MAX_ACTIVE);   
        config.setMaxIdle(Global.MAX_IDLE);
        config.setMaxWaitMillis(-1);
        config.setTestOnBorrow(Global.TEST_ON_BORROW);
        config.setTestOnReturn(Global.TEST_ON_RETURN);
        jedisPool = new JedisPool("redis://:"+Global.REDIS_SERVER_PASSWORD+"@"+Global.REDIS_SERVER_URL+":"+Global.REDIS_SERVER_PORT);
//		jedisPool = new JedisPool(config, Global.REDIS_SERVER_URL,  Integer.parseInt(Global.REDIS_SERVER_PORT), "zjp_Redis_224");
	}

	public static  String set(String key, String value) {
		Jedis jedis = jedisPool.getResource();
		String result = jedis.set(key, value);
		jedis.close();
		return result;
	}

	public static  String get(String key) {
		Jedis jedis = jedisPool.getResource();
		String result = jedis.get(key);
		jedis.close();
		return result;
	}

	public static Long hset(String key, String item, String value) {
		Jedis jedis = jedisPool.getResource();
		Long result = jedis.hset(key, item, value);
		jedis.close();
		return result;
	}

	public static  String hget(String key, String item) {
		Jedis jedis = jedisPool.getResource();
		String result = jedis.hget(key, item);
		jedis.close();
		return result;
	}
	
	/**
	 * Redis Hmget 命令用於返回哈希表中,一個或多個給定字段的值。
		如果指定的字段不存在於哈希表,那麼返回一個 nil 值。
	 * @param key
	 * @param item
	 * @return 一個包含多個給定字段關聯值的表,表值的排列順序和指定字段的請求順序一樣。
	 */
	public static  List<String> hmget(String key, String... item) {
		Jedis jedis = jedisPool.getResource();
		List<String> result = jedis.hmget(key, item);
		jedis.close();
		return result;
	}

	public static  Long incr(String key) {
		Jedis jedis = jedisPool.getResource();
		Long result = jedis.incr(key);
		jedis.close();
		return result;
	}

	public static  Long decr(String key) {
		Jedis jedis = jedisPool.getResource();
		Long result = jedis.decr(key);
		jedis.close();
		return result;
	}

	public static Long expire(String key, int second) {
		Jedis jedis = jedisPool.getResource();
		Long result = jedis.expire(key, second);
		jedis.close();
		return result;
	}

	public static Long ttl(String key) {
		Jedis jedis = jedisPool.getResource();
		Long result = jedis.ttl(key);
		jedis.close();
		return result;
	}

	public static Long hdel(String key, String item) {
		Jedis jedis = jedisPool.getResource();
		Long result = jedis.hdel(key, item);
		jedis.close();
		return result;
	}

	public static Long del(String key) {
		Jedis jedis = jedisPool.getResource();
		Long result = jedis.del(key);
		jedis.close();
		return result;
	}
	
	public static Long rpush(String key, String... strings) {
		Jedis jedis = jedisPool.getResource();
		Long result = jedis.rpush(key, strings);
		jedis.close();
		return result;
	}

	/**
	 * Redis Lrange 返回列表中指定區間內的元素,區間以偏移量 START 和 END 指定。 其中 0 表示列表的第一個元素, 1 表示列表的第二個元素,以此類推。 
	 * 你也可以使用負數下標,以 -1 表示列表的最後一個元素, -2 表示列表的倒數第二個元素,以此類推。
	 * @param string
	 * @param start
	 * @param end
	 * @return
	 */
	public static List<String> lrange(String key, int start, int end) {
		Jedis jedis = jedisPool.getResource();
		List<String> result = jedis.lrange(key, start, end);
		jedis.close();
		return result;
	}

	/**
	 * 從列表中從頭部開始移除count個匹配的值。如果count爲零,所有匹配的元素都被刪除。如果count是負數,內容從尾部開始刪除。
	 * @param string
	 * @param string2
	 * @param i
	 */
	public static Long lrem(String key, Long count, String value) {
		Jedis jedis = jedisPool.getResource();
		Long result = jedis.lrem(key, count, value);
		jedis.close();
		return result;
	}

	/**
	 * Redis Zadd 命令用於將一個或多個成員元素及其分數值加入到有序集當中。
		如果某個成員已經是有序集的成員,那麼更新這個成員的分數值,並通過重新插入這個成員元素,來保證該成員在正確的位置上。
		分數值可以是整數值或雙精度浮點數。
		如果有序集合 key 不存在,則創建一個空的有序集並執行 ZADD 操作。
		當 key 存在但不是有序集類型時,返回一個錯誤。
	 * @param string
	 * @param i
	 * @param string2
	 * @return 被成功添加的新成員的數量,不包括那些被更新的、已經存在的成員。
	 */
	public static Long zadd(String key, double score, String member) {
		Jedis jedis = jedisPool.getResource();
		Long result = jedis.zadd(key, score, member);
		jedis.close();
		return result;
	}
	
	/**
	 * Redis Zrevrangebyscore 返回有序集中指定分數區間內的所有的成員。有序集成員按分數值遞減(從大到小)的次序排列。
		具有相同分數值的成員按字典序的逆序(reverse lexicographical order )排列。
		除了成員按分數值遞減的次序排列這一點外, ZREVRANGEBYSCORE 命令的其他方面和 ZRANGEBYSCORE 命令一樣。
	 * @param key
	 * @param max
	 * @param min
	 * @param offset
	 * @param count
	 * @return 指定區間內,帶有分數值(可選)的有序集成員的列表。
	 */
	public static LinkedHashSet<String> zrevrangebyscore(String key, String max, String min, int offset, int count){
		Jedis jedis = jedisPool.getResource();
		LinkedHashSet<String> result = (LinkedHashSet<String>) jedis.zrevrangeByScore(key, max, min, offset, count);
		jedis.close();
		return result;
	}

}



發佈了38 篇原創文章 · 獲贊 111 · 訪問量 59萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章