【SpringBoot DB 系列】Redis 高級特性之 Bitmap 使用姿勢及應用場景介紹

【SpringBoot DB 系列】Redis 高級特性之 Bitmap 使用姿勢及應用場景介紹

前面介紹過 redis 的五種基本數據結構，如 String，List, Set, ZSet, Hash，這些屬於相對常見了；在這些基本結果之上，redis 還提供了一些更高級的功能，如 geo, bitmap, hyperloglog，pub/sub，本文將主要介紹 Bitmap 的使用姿勢以及其適用場景，主要知識點包括

bitmap 基本使用
日活統計應用場景中 bitmap 使用姿勢
點贊去重應用場景中 bitmap 使用姿勢
布隆過濾器 bloomfilter 基本原理及體驗 case

I. 基本使用

1. 配置

我們使用 SpringBoot 2.2.1.RELEASE來搭建項目環境，直接在pom.xml中添加 redis 依賴

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

如果我們的 redis 是默認配置，則可以不額外添加任何配置；也可以直接在application.yml配置中，如下

spring:
  redis:
    host: 127.0.0.1
    port: 6379
    password:

2. 使用姿勢

bitmap 主要就三個操作命令，setbit，getbit以及 bitcount

a. 設置標記

即setbit，主要是指將某個索引，設置爲 1(設置 0 表示抹去標記)，基本語法如下

# 請注意這個index必須是數字，後面的value必須是0/1
setbit key index 0/1

對應的 SpringBoot 中，藉助 RestTemplate 可以比較容易的實現，通常有兩種寫法，都可以

@Autowired
private StringRedisTemplate redisTemplate;

/**
 * 設置標記位
 *
 * @param key
 * @param offset
 * @param tag
 * @return
 */
public Boolean mark(String key, long offset, boolean tag) {
    return redisTemplate.opsForValue().setBit(key, offset, tag);
}

public Boolean mark2(String key, long offset, boolean tag) {
    return redisTemplate.execute(new RedisCallback<Boolean>() {
        @Override
        public Boolean doInRedis(RedisConnection connection) throws DataAccessException {
            return connection.setBit(key.getBytes(), offset, tag);
        }
    });
}

上面兩種寫法的核心區別，就是 key 的序列化問題，第一種寫法使用默認的 jdk 字符串序列化，和後面的getBytes()會有一些區別，關於這個，有興趣的小夥伴可以看一下我之前的博文: RedisTemplate 配置與使用#序列化問題

b. 判斷存在與否

即 getbit key index，如果返回 1，表示存在否則不存在

/**
 * 判斷是否標記過
 *
 * @param key
 * @param offest
 * @return
 */
public Boolean container(String key, long offest) {
    return redisTemplate.opsForValue().getBit(key, offest);
}

c. 計數

即 bitcount key，統計和

/**
 * 統計計數
 *
 * @param key
 * @return
 */
public long bitCount(String key) {
    return redisTemplate.execute(new RedisCallback<Long>() {
        @Override
        public Long doInRedis(RedisConnection redisConnection) throws DataAccessException {
            return redisConnection.bitCount(key.getBytes());
        }
    });
}

3. 應用場景

前面的基本使用比較簡單，在介紹 String 數據結構的時候也提過，我們重點需要關注的是 bitmap 的使用場景，它可以幹嘛用，什麼場景下使用它會有顯著的優勢

日活統計
點贊
bloomfilter

上面三個場景雖有相似之處，但實際的應用場景還是些許區別，接下來我們逐一進行說明

a. 日活統計

統計應用或網站的日活，這個屬於比較常見的 case 了，如果是用 redis 來做這個事情，首先我們最容易想到的是 Hash 結構，一般邏輯如下

根據日期，設置 key，如今天爲 2020/10/13, 那麼 key 可以爲 app_20_10_13
其次當用戶訪問時，設置 field 爲 userId, value 設置爲 true
判斷日活則是統計 map 的個數hlen app_20_10_13

上面這個邏輯有毛病麼？當然沒有問題，但是想一想，當我們的應用做的很 nb 的時候，每天的日活都是百萬，千萬級時，這個內存開銷就有點嚇人了

接下來我們看一下 bitmap 可以怎麼做

同樣根據日期設置 key
當用戶訪問時，index 設置爲 userId，setbit app_20_10_13 uesrId 1
日活統計 bitcount app_20_10_13

簡單對比一下上面兩種方案

當數據量小時，且 userid 分佈不均勻，小的爲個位數，大的幾千萬，上億這種，使用 bitmap 就有點虧了，因爲 userId 作爲 index，那麼 bitmap 的長度就需要能容納最大的 userId，但是實際日活又很小，說明 bitmap 中間有大量的空白數據

反之當數據量很大時，比如百萬/千萬，userId 是連續遞增的場景下，bitmap 的優勢有兩點：1.存儲開銷小， 2.統計總數快

c. 點贊

點讚的業務，最主要的一點是一個用戶點贊過之後，就不能繼續點讚了（當然某些業務場景除外），所以我們需要知道是否可以繼續點贊

上面這個 hash 當然也可以實現，我們這裏則主要討論一下 bitmap 的實現邏輯

比如我們希望對一個文章進行點贊統計，那麼我們根據文章 articleId 來生成 redisKey=like_1121，將 userId 作爲 index
首先是通過getbit like_1121 userId 來判斷是否點贊過，從而限制用戶是否可以操作

Hash 以及 bitmap 的選擇和上面的考量範圍差不多

d. 布隆過濾器 bloomfilter

布隆過濾器可謂是大名鼎鼎了，我們這裏簡單的介紹一下這東西是啥玩意

底層存儲爲一個 bitmap
當來一個數據時，經過 n 個 hash 函數，得到 n 個數值
將 hash 得到的 n 個數值，映射到 bitmap，標記對應的位置爲 1

如果來一個數據，通過 hash 計算之後，若這個 n 個值，對應的 bitmap 都是 1，那麼表示這個數據可能存在；如果有一個不爲 1，則表示這個數據一定不存在

請注意：不存在時，是一定不存在；存在時，則不一定

從上面的描述也知道，bloomfilter 的底層數據結構就是 bitmap，當然它的關鍵點在 hash 算法；根據它未命中時一定不存在的特性，非常適用於緩存擊穿的問題解決

體驗說明

Redis 的布隆過濾器主要針對>=4.0，通過插件的形式提供，項目源碼地址爲: https://github.com/RedisBloom/RedisBloom，下面根據 readme 的說明，簡單的體驗一下 redis 中 bloomfilter 的使用姿勢

# docker 方式安裝
docker run -p 6379:6379 --name redis-redisbloom redislabs/rebloom:latest

# 通過redis-cli方式訪問
docker exec -it redis-redisbloom bash

# 開始使用
# redis-cli
127.0.0.1:6379> keys *
(empty array)
127.0.0.1:6379> bf.add newFilter hello
(integer) 1
127.0.0.1:6379> bf.exists newFilter hello
(integer) 1
127.0.0.1:6379> bf.exists newFilter hell
(integer) 0

bloomfilter 的使用比較簡單，主要是兩個命令bf.add添加元素，bf.exists判斷是否存在，請注意它沒有刪除哦

4. 小結

bitmap 位圖屬於一個比較精巧的數據結構，通常在數據量大的場景下，會有出現的表現效果；redis 本身基於 String 數據結構來實現 bitmap 的功能支持，使用方式比較簡單，基本上就下面三個命令

setbit key index 1/0: 設置
getbit key index: 判斷是否存在
bitcount key: 計數統計

本文也給出了 bitmap 的三個常見的應用場景

日活統計：主要藉助bitcount來獲取總數（後面會介紹，在日活十萬百萬以上時，使用 hyperLogLog 更優雅）
點贊: 主要藉助setbit/getbit來判斷用戶是否贊過，從而實現去重
bloomfilter: 基於 bitmap 實現的布隆過濾器，廣泛用於去重的業務場景中（如緩存穿透，爬蟲 url 去重等）

總的來講，bitmap 屬於易用，巧用的數據結構，用得好即能節省內存也可以提高效率，用得不好貌似也不會帶來太大的問題

II. 其他

0. 項目

系列博文

工程源碼

工程：https://github.com/liuyueyi/spring-boot-demo
項目源碼: https://github.com/liuyueyi/spring-boot-demo/tree/master/spring-boot/122-redis-template

1. 一灰灰 Blog

盡信書則不如，以上內容，純屬一家之言，因個人能力有限，難免有疏漏和錯誤之處，如發現 bug 或者有更好的建議，歡迎批評指正，不吝感激

下面一灰灰的個人博客，記錄所有學習和工作中的博文，歡迎大家前去逛逛

一灰灰 Blog 個人博客 https://blog.hhui.top
一灰灰 Blog-Spring 專題博客 http://spring.hhui.top

【SpringBoot DB 系列】Redis 高級特性之 Bitmap 使用姿勢及應用場景介紹

I. 基本使用

1. 配置

2. 使用姿勢

a. 設置標記

b. 判斷存在與否

c. 計數

3. 應用場景

a. 日活統計

c. 點贊

d. 布隆過濾器 bloomfilter

4. 小結

II. 其他

0. 項目

1. 一灰灰 Blog

微服務實踐之使用 Visual Studio 2022 調試Dapr 應用程序

wpf附加屬性理解 WPF附加屬性

【SpringBoot 實戰】數據報表統計並定時推送用戶的手把手教程

一款簡單好用的開源簡繁轉換類庫

萬字總結：分佈式系統的38個知識點

ElasticSearch基本使用姿勢二

實戰小技巧19:List轉Map List的幾種姿勢

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結