布隆過濾器（Bloom Filter）原理以及應用

布隆過濾器（Bloom Filter）是1970年由布隆提出的。它實際上是一個很長的二進制向量和一系列隨機映射函數。布隆過濾器可以用於檢索一個元素是否在一個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的算法，缺點是有一定的誤識別率和刪除困難。

hash原理

Hash （哈希，或者散列）函數在計算機領域，尤其是數據快速查找領域，加密領域用的極廣。
其作用是將一個大的數據集映射到一個小的數據集上面（這些小的數據集叫做哈希值，或者散列值）。
一個應用是Hash table（散列表，也叫哈希表），是根據哈希值 (Key value) 而直接進行訪問的數據結構。也就是說，它通過把哈希值映射到表中一個位置來訪問記錄，以加快查找的速度。下面是一個典型的 hash 函數 / 表示意圖：

哈希函數有以下兩個特點：

如果兩個散列值是不相同的（根據同一函數），那麼這兩個散列值的原始輸入也是不相同的。
散列函數的輸入和輸出不是唯一對應關係的，如果兩個散列值相同，兩個輸入值很可能是相同的。但也可能不同，這種情況稱爲 “散列碰撞”（或者 “散列衝突”）。
缺點： 引用吳軍博士的《數學之美》中所言，哈希表的空間效率還是不夠高。如果用哈希表存儲一億個垃圾郵件地址，每個email地址 對應 8bytes, 而哈希表的存儲效率一般只有50%，因此一個email地址需要佔用16bytes. 因此一億個email地址佔用1.6GB，如果存儲幾十億個email address則需要上百GB的內存。除非是超級計算機，一般的服務器是無法存儲的。

所以要引入下面的 Bloom Filter。

布隆過濾器原理

如果想判斷一個元素是不是在一個集合裏，一般想到的是將集合中所有元素保存起來，然後通過比較確定。鏈表、樹、散列表（又叫哈希表，Hash table）等等數據結構都是這種思路。但是隨着集合中元素的增加，我們需要的存儲空間越來越大。同時檢索速度也越來越慢。

Bloom Filter 是一種空間效率很高的隨機數據結構，Bloom filter 可以看做是對 bit-map 的擴展, 它的原理是：

當一個元素被加入集合時，通過 K 個 Hash 函數將這個元素映射成一個位陣列（Bit array）中的 K 個點，把它們置爲 1。檢索時，我們只要看看這些點是不是都是 1 就（大約）知道集合中有沒有它了：

如果這些點有任何一個 0，則被檢索元素一定不在；
如果都是 1，則被檢索元素很可能在。

布隆過濾器優點

它的優點是空間效率和查詢時間都遠遠超過一般的算法，布隆過濾器存儲空間和插入 / 查詢時間都是常數O(k)。另外, 散列函數相互之間沒有關係，方便由硬件並行實現。布隆過濾器不需要存儲元素本身，在某些對保密要求非常嚴格的場合有優勢。

布隆過濾器缺點

但是布隆過濾器的缺點和優點一樣明顯。誤算率是其中之一。隨着存入的元素數量增加，誤算率隨之增加。但是如果元素數量太少，則使用散列表足矣。
(誤判補救方法是：再建立一個小的白名單，存儲那些可能被誤判的信息。)

另外，一般情況下不能從布隆過濾器中刪除元素. 我們很容易想到把位數組變成整數數組，每插入一個元素相應的計數器加 1, 這樣刪除元素時將計數器減掉就可以了。然而要保證安全地刪除元素並非如此簡單。首先我們必須保證刪除的元素的確在布隆過濾器裏面. 這一點單憑這個過濾器是無法保證的。另外計數器迴繞也會造成問題。（google guava實現的布隆過濾器裏面就沒有包含刪除元素）

google guava實現的布隆過濾器簡單使用

場景描述：100W個字符串信息放入到布隆過濾器，另外隨機生成1W個字符串，判斷他們在100W裏面是否存在

<dependency>
        <groupId>com.google.guava</groupId>
        <artifactId>guava</artifactId>
        <version>19.0</version>
</dependency>

package guava.hash;

import java.util.ArrayList;
import java.util.HashSet;
import java.util.List;
import java.util.Set;
import java.util.UUID;

import com.google.common.base.Charsets;
import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;

/**
 * google guava 布隆過濾器的使用
 */
public class BloomFilterTest {
	
	private static final int insertions = 1000000; // 100萬

	public static void main(String[] args) {
		// 初始化一個存儲string數據的布隆過濾器,默認fpp（誤差率） 0.03
		BloomFilter<String> bf = BloomFilter.create(Funnels.stringFunnel(Charsets.UTF_8), insertions);

		Set<String> set = new HashSet<String>(insertions);
		List<String> list = new ArrayList<String>(insertions);

		for (int i = 0; i < insertions; i++) {
			String uuid = UUID.randomUUID().toString();
			bf.put(uuid);
			set.add(uuid);
			list.add(uuid);
		}

		int wrong = 0; // 布隆過濾器誤判的次數
		int right = 0; // 布隆過濾器正確次數

		for (int i = 0; i < 10000; i++) {
			String str = i % 100 == 0 ? list.get(i / 100) : UUID.randomUUID().toString();
			if (bf.mightContain(str)) {
				if (set.contains(str)) {
					right++;
				} else {
					wrong++;
				}
			}
		}

		// right 爲100
		System.out.println("right:" + right);
		// 因爲誤差率爲3%，所以一萬條數據wrong的值在300左右
		System.out.println("wrong:" + wrong);
	}

}

布隆過濾器的應用場景

1.Google著名的分佈式數據庫Bigtable以及Hbase使用了布隆過濾器來查找不存在的行或列，以減少磁盤查找的ＩＯ次數。
2.檢查垃圾郵件地址
假定我們存儲一億個電子郵件地址，我們先建立一個十六億二進制（比特），即兩億字節的向量，然後將這十六億個二進制全部設置爲零。對於每一個電子郵件地址 X，我們用八個不同的隨機數產生器（F1,F2, ...,F8） 產生八個信息指紋（f1, f2, ..., f8）。再用一個隨機數產生器 G 把這八個信息指紋映射到 1 到十六億中的八個自然數 g1, g2, ...,g8。現在我們把這八個位置的二進制全部設置爲一。當我們對這一億個 email 地址都進行這樣的處理後。一個針對這些 email 地址的布隆過濾器就建成了。
3.Google chrome 瀏覽器使用bloom filter識別惡意鏈接（能夠用較少的存儲空間表示較大的數據集合，簡單的想就是把每一個URL都可以映射成爲一個bit）
4.文檔存儲檢索系統也採用布隆過濾器來檢測先前存儲的數據
5.爬蟲URL地址去重
A,B 兩個文件，各存放 50 億條 URL，每條 URL 佔用 64 字節，內存限制是 4G，讓你找出 A,B 文件共同的 URL。如果是三個乃至 n 個文件呢？
分析 ：如果允許有一定的錯誤率，可以使用 Bloom filter，4G 內存大概可以表示 340 億 bit。將其中一個文件中的 url 使用 Bloom filter 映射爲這 340 億 bit，然後挨個讀取另外一個文件的 url，檢查是否與 Bloom filter，如果是，那麼該 url 應該是共同的 url（注意會有一定的錯誤率）。
6.解決緩存穿透問題
緩存穿透是指查詢一個一定不存在的數據，由於緩存是不命中時被動寫的，並且出於容錯考慮，如果從存儲層查不到數據則不寫入緩存，這將導致這個不存在的數據每次請求都要到存儲層去查詢，失去了緩存的意義。在流量大時，可能DB就掛掉了，要是有人利用不存在的key頻繁攻擊我們的應用，這就是漏洞。

僞代碼如下：