海量數據處理——Bloom Filter（概念、原理及應用）

在網上看到大規模數據處理的相關文章，覺得很不錯，自己加以整理，作爲學習筆記與網友共勉~~

文章結構：

一、Bloom Filter的概念原理

二、Bloom Filter實際應用實例

特此說明：本文是作者整理網友博文，只爲作爲筆記和大家共同學習之用，文中如有不妥，請勿拍磚~~謝謝！！

所整理博文來源：http://www.cnblogs.com/heaad/archive/2011/01/02/1924195.html

http://blog.csdn.net/jiaomeng/article/details/1495500

在此對上述兩篇博文作者特此感謝，廢話不多說了，進入正文吧~

一、Bloom Filter概念和原理

Bloom Filter是一種空間效率很高的隨機數據結構，它利用位數組很簡潔地表示一個集合，並能判斷一個元素是否屬於這個集合。Bloom Filter的這種高效是有一定代價的：在判斷一個元素是否屬於某個集合時，有可能會把不屬於這個集合的元素誤認爲屬於這個集合（false positive）。因此，Bloom Filter不適合那些“零錯誤”的應用場合。而在能容忍低錯誤率的應用場合下，Bloom Filter通過極少的錯誤換取了存儲空間的極大節省。

集合表示和元素查詢

下面我們具體來看Bloom Filter是如何用位數組表示集合的。初始狀態時，Bloom Filter是一個包含m位的位數組，每一位都置爲0。

爲了表達S={x₁, x₂,…,x_n}這樣一個n個元素的集合，Bloom Filter使用k個相互獨立的哈希函數（Hash Function），它們分別將集合中的每個元素映射到{1,…,m}的範圍中。對任意一個元素x，第i個哈希函數映射的位置h_i(x)就會被置爲1（1≤i≤k）。注意，如果一個位置多次被置爲1，那麼只有第一次會起作用，後面幾次將沒有任何效果。在下圖中，k=3，且有兩個哈希函數選中同一個位置（從左邊數第五位）。   

 

在判斷y是否屬於這個集合時，我們對y應用k次哈希函數，如果所有h_i(y)的位置都是1（1≤i≤k），那麼我們就認爲y是集合中的元素，否則就認爲y不是集合中的元素。下圖中y₁就不是集合中的元素。y₂或者屬於這個集合，或者剛好是一個false positive。

錯誤率估計

前面我們已經提到了，Bloom Filter在判斷一個元素是否屬於它表示的集合時會有一定的錯誤率（false positive rate），下面我們就來估計錯誤率的大小。在估計之前爲了簡化模型，我們假設kn<m且各個哈希函數是完全隨機的。當集合S={x₁, x₂,…,x_n}的所有元素都被k個哈希函數映射到m位的位數組中時，這個位數組中某一位還是0的概率是：

其中1/m表示任意一個哈希函數選中這一位的概率（前提是哈希函數是完全隨機的），(1-1/m)表示哈希一次沒有選中這一位的概率。要把S完全映射到位數組中，需要做kn次哈希。某一位還是0意味着kn次哈希都沒有選中它，因此這個概率就是（1-1/m）的kn次方。令p = e^-kn/m是爲了簡化運算，這裏用到了計算e時常用的近似：

 

令ρ爲位數組中0的比例，則ρ的數學期望E(ρ)= p’。在ρ已知的情況下，要求的錯誤率（false positive rate）爲：

(1-ρ)爲位數組中1的比例，(1-ρ)^k就表示k次哈希都剛好選中1的區域，即false positive rate。上式中第二步近似在前面已經提到了，現在來看第一步近似。p’只是ρ的數學期望，在實際中ρ的值有可能偏離它的數學期望值。M. Mitzenmacher已經證明^[2] ，位數組中0的比例非常集中地分佈在它的數學期望值的附近。因此，第一步的近似得以成立。分別將p和p’代入上式中，得：

   

   

相比p’和f’，使用p和f通常在分析中更爲方便。

最優的哈希函數個數

既然Bloom Filter要靠多個哈希函數將集合映射到位數組中，那麼應該選擇幾個哈希函數才能使元素查詢時的錯誤率降到最低呢？這裏有兩個互斥的理由：如果哈希函數的個數多，那麼在對一個不屬於集合的元素進行查詢時得到0的概率就大；但另一方面，如果哈希函數的個數少，那麼位數組中的0就多。爲了得到最優的哈希函數個數，我們需要根據上一小節中的錯誤率公式進行計算。

 

先用p和f進行計算。注意到f = exp(k ln(1 − e^−kn/m))，我們令g = k ln(1 − e^−kn/m)，只要讓g取到最小，f自然也取到最小。由於p = e^-kn/m，我們可以將g寫成

根據對稱性法則可以很容易看出當p = 1/2，也就是k = ln2· (m/n)時，g取得最小值。在這種情況下，最小錯誤率f等於(1/2)^k ≈ (0.6185)^m/n。另外，注意到p是位數組中某一位仍是0的概率，所以p = 1/2對應着位數組中0和1各一半。換句話說，要想保持錯誤率低，最好讓位數組有一半還空着。

 

需要強調的一點是，p = 1/2時錯誤率最小這個結果並不依賴於近似值p和f。同樣對於f’ = exp(k ln(1 − (1 − 1/m)^kn))，g’ = k ln(1 − (1 − 1/m)^kn)，p’ = (1 − 1/m)^kn，我們可以將g’寫成

同樣根據對稱性法則可以得到當p’ = 1/2時，g’取得最小值。

位數組的大小

下面我們來看看，在不超過一定錯誤率的情況下，Bloom Filter至少需要多少位才能表示全集中任意n個元素的集合。假設全集中共有u個元素，允許的最大錯誤率爲є，下面我們來求位數組的位數m。

 

假設X爲全集中任取n個元素的集合，F(X)是表示X的位數組。那麼對於集合X中任意一個元素x，在s = F(X)中查詢x都能得到肯定的結果，即s能夠接受x。顯然，由於Bloom Filter引入了錯誤，s能夠接受的不僅僅是X中的元素，它還能夠є (u - n)個false positive。因此，對於一個確定的位數組來說，它能夠接受總共n + є (u - n)個元素。在n + є (u - n)個元素中，s真正表示的只有其中n個，所以一個確定的位數組可以表示

個集合。m位的位數組共有2^m個不同的組合，進而可以推出，m位的位數組可以表示

   

個集合。全集中n個元素的集合總共有

   

個，因此要讓m位的位數組能夠表示所有n個元素的集合，必須有

   

即：

   

上式中的近似前提是n和єu相比很小，這也是實際情況中常常發生的。根據上式，我們得出結論：在錯誤率不大於є的情況下，m至少要等於n log₂(1/є)才能表示任意n個元素的集合。

 

上一小節中我們曾算出當k = ln2· (m/n)時錯誤率f最小，這時f = (1/2)^k = (1/2)^{mln2 / n}。現在令f≤є，可以推出

這個結果比前面我們算得的下界n log₂(1/є)大了log₂ e ≈ 1.44倍。這說明在哈希函數的個數取到最優時，要讓錯誤率不超過є，m至少需要取到最小值的1.44倍。

二、Bloom Filter實際應用實例

一. 實例 

　　爲了說明Bloom Filter存在的重要意義，舉一個實例：

　　假設要你寫一個網絡蜘蛛（web crawler）。由於網絡間的鏈接錯綜複雜，蜘蛛在網絡間爬行很可能會形成“環”。爲了避免形成“環”，就需要知道蜘蛛已經訪問過那些URL。給一個URL，怎樣知道蜘蛛是否已經訪問過呢？稍微想想，就會有如下幾種方案：

　　1. 將訪問過的URL保存到數據庫。

　　2. 用HashSet將訪問過的URL保存起來。那隻需接近O(1)的代價就可以查到一個URL是否被訪問過了。

　　3. URL經過MD5或SHA-1等單向哈希後再保存到HashSet或數據庫。

　　4. Bit-Map方法。建立一個BitSet，將每個URL經過一個哈希函數映射到某一位。

　　方法1~3都是將訪問過的URL完整保存，方法4則只標記URL的一個映射位。

 

　　以上方法在數據量較小的情況下都能完美解決問題，但是當數據量變得非常龐大時問題就來了。

　　方法1的缺點：數據量變得非常龐大後關係型數據庫查詢的效率會變得很低。而且每來一個URL就啓動一次數據庫查詢是不是太小題大做了？

　　方法2的缺點：太消耗內存。隨着URL的增多，佔用的內存會越來越多。就算只有1億個URL，每個URL只算50個字符，就需要5GB內存。

　　方法3：由於字符串經過MD5處理後的信息摘要長度只有128Bit，SHA-1處理後也只有160Bit，因此方法3比方法2節省了好幾倍的內存。

　　方法4消耗內存是相對較少的，但缺點是單一哈希函數發生衝突的概率太高。還記得數據結構課上學過的Hash表衝突的各種解決方法麼？若要降低衝突發生的概率到1%，就要將BitSet的長度設置爲URL個數的100倍。

　　實質上上面的算法都忽略了一個重要的隱含條件：允許小概率的出錯，不一定要100%準確！也就是說少量url實際上沒有沒網絡蜘蛛訪問，而將它們錯判爲已訪問的代價是很小的——大不了少抓幾個網頁唄。 

 

二. Bloom Filter的算法 

　　廢話說到這裏，下面引入本篇的主角——Bloom Filter。其實上面方法4的思想已經很接近Bloom Filter了。方法四的致命缺點是衝突概率高，爲了降低衝突的概念，Bloom Filter使用了多個哈希函數，而不是一個。

   　Bloom Filter算法如下：

  　 創建一個m位BitSet，先將所有位初始化爲0，然後選擇k個不同的哈希函數。第i個哈希函數對字符串str哈希的結果記爲h（i，str），且h（i，str）的範圍是0到m-1 。

 

(1) 加入字符串過程 

 

　　下面是每個字符串處理的過程，首先是將字符串str“記錄”到BitSet中的過程：

　　對於字符串str，分別計算h（1，str），h（2，str）…… h（k，str）。然後將BitSet的第h（1，str）、h（2，str）…… h（k，str）位設爲1。

 

　　圖1.Bloom Filter加入字符串過程

　　很簡單吧？這樣就將字符串str映射到BitSet中的k個二進制位了。

 

(2) 檢查字符串是否存在的過程 

 

　　下面是檢查字符串str是否被BitSet記錄過的過程：

　　對於字符串str，分別計算h（1，str），h（2，str）…… h（k，str）。然後檢查BitSet的第h（1，str）、h（2，str）…… h（k，str）位是否爲1，若其中任何一位不爲1則可以判定str一定沒有被記錄過。若全部位都是1，則“認爲”字符串str存在。

 

　　若一個字符串對應的Bit不全爲1，則可以肯定該字符串一定沒有被Bloom Filter記錄過。（這是顯然的，因爲字符串被記錄過，其對應的二進制位肯定全部被設爲1了）

　　但是若一個字符串對應的Bit全爲1，實際上是不能100%的肯定該字符串被Bloom Filter記錄過的。（因爲有可能該字符串的所有位都剛好是被其他字符串所對應）這種將該字符串劃分錯的情況，稱爲false positive 。

 

(3) 刪除字符串過程 

   字符串加入了就被不能刪除了，因爲刪除會影響到其他字符串。實在需要刪除字符串的可以使用Counting bloomfilter(CBF)，這是一種基本Bloom Filter的變體，CBF將基本Bloom Filter每一個Bit改爲一個計數器，這樣就可以實現刪除字符串的功能了。

 

　　Bloom Filter跟單哈希函數Bit-Map不同之處在於：Bloom Filter使用了k個哈希函數，每個字符串跟k個bit對應。從而降低了衝突的概率。

 

三. Bloom Filter參數選擇 

 

   (1)哈希函數選擇

   　　哈希函數的選擇對性能的影響應該是很大的，一個好的哈希函數要能近似等概率的將字符串映射到各個Bit。選擇k個不同的哈希函數比較麻煩，一種簡單的方法是選擇一個哈希函數，然後送入k個不同的參數。

   (2)Bit數組大小選擇 

   　　哈希函數個數k、位數組大小m、加入的字符串數量n的關係可以參考參考文獻1。該文獻證明了對於給定的m、n，當 k = ln(2)* m/n 時出錯的概率是最小的。

   　　同時該文獻還給出特定的k，m，n的出錯概率。例如：根據參考文獻1，哈希函數個數k取10，位數組大小m設爲字符串個數n的20倍時，false positive發生的概率是0.0000889 ，這個概率基本能滿足網絡爬蟲的需求了。  

 

四. Bloom Filter實現代碼 

  　 下面給出一個簡單的Bloom Filter的Java實現代碼：

import java.util.BitSet;

public class BloomFilter 
{
    /*  BitSet初始分配2^24個bit  */ 
    private static final int DEFAULT_SIZE = 1 << 25; 
    /* 不同哈希函數的種子，一般應取質數 */
    private static final int[] seeds = new int[] { 5, 7, 11, 13, 31, 37, 61 };
    private BitSet bits = new BitSet(DEFAULT_SIZE);
    /* 哈希函數對象 */ 
    private SimpleHash[] func = new SimpleHash[seeds.length];

    public BloomFilter() 
    {
        for (int i = 0; i < seeds.length; i++)
        {
            func[i] = new SimpleHash(DEFAULT_SIZE, seeds[i]);
        }
    }

    // 將字符串標記到bits中
    public void add(String value) 
    {
        for (SimpleHash f : func) 
        {
            bits.set(f.hash(value), true);
        }
    }

    //判斷字符串是否已經被bits標記
    public boolean contains(String value) 
    {
        if (value == null) 
        {
            return false;
        }
        boolean ret = true;
        for (SimpleHash f : func) 
        {
            ret = ret && bits.get(f.hash(value));
        }
        return ret;
    }

    /* 哈希函數類 */
    public static class SimpleHash 
    {
        private int cap;
        private int seed;

        public SimpleHash(int cap, int seed) 
        {
            this.cap = cap;
            this.seed = seed;
        }

        //hash函數，採用簡單的加權和hash
        public int hash(String value) 
        {
            int result = 0;
            int len = value.length();
            for (int i = 0; i < len; i++) 
            {
                result = seed * result + value.charAt(i);
            }
            return (cap - 1) & result;
        }
    }
}

總結

在計算機科學中，我們常常會碰到時間換空間或者空間換時間的情況，即爲了達到某一個方面的最優而犧牲另一個方面。Bloom Filter在時間空間這兩個因素之外又引入了另一個因素：錯誤率。在使用Bloom Filter判斷一個元素是否屬於某個集合時，會有一定的錯誤率。也就是說，有可能把不屬於這個集合的元素誤認爲屬於這個集合（False Positive），但不會把屬於這個集合的元素誤認爲不屬於這個集合（False Negative）。在增加了錯誤率這個因素之後，Bloom Filter通過允許少量的錯誤來節省大量的存儲空間。

 

自從Burton Bloom在70年代提出Bloom Filter之後，Bloom Filter就被廣泛用於拼寫檢查和數據庫系統中。近一二十年，伴隨着網絡的普及和發展，Bloom Filter在網絡領域獲得了新生，各種Bloom Filter變種和新的應用不斷出現。可以預見，隨着網絡應用的不斷深入，新的變種和應用將會繼續出現，Bloom Filter必將獲得更大的發展。

參考資料

[1] A. Broder and M. Mitzenmacher. Network applications of bloom filters: A survey. Internet Mathematics, 1(4):485–509, 2005.

[2] M. Mitzenmacher. Compressed Bloom Filters. IEEE/ACM Transactions on Networking 10:5 (2002), 604—612.

[3] www.cs.jhu.edu/~fabian/courses/CS600.624/slides/bloomslides.pdf

[4] http://166.111.248.20/seminar/2006_11_23/hash_2_yaxuan.ppt

[5]Pei Cao. Bloom Filters - the math.

http://pages.cs.wisc.edu/~cao/papers/summary-cache/node8.html

[6]Wikipedia. Bloom filter.

http://en.wikipedia.org/wiki/Bloom_filter