fastdb分析

因爲項目中使用的fastdb,前2天的面試也有所提到,就想着要仔細研究一下。

在網上看到了一下主存數據庫的性能測試,相對於BerkeleyDB和SQLite來比,fastdb的性能還是略勝一籌,時間精力有限,本人沒有對SQLite,BerkeleyDB進行系統的分析研究。這裏僅是簡單剖析fastdb高效性的實現。

其他報告中有提到,在fastdb磁盤模式下,當批量提交事務時fastdb的性能比SQLite的性能高出3-10倍,可當逐條提交事務時fastdb的性能卻急劇下降,以至於無法使用。這是由於磁盤模式下,fastdb頻繁的同步數據到磁盤,IO的操作由於要訪問物理磁盤,性能就會瞬間下降幾個數量級。

爲此,fastdb的作者提供了二個方案,一個是定時備份,第二個是fastdb的無盤模式。

(1) 磁盤模式

磁盤模式的好處在於當服務器當機時,已同步到文件的數據部不會丟失,而壞處在於頻繁的IO操作導致性能降低。那麼磁盤模式是如何實現的?

在file.cpp文件中可以看到:

先在主目錄下打開文件*.fdb

        fd = ::open(name, open_flags, 0666);
        if (fd < 0) { 
            int orig_errno = errno;
            dbTrace("failed opening file '%s' - fd - %d, errno - %d\n",
                    name, fd, orig_errno);
            return orig_errno;
        }
然後,使用mmap()映射

    mmapAddr = (char*)mmap(NULL, mmapSize, 
                           (flags & read_only) ? PROT_READ : PROT_READ|PROT_WRITE, 
                           mmap_attr, fd, 0);
    if (mmapAddr == (char*)-1) { 
        status = errno;
        mmapAddr = NULL;
        if (fd >= 0) { 
            ::close(fd);
        }
        return status;
    }
mmap的有名映射的機制之一就是可以同步數據到文件


(2) 無盤模式

fastdb默認的模式是磁盤模式,通過修改config.h,然後再重新編譯就可以實現

//DISKLESS_CONFIGURATION - only in-memory temporary database
// 把"//"去掉
#define DISKLESS_CONFIGURATION 1 // 這樣就是無盤模式

無盤模式就是完全是內存操作,在這裏使用的是system v中的共享內存,在sync.cpp中代碼如下:

    int fd = ::open(fileName, O_RDWR|O_CREAT, ACCESS_PERMISSION_MASK); // 在/tmp下創建*.fdb文件
    if (fd < 0) { 
        if (fileName != name) { 
            delete[] fileName;
        }
        return false;
    } 
    ::close(fd);

    int key = getKeyFromFile(fileName);// 根據文件名創建key
    if (fileName != name) { 
        delete[] fileName;
    }
    if (key < 0) { 
        return false;
    }
    shm = shmget(key, DOALIGN(size, 4096), IPC_CREAT|ACCESS_PERMISSION_MASK);// 創建共享內存
    if (shm < 0) { 
        return false;
    }
    ptr = (char*)shmat(shm, NULL, 0);//掛載到本進程





發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章