原網頁：https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/segbench/
新增功能：BSDS500是BSDS300的擴展版本，包含200個新的測試圖像，現在可在此處獲得。
這項工作的目的是爲圖像分割和邊界檢測的研究提供經驗基礎。爲此，我們從30個人類受試者中收集了12,000個手工標記的1,000個Corel數據集圖像。一半的分割是通過向主體呈現彩色圖像而獲得的;另一半來自呈現灰度圖像。基於該數據的公共基準包括300個圖像的所有灰度和顏色分割。圖像被分成200個圖像的訓練集和100個圖像的測試集。
我們還爲這些圖像的子集生成了圖形地標籤，可在此處找到。
我們已經將這些數據用於開發新的邊界檢測算法，以及爲該任務開發基準。您可以下載我們的邊界檢測器的MATLAB實現，以及運行基準測試的代碼。我們致力於本着合作科學進步的精神維護基準結果的公共存儲庫。
在線瀏覽
數據集
基準測試結果
在所有這些頁面上，圖像，主題和算法之間存在許多交叉鏈接。 請注意，許多較小的圖像都鏈接到完整版本。
下載
分割數據集
您可以免費下載部分數據集，用於非商業研究和教育目的。作爲交換，我們僅要求您提供在測試集上運行分段或邊界檢測算法的結果，如下所述。基於數據集的工作應引用我們的ICCV 2001論文：
@InProceedings {MartinFTM01，
作者= {D。 Martin和C. Fowlkes以及D. Tal和J. Malik}，
title = {人體分割自然圖像數據庫及其數據庫
應用於評估分割算法和算法
衡量生態統計}，
booktitle = {Proc。第八屆國際會議計算機視覺}，
年= {2001}，
month = {July}，
volume = {2}，
pages = {416--423}
}
您可以單獨下載[圖像]（22MB）和[人體分割]（27MB）。如果你下載這兩個，你可以安全地解決它們之間的問題。
/home/eecs/project/index.html您可以在此處找到分段文件格式的說明。
您還可以下載包含我們用於構建數據集的Java應用程序的tarball。您可能會發現它可用於創建自己圖像的地面實況細分。
人類基準測試結果
如果您想生成包含算法基準測試結果的網頁，那麼您需要下載人類的基準測試結果。將此文件解壓縮到一個新目錄，該目錄將成爲基準測試結果的存儲庫。然後，您應該根據Dataset / README文件中的說明將算法的結果存入同一目錄（這也是您需要的代碼tarball;請參閱下文）。
基準和邊界檢測代碼
這是代碼的tarball，您也可以瀏覽它。你應該在一個新目錄中解壓縮它。解壓後在該目錄中運行gmake install應構建所有內容。 makefile將創建一個lib / matlab目錄，您應將其放在MATLAB路徑中。簡而言之，子目錄內容如下所列。
- 基準 - 運行基準和創建網頁的代碼。
- CSA ++ - 用於圖形分配問題的Andrew Goldberg的CSA包的C ++和MATLAB包裝。這是基準測試的計算核心，因爲它允許我們比較兩個邊界圖，同時允許本地化錯誤並避免過度計數。
- 數據集 - 用於訪問圖像和分段數據的便捷例程。您應確保下載BSDS數據集（參見上文），並編輯文件bsdsRoot.m以指向數據。
- 探測器 - 各種邊界探測器的最終用戶程序。我們的亮度/顏色/紋理梯度檢測器在這裏（pbBGTG.m和pbCGTG.m），以及基於圖像梯度幅度和第二矩矩陣的基線檢測器。
- 過濾器 - 用於創建高質量過濾器和快速過濾圖像的例程。
- 漸變 - 有效計算亮度，顏色和紋理漸變的例程。
- Textons - 用於計算和操作紋理的代碼，它是紋理漸變的基礎。 unitex * .mat文件包含從BSDS300訓練集計算的通用文本。
- Util - 其他所有的雜項支持代碼。
以下文件可能特別有用：
提交基準測試結果
如果您有邊界檢測器或分割算法，則應將測試圖像上的結果以8位灰度BMP圖像的形式放置。這些圖像應與基準圖像（481x321像素）的大小相同，並且應命名爲<iid> .bmp，其中<iid>是圖像ID號。您還應該創建一個name.txt文件，其中包含算法的1行文本描述符，以及帶有簡短描述的可選about.html文件。描述可以包含html鏈接。
在上面的下載部分中，您將找到用於運行基準測試的代碼以及用於生成網頁的腳本。衆所周知，此代碼可在英特爾/ Linux平臺上構建和運行。我們不支持Windows，儘管我們至少知道一種使用Cygwin在Windows上成功構建代碼的情況。該代碼也已在Mac Intel上成功構建（請參閱此處的註釋）。您將需要Matlab來運行基準測試。如果您有合適的硬件和軟件，請下載代碼並自行運行基準測試。要提交結果，請在您的算法目錄中打開並向我們發送一個URL，我們可以從中下載它。
如果您無法自己運行基準測試，那麼您可以使用name.txt和about.html文件提交包含算法結果的tarball。我們將爲您運行基準測試，但我們無法保證快速週轉。
分割結果應該是二進制圖像的形式，其中“1”標記分段邊界像素。邊界檢測結果也可以採用這種形式，但我們強烈鼓勵“軟”邊界表示。提交軟輸出將減輕您選擇最佳閾值的負擔，因爲基準測試將爲您找到此閾值。還要注意，爲了獲得最佳結果，邊界應該變薄，例如，通過執行非最大值抑制。基準測試將處理較粗的邊界，但我們對細邊界進行的形態細化操作可能不適合您的算法。
請注意：雖然這應該不用說，但無論如何我們都會說。爲了確保測試數據集上結果的完整性，您可以使用訓練集中的圖像和人工分割來調整算法，但是算法不應該訪問測試集中的任何數據（圖像或分段），直到您已完成設計和調整算法。
關於基準
“當你能衡量你所說的話並以數字表達時，你就會對它有所瞭解;但是當你無法衡量它時，當你無法用數字來表達它時，你的知識就是那種微薄而不盡如人意的。” - 凱爾文·閣下
基準測試的目標是爲算法的邊界生成分數，原因有兩個：（1）因此可以將不同的算法相互比較，以及（2）因此可以跟蹤人類績效的進展。我們花了很多時間研究有意義的邊界檢測基準，我們將在此簡要介紹。有關其他詳細信息，請參閱我們的NIPS 2002和PAMI文章。請注意，我們已經確定的方法可以應用於任何邊界數據集 - 而不僅僅是我們的人體分割自然圖像數據集。
設置如下。人體分割圖像提供了我們的地面真實邊界。我們認爲任何由人類主體標記的邊界都是有效的。由於我們對不同主題的每個圖像進行了多次分割，因此這些人類標記邊界的集合構成了基本事實。然後我們呈現圖像的一些算法的輸出。讓我們假設該輸出是具有一個像素寬邊界的軟邊界圖，其值從0到1，其中高值表示對邊界存在的更大置信度。我們的任務是確定這個軟邊界圖近似於地面真實邊界的程度。
傳統上，人們會通過選擇一些閾值來“邊界化”邊界圖。閾值邊界圖有兩個問題：（1）最佳閾值取決於應用程序，我們希望基準測試在不同的應用程序中有用，並且（2）對邊界等低級特徵進行閾值處理可能是對於大多數應用程序來說，這是一個壞主意，因爲它會破壞大量信息由於這些原因，我們的基準測試在非閾值邊界圖上運行。
儘管如此，我們確實需要對邊界圖進行閾值處理，以便將其與地面真實邊界進行比較，但我們在很多層面都這樣做，例如： 30.在每個級別，我們計算兩個量 - 精度和召回 - 並以這種方式產生算法的精確回憶曲線。精確度和召回率與ROC曲線的軸類似但不同。精度是機器生成的邊界像素是真實邊界像素的概率。召回是檢測到真實邊界像素的概率。我們認爲這些軸是合理和直觀的。精度是衡量探測器輸出噪聲的指標。召回是衡量有多少地面實況被發現的量度。該曲線顯示了這兩個量之間的固有權衡 - 在未命中和誤報之間的權衡 - 隨着檢測器閾值的變化而變化。
雖然算法的精確回憶曲線是其性能的豐富描述符，但仍然希望將算法的性能提煉成單個數字。對於曲線不相交且大致平行的算法，這可以以有意義的方式進行。當兩條精確回憶曲線不相交時，距離原點最遠的曲線支配另一條曲線。我們使用的彙總統計量是這個距離的度量。它是F度量，它是精度和召回的調和平均值。 F-measure定義在精確回憶曲線的所有點上。我們將算法的精確回憶曲線中的最大F測量值報告爲其彙總統計量。
爲什麼我們使用精確回憶曲線而不是ROC曲線？
接收器操作特性（ROC）曲線定性地顯示了精確召回曲線顯示的未命中和誤報之間的相同權衡。但是，ROC曲線不適合量化邊界檢測。 ROC曲線的軸是餘量和回憶。召回與上面相同，也稱爲命中率。輻射或誤報率是真陰性標記爲假陽性的概率。這對於邊界檢測器來說不是有意義的量，因爲它不依賴於圖像分辨率。如果我們將像素的半徑減小n倍以使像素數量增加爲n ^ 2，那麼真實負數將在n中平方增長，而真陽性的數量將僅在n中線性增長。由於邊界是一維物體，誤報的數量最有可能也在n中線性增長，因此餘量將下降1 / n倍。精確度沒有這個問題，因爲它不是通過真陰性的數量進行標準化，而是通過正數的數量來標準化。
本頁面由Pablo Arbelaez，Charless Fowlkes和David Martin於2007年6月修改。
This page is maintained by Pablo Arbelaez, Charless Fowlkes and David Martin Last modified June, 2007.