Collection Mechanism and Reduction of IDS Alert
Author:Karim Hashim Al-Saedi, Sureswaran Ramadass, Ammar ALmomani，Selvakumar Manickam，Wafaa A.H. Ali Alsalihy 2012
Abstract
本論文提出了一個新的框架CMRAF-如題，減少重複的Intrusion Detection System(IDS)告警，並且減少錯誤告警數量。該框架基於兩個模型：第一個模型保存IDS告警，提取特徵爲入侵檢測信息交換形式，並保存至CSV文件；第二個模型包括三個階段：1.去除冗餘告警，2.基於時間閾值減少錯誤告警，3.基於以通用脆弱性(漏洞)和暴露的數據爲閾值的規則減少錯誤告警------common vulnerabilities and exposure value(CVE)。該框架運用在Darpa 1999和NAv6 數據集中，分別達到了92%的告警縮減和84%的縮減。
Related Work
Alharby 、Imai 發現，可以用準確的形式代表正常告警模式，因此，一個意料之外的突然發生的序列警報，且一般不可能在這個序列中出現的，可以被標記爲可疑行爲。
這表明，可以利用告警歷史數據提取出序列模式，這有助於系統理解預測未來的告警。
Al-Mamory、Zhang 提出了一個新的基於數據挖掘的方法，旨在減少假正性告警，其思想是將告警聚合成簇，而後從每個簇中生成一個泛化告警，其root causes可以轉爲過濾器，以減少未來的告警數量。這個方法考慮了泛化和最臨近。
Julisch 考慮不同告警特徵值之間的距離，計算一個告警和泛化告警之間的差異度。
也有一種基於統計分析和時間序列的方法，並可以分析攻擊階段。該方法作者利用聚類技術以時間戳爲範圍，聚合告警，每個聚合的告警以一個超告警表示，目的是減少告警，並獲取告警優先級以識別重要告警，但該方法不能去除冗餘告警(只能去重複告警），且不能靈活選擇告警特徵。
Methodology
CMRAF 包括2個主要部分：
1.Traffic Data Retrieval and Collection Mechanism model
2. Reduction IDS Alert process model(RAPM)
下圖表示的是CMRAF結構
Traffic Data Retrieval and Collection Mechanism model (Model 1)
IDS Snort 是一個開源IDS檢測工具，實時監控網絡流量，審計每個包檢查可疑負載，其可提供兩種類型告警：快速模式和完全模式。
該模型包括3個部件:1.Pre-Knowledge，2.特徵提取，3.CVE
Pre-Knowledge
Pre-Knowledge 確定不同的數據格式，幫助交換和分享入侵檢測和響應系統感心趣的信息。其又包括兩種主要部件：Procurement of IDS Alerts 告警收集和Field Reduction and Data Standardization縮減及數據標準化。
Procurement of IDS Alerts
從IDS中收集IDS告警，並保存至一個text文件中，其形式如下：
Field Reduction and Data Standardization
從IDS告警文件中提取標準特徵，且該部分包含3個步驟：
A. Alert Data Analyzer
檢查IDS告警文件的格式是否與特定的一致
B. Alert Data Manipulator
檢查IDS告警特徵，給缺失特徵補上默認值
C. Alert Data Parser and Converter
從告警文件中提取特徵並另存爲CSV文件，其形式如下：
特徵提取
特徵提取是作用確定在告警中有效的特徵。系統使用“信息增益比率”(information gain)算法，而後賦予最高的權重給最有效的特徵。
GainR(X,c)表示的是特徵X在類別C中的增益比率
下表便是了IDS告警特徵的信息增益比率
CVE
CVE是指安全威脅的術語，包括兩種類型：漏洞(vulnerabilities)和暴露(exposures)。漏洞指的是計算機、服務器或是網絡在特定環境下會產生安全風險。暴露指的是可能會將漏洞暴露給某些人的安全相關的場景、事件。
CVE是使用安全相關的數據庫或是網絡來瀏覽信息的過程。這樣的過程是需要世界各地的不同安全相關組織的專家或是代表的產品協同完成的。下表展示了一種類型的具體CVE信息：
Reduction IDS Alert Processes Model(RAPM)
直接從數據中自動構造模型是很困難的，包括1.巨大的網絡流量 2.極不平衡的數據分佈 3.難以分清正常和非正常行爲 4.需要持續更新以適應不斷變化的環境。
現今IDS技術依舊有下列侷限性：
1.只針對一特定的攻擊類型檢測
2.每天產生過多的告警，99%都屬於False Positive 告警
該模型包括3個部分：相似告警過程，基於時間閾值的相似告警，減少False Positive告警。新告警縮減算法旨在去除冗餘重複告警，並減少假正性告警。
新的告警縮減算法如下：
6-8 ：爲相似告警處理過程
10-13：爲基於時間閾值的相似告警處理過程
減少False Positive 告警主要基於兩種原則1.規則，2.以CVE值作爲閾值。
下表舉例了5種基於規則原則，認定爲錯誤告警
想法
該篇文章涉及到的重點不多，對於告警縮減這個方面只是提出了一個簡單的解決方法，且沒有利用攻擊圖和關聯算法，效果並不大。