背景
經常需要查看日誌，不僅是用來排錯，有些時候我還需要監控系統來抓取特定日誌來幫助減少我的工作負擔，以及時監控到異常出現，並作出通知及響應，那麼從大量日誌中快速並精確篩選出想要的日誌，並且精確提取信息，是一個必備的技能。我曾經用內置的事件查看器的篩選器進行事件篩選，然後保存視圖，或者使用powershell get-winevent 進行篩選，也使用logparser, 或者第三方的日誌查看工具比如eventexplorer 進行日誌篩選。但是總是遇到幾個主要的問題：
從大量日誌中過濾出極個別日誌，每次執行的事件總是太長。
不能靈活的或者更精確的進行篩選。一般只能大概的匹配，然後再做一步處理。通常又遇到1的問題。
嘗試和比較
經過一些嘗試和使用，個人覺得powershell 的get-winevent 最方便，因爲畢竟是一個腳本語言，可以進一步進行處理，而且可以很靈活的處理。logparser 很快，但是如果精確提取某些日誌的字段，就沒有那麼容易了,windows 日誌的EventData中的數據複雜多樣，靠幾個常規字段是沒有辦法靈活進行處理的。
論速度的話，除了logparser,使用xml 篩選是最快速的。但是xml 篩選需要使用複雜的、受限的xpath 1.0 (被微軟實現後，有更多限制),雖然有點蹩腳又難懂，但是和時間節省算起，還是劃的來的，特別是重複任務。
一個比較好的開始是從下面鏈接開始。
正式實踐
一個比較常用場景是，我經常需要精確過濾到哪個賬號最近鎖定了，哪臺計算機鎖定的，什麼時候。我需要很快速的能查詢到鎖定日誌。過去雖然我用get-winevent –filterhashtable 可以做到這些，但是速度實在太慢了，雖然我的域控只有4臺。我經常和用戶說，如果你想知道你在哪臺計算機上鎖定了，請等待一段時間，我會把查詢結果用郵件發給你。不過現在使用xpath 過濾時，我基本上可以在用戶打電話過來時，告訴他這些信息。
下面XML 過濾AD安全日誌中的最近一天的某個用戶名的鎖定日誌
<QueryList> <Query Id="0" Path="Security"> <Select Path="Security"> *[System[EventID=4740 and TimeCreated[timediff(@SystemTime) <= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]] and *[EventData[Data[@Name='TargetUserName']='somebody']] </Select> </Query> </QueryList>
如果你只想過濾最近一天所有用戶的鎖定日誌，那麼這樣寫
<QueryList> <Query Id="0" Path="Security"> <Select Path="Security"> *[System[EventID=4740 and TimeCreated[timediff(@SystemTime) <= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]] </Select> </Query> </QueryList>
上面過濾XML可以在 事件查看器的 篩選當前日誌--》XML---》手動編輯查詢中進行測驗。
OK ,爲了方便使用，我們做成一個powershell function ,方便日常使用，直接上例子。
function get-lockedEvent{
<#
.SYNOPSIS
Function to filter user locked event which id=4740
.DESCRIPTION
This function search user locked events in DC security logs, this function need the domain admin priv.
.EXAMPLE
get-lockedEvent -loginname oaoperator -show
.EXAMPLE
PS C:\> get-lockedEvent -loginname oaoperator -summary
Count Name
----- ----
457 Oaoperator, OA
.EXAMPLE
PS C:\> get-lockedEvent -loginname oaoperator
Username LockedPC Datetime EventLocation
-------- -------- -------- -------------
Oaoperator OA 2018/9/27 10:27:40 dc02
Oaoperator OA 2018/9/27 10:32:40 dc02
#>
[cmdletbinding()]
param(
[parameter(Mandatory=$false)]
[string]
$loginname,
[Parameter(Mandatory=$false)]
[switch]
$summary,
[Parameter(Mandatory=$false)]
[switch]
$show
)
# filter Locked Events generated in 1 day and username eq loginname
$f2=@'
<QueryList>
<Query Id="0" Path="Security">
<Select Path="Security">
*[System[EventID=4740 and TimeCreated[timediff(@SystemTime) <= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]
and
*[EventData[Data[@Name='TargetUserName']='{0}']]
</Select>
</Query>
</QueryList>
'@
# filter Locked Events generated in 1 day
$f1=@'
<QueryList>
<Query Id="0" Path="Security">
<Select Path="Security">
*[System[EventID=4740 and TimeCreated[timediff(@SystemTime) <= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]
</Select>
</Query>
</QueryList>
'@
if($loginname){
$f=$f2 -f $loginname
}else{
$f=$f1
}
$DCs=Get-ADDomainController -Filter *|%{$_.hostname}
$r=Invoke-Command -ComputerName $DCs -ArgumentList @($f) -Command{
param(
$filter
)
$events=Get-WinEvent -FilterXml $filter
$events|%{
$e=[xml]$_.toxml()
[PSCustomObject]@{
'Username'=$e.Event.EventData.Data.where({$_.Name -eq 'TargetUserName'})."#text"
'LockedPC'=$e.Event.EventData.Data.where({$_.Name -eq 'TargetDomainName'})."#text"
'Datetime'=[datetime]$e.Event.System.TimeCreated.SystemTime
'EventLocation'=$e.Event.System.Computer
}
}
}|Sort-Object -Property Datetime |select -Property 'UserName','LockedPC','Datetime','EventLocation'
if($summary){
$r=$r|Group-Object -Property Username,LockedPC -NoElement
}
if($show){
$r|Out-GridView
}else{
$r
}
}
另外一個實踐
由於最近有一些計劃任務的狀態需要監控，而且考慮到這應該是一個非常通用的需求，所以我想過濾計劃任務名稱匹配\qq_ent 開頭的，然後任務執行結果不爲0的日誌，儘管我參考着下面的一些blog 鏈接，也讓我嘗試了好一會，我想應該記錄下這些過程。
我們先來看看計劃任務日誌的xml 內容：
<Event xmlns="http://schemas.microsoft.com/win/2004/08/events/event">
<System>
<Provider Name="Microsoft-Windows-TaskScheduler" Guid="{DE7B24EA-73C8-4A09-985D-5BDADCFA9017}" />
<EventID>201</EventID>
<Version>2</Version>
<Level>4</Level>
<Task>201</Task>
<Opcode>2</Opcode>
<Keywords>0x8000000000000000</Keywords>
<TimeCreated SystemTime="2018-11-18T05:00:02.058811400Z" />
<EventRecordID>144817</EventRecordID>
<Correlation ActivityID="{110529FD-DBFD-4E59-B207-83DF8CC779B8}" />
<Execution ProcessID="1508" ThreadID="24392" />
<Channel>Microsoft-Windows-TaskScheduler/Operational</Channel>
<Computer>ComputerName.xxx.com</Computer>
<Security UserID="S-1-5-18" />
</System>
<EventData Name="ActionSuccess">
<Data Name="TaskName">\qq_ent\store_to_db</Data>
<Data Name="TaskInstanceId">{110529FD-DBFD-4E59-B207-83DF8CC779B8}</Data>
<Data Name="ActionName">C:\Users\UserName\AppData\Local\Programs\Python\Python37\python3.exe</Data>
<Data Name="ResultCode">2147942401</Data>
<Data Name="EnginePID">22172</Data>
</EventData>
</Event>
說下我們的任務：
匹配 EventData 中Data 名稱爲TaskName的，它的值應該是\qq_ent\xxxx
匹配 EventData中 Data 名稱爲ResultCode的，它的值應該是>0 或者不等於0的
EventID=201
Provider Name=Microsoft-Windows-TaskScheduler
最後成型的過濾，和微軟的之前的例子不一樣。
<QueryList> <Query Id="0" Path="Microsoft-Windows-TaskScheduler/Operational"> <Select Path="Microsoft-Windows-TaskScheduler/Operational"> *[System/EventID=201] and *[EventData[ ( Data[@Name='TaskName']='\qq_ent\download_images' or Data[@Name='TaskName']='\qq_ent\store_to_db_offline' or Data[@Name='TaskName']=='\qq_ent\gatherQQmsg' or Data[@Name='TaskName']=='\qq_ent\store_to_db' ) and Data[@Name='ResultCode'] !=0 ]] </Select> </Query> </QueryList>
我之前按照微軟的例子是這樣寫的，結果不對的。
<QueryList> <Query Id="0" Path="Microsoft-Windows-TaskScheduler/Operational"> <Select Path="Microsoft-Windows-TaskScheduler/Operational"> *[System/EventID=201] and *[ EventData[ ( Data[@Name='TaskName'] and ( Data='\qq_ent\download_images' or Data='\qq_ent\store_to_db_offline' or Data='\qq_ent\gatherQQmsg' or Data='\qq_ent\store_to_db' ) ) and ( Data[@Name='ResultCode'] and Data !='0' ) ] ] </Select> </Query> </QueryList>
注意事項
event log 中的Xpath 受限，能使用的函數有限，因此如果你想篩選字符串，你會發現starts-with contains 這些xpath 函數都不支持。儘量使用其他條件篩選，然後再使用powershell內置過濾功能進行過濾，當然這要犧牲一些處理時間。
Xpath中的一些字符串要進行轉義，比如你想比較一個數字，可能寫Data>0,那麼> 要轉義成>
參考資料