使用Memory Analyzer tool(MAT)分析內存泄漏(一)

 

前言

 

在平時工作過程中,有時會遇到OutOfMemoryError,我們知道遇到Error一般表明程序存在着嚴重問題,可能是災難性的。所以找出是什麼原因造成OutOfMemoryError非常重要。現在向大家引薦Eclipse Memory Analyzer tool(MAT),來化解我們遇到的難題。如未說明,本文均使用Java 5.0 on Windows XP SP3環境。

 

爲什麼用MAT

 

之前的觀點,我認爲使用實時profiling/monitoring之類的工具,用一種非常實時的方式來分析哪裏存在內存泄漏是很正確的。年初使用了某profiler工具測試消息中間件中存在的內存泄漏,發現在吞吐量很高的時候profiler工具自己也無法響應,這讓人很頭痛。後來瞭解到這樣的工具本身就要消耗性能,且在某些條件下還發現不了泄漏。所以,分析離線數據就非常重要了,MAT正是這樣一款工具。

 

爲何會內存溢出

 

我們知道JVM根據generation()來進行GC,根據下圖所示,一共被分爲young generation(年輕代)tenured generation(老年代)permanent generation(永久代, perm gen)perm gen(或稱Non-Heap 非堆)是個異類,稍後會講到。注意,heap空間不包括perm gen

%E5%A0%86%E5%86%85%E5%AD%98%E6%A8%A1%E5%

默認的,新生代 ( Young ) 與老年代 ( Old ) 的比例的值爲 1:2 ( 該值可以通過參數 –XX:NewRatio 來指定 ),即:新生代 ( Young ) = 1/3 的堆空間大小。
老年代 ( Old ) = 2/3 的堆空間大小。

絕大多數的對象都在young generation被分配,也在young generation被收回,當young generation的空間被填滿,GC會進行minor collection(次回收),這次回收不涉及到heap中的其他generationminor collection根據weak generational hypothesis(弱年代假設)來假設young generation中大量的對象都是垃圾需要回收,minor collection的過程會非常快。young generation中未被回收的對象被轉移到tenured generation,然而tenured generation也會被填滿,最終觸發major collection(主回收),這次回收針對整個heap,由於涉及到大量對象,所以比minor collection慢得多。

 

JVM有三種垃圾回收器,分別是throughput collector,用來做並行young generation回收,由參數-XX:+UseParallelGC啓動;concurrent low pause collector,用來做tenured generation併發回收,由參數-XX:+UseConcMarkSweepGC啓動;incremental low pause collector,可以認爲是默認的垃圾回收器。不建議直接使用某種垃圾回收器,最好讓JVM自己決斷,除非自己有足夠的把握。

 

Heap中各generation空間是如何劃分的?通過JVM-Xmx=n參數可指定最大heap空間,而-Xms=n則是指定最小heap空間。在JVM初始化的時候,如果最小heap空間小於最大heap空間的話,如上圖所示JVM會把未用到的空間標註爲Virtual。除了這兩個參數還有-XX:MinHeapFreeRatio=n -XX:MaxHeapFreeRatio=n來分別控制最大、最小的剩餘空間與活動對象之比例。在32Solaris SPARC操作系統下,默認值如下,在32windows xp下,默認值也差不多。

spacer.gif

wKioL1PkSOqDId96AACBsQTy48g953.jpg

由於tenured generationmajor collection較慢,所以tenured generation空間小於young generation的話,會造成頻繁的major collection,影響效率。Server JVM默認的young generationtenured generation空間比例爲1:2,也就是說young generationedensurvivor空間之和是整個heap(當然不包括perm gen)的三分之一,該比例可以通過-XX:NewRatio=n參數來控制,而Client JVM默認的-XX:NewRatio8。至於調整young generation空間大小的NewSize=nMaxNewSize=n參數就不講了,請參考後面的資料。

 

young generation中倖存的對象被轉移到tenured generation,但不幸的是concurrent collector線程在這裏進行major collection,而在回收任務結束前空間被耗盡了,這時將會發生Full Collections(Full GC),整個應用程序都會停止下來直到回收完成。Full GC是高負載生產環境的噩夢……

 

現在來說說異類perm gen,它是JVM用來存儲無法在Java語言級描述的對象,這些對象分別是類和方法數據(與class loader有關)以及interned strings(字符串駐留)。一般32OSperm gen默認64m,可通過參數-XX:MaxPermSize=n指定,JVM Memory Structure一文說,對於這塊區域,沒有更詳細的文獻了,神祕。

 

回到問題“爲何會內存溢出?”。

要回答這個問題又要引出另外一個話題,既什麼樣的對象GC纔會回收?當然是GC發現通過任何reference chain(引用鏈)無法訪問某個對象的時候,該對象即被回收。名詞GC Roots正是分析這一過程的起點,例如JVM自己確保了對象的可到達性(那麼JVM就是GC Roots),所以GC Roots就是這樣在內存中保持對象可到達性的,一旦不可到達,即被回收。通常GC Roots是一個在current thread(當前線程)call stack(調用棧)上的對象(例如方法參數和局部變量),或者是線程自身或者是system class loader(系統類加載器)加載的類以及native code(本地代碼)保留的活動對象。所以GC Roots是分析對象爲何還存活於內存中的利器。知道了什麼樣的對象GC纔會回收後,再來學習下對象引用都包含哪些吧。

 

從最強到最弱,不同的引用(可到達性)級別反映了對象的生命週期。

  • Strong Ref(強引用):通常我們編寫的代碼都是Strong Ref,於此對應的是強可達性,只有去掉強可達,對象才被回收。

  • Soft Ref(軟引用):對應軟可達性,只要有足夠的內存,就一直保持對象,直到發現內存吃緊且沒有Strong Ref時纔回收對象。一般可用來實現緩存,通過java.lang.ref.SoftReference類實現。

  • Weak Ref(弱引用):比Soft Ref更弱,當發現不存在Strong Ref時,立刻回收對象而不必等到內存吃緊的時候。通過java.lang.ref.WeakReferencejava.util.WeakHashMap類實現。

  • Phantom Ref(虛引用):根本不會在內存中保持任何對象,你只能使用Phantom Ref本身。一般用於在進入finalize()方法後進行特殊的清理過程,通過 java.lang.ref.PhantomReference實現。

有了上面的種種我相信很容易就能把heapperm gen撐破了吧,是的利用Strong Ref,存儲大量數據,直到heap撐破;利用interned strings(或者class loader加載大量的類)把perm gen撐破。

 

關於shallow sizeretained size

 

Shallow size就是對象本身佔用內存的大小,不包含對其他對象的引用,也就是對象頭加成員變量(不是成員變量的值)的總和。在32位系統上,對象頭佔用8字節,int佔用4字節,不管成員變量(對象或數組)是否引用了其他對象(實例)或者賦值爲null它始終佔用4字節。故此,對於String對象實例來說,它有三個int成員(3*4=12字節)、一個char[]成員(1*4=4字節)以及一個對象頭(8字節),總共3*4 +1*4+8=24字節。根據這一原則,對String a=”rosen jiang”來說,實例ashallow size也是24字節(很多人對此有爭議,請看官甄別並留言給我)。

 

Retained size是該對象自己的shallow size,加上從該對象能直接或間接訪問到對象的shallow size之和。換句話說,retained size是該對象被GC之後所能回收到內存的總和。爲了更好的理解retained size,不妨看個例子。

 

把內存中的對象看成下圖中的節點,並且對象和對象之間互相引用。這裏有一個特殊的節點GC Roots,正解!這就是reference chain的起點。

retained_objects.gifretained_objects_2.gif

obj1入手,上圖中藍色節點代表僅僅只有通過obj1才能直接或間接訪問的對象。因爲可以通過GC Roots訪問,所以左圖的obj3不是藍色節點;而在右圖卻是藍色,因爲它已經被包含在retained集合內。

所以對於左圖,obj1retained sizeobj1obj2obj4shallow size總和;右圖的retained sizeobj1obj2obj3obj4shallow size總和。obj2retained size可以通過相同的方式計算。

 

Heap Dump

 

heap dump是特定時間點,java進程的內存快照。有不同的格式來存儲這些數據,總的來說包含了快照被觸發時java對象和類在heap中的情況。由於快照只是一瞬間的事情,所以heap dump中無法包含一個對象在何時、何地(哪個方法中)被分配這樣的信息。

 

在不同平臺和不同java版本有不同的方式獲取heap dump,而MAT需要的是HPROF格式的heap dump二進制文件。想無需人工干預的話,要這樣配置JVM參數:-XX:-HeapDumpOnOutOfMemoryError,當錯誤發生時,會自動生成heap dump,在生產環境中,只有用這種方式。如果你想自己控制什麼時候生成heap dump,在Windows+JDK6環境中可利用JConsole工具,而在Linux或者Mac OS X環境下均可使用JDK56自帶的jmap工具。當然,還可以配置JVM參數:-XX:+HeapDumpOnCtrlBreak,也就是在控制檯使用Ctrl+Break鍵來生成heap dump。由於我是windows+JDK5,所以選擇了-XX:-HeapDumpOnOutOfMemoryError這種方式,更多配置請參考MAT Wiki



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章