Spark(十七)Spark Core 調優之資源調優JVM的GC垃圾收集器

一、概述

垃圾收集 Garbage Collection 通常被稱爲“GC”,它誕生於1960年 MIT 的 Lisp 語言,經過半個多世紀,目前已經十分成熟了。

jvm 中,程序計數器、虛擬機棧、本地方法棧都是隨線程而生隨線程而滅,棧幀隨着方法的進入和退出做入棧和出棧操作,實現了自動的內存清理,因此,我們的內存垃圾回收主要集中於 java 堆和方法區中,在程序運行期間,這部分內存的分配和使用都是動態的。

二、垃圾收集器(garbage collector (GC)) 是什麼?

GC其實是一種自動的內存管理工具,其行爲主要包括2步

  • 在Java堆中,爲新創建的對象分配空間
  • 在Java堆中,回收沒用的對象佔用的空間

三、爲什麼需要GC?

釋放開發人員的生產力

四、爲什麼需要多種GC?

首先,Java平臺被部署在各種各樣的硬件資源上,其次,在Java平臺上部署和運行着各種各樣的應用,並且用戶對不同的應用的 性能指標 (吞吐率和延遲) 預期也不同,爲了滿足不同應用的對內存管理的不同需求,JVM提供了多種GC以供選擇

性能指標
最大停頓時長:垃圾回收導致的應用停頓時間的最大值
吞吐率:垃圾回收停頓時長和應用運行總時長的比例

不同的GC能滿足不同應用不同的性能需求,現有的GC包括:

  • 序列化GC(serial garbage collector):適合佔用內存少的應用
  • 並行GC 或 吞吐率GC(parallel or throughput garbage collector):適合佔用內存較多,多CPU,追求高吞吐率的應用
  • 併發GC:適合佔用內存較多,多CPU的應用,對延遲有要求的應用

五、對象存活的判斷

判斷對象是否存活一般有兩種方式:

引用計數:每個對象有一個引用計數屬性,新增一個引用時計數加1,引用釋放時計數減1,計數爲0時可以回收。此方法簡單,缺點是無法解決對象相互循環引用的問題。

可達性分析(Reachability Analysis):從GC Roots開始向下搜索,搜索所走過的路徑稱爲引用鏈。當一個對象到GC Roots沒有任何引用鏈相連時,則證明此對象是不可用的。不可達對象。

在Java語言中,GC Roots包括:

  虛擬機棧中引用的對象。

  方法區中類靜態屬性實體引用的對象。

  方法區中常量引用的對象。

  本地方法棧中JNI引用的對象。

由於循環引用的問題,一般採用跟蹤(可達性分析)方法

六、垃圾回收算法

6.1 標記 -清除算法

“標記-清除”(Mark-Sweep)算法,如它的名字一樣,算法分爲“標記”和“清除”兩個階段:首先標記出所有需要回收的對象,在標記完成後統一回收掉所有被標記的對象。之所以說它是最基礎的收集算法,是因爲後續的收集算法都是基於這種思路並對其缺點進行改進而得到的。

它的主要缺點有兩個:一個是效率問題,標記和清除過程的效率都不高;另外一個是空間問題,標記清除之後會產生大量不連續的內存碎片,空間碎片太多可能會導致,當程序在以後的運行過程中需要分配較大對象時無法找到足夠的連續內存而不得不提前觸發另一次垃圾收集動作。

在這裏插入圖片描述

6.2 複製算法

“複製”(Copying)的收集算法,它將可用內存按容量劃分爲大小相等的兩塊,每次只使用其中的一塊。當這一塊的內存用完了,就將還存活着的對象複製到另外一塊上面,然後再把已使用過的內存空間一次清理掉。

這樣使得每次都是對其中的一塊進行內存回收,內存分配時也就不用考慮內存碎片等複雜情況,只要移動堆頂指針,按順序分配內存即可,實現簡單,運行高效。只是這種算法的代價是將內存縮小爲原來的一半,持續複製長生存期的對象則導致效率降低。

在這裏插入圖片描述

6.3 標記-整理算法

複製收集算法在對象存活率較高時就要執行較多的複製操作,效率將會變低。更關鍵的是,如果不想浪費50%的空間,就需要有額外的空間進行分配擔保,以應對被使用的內存中所有對象都100%存活的極端情況,所以在老年代一般不能直接選用這種算法。

根據老年代的特點,有人提出了另外一種“標記-整理”(Mark-Compact)算法,標記過程仍然與“標記-清除”算法一樣,但後續步驟不是直接對可回收對象進行清理,而是讓所有存活的對象都向一端移動,然後直接清理掉端邊界以外的

在這裏插入圖片描述

6.4 分代收集算法

GC分代的基本假設:絕大部分對象的生命週期都非常短暫,存活時間短。

“分代收集”(Generational Collection)算法,把Java堆分爲新生代和老年代,這樣就可以根據各個年代的特點採用最適當的收集算法。在新生代中,每次垃圾收集時都發現有大批對象死去,只有少量存活,那就選用複製算法,只需要付出少量存活對象的複製成本就可以完成收集。而老年代中因爲對象存活率高、沒有額外空間對它進行分配擔保,就必須使用“標記-清理”或“標記-整理”算法來進行回收。

七、垃圾收集器

如果說收集算法是內存回收的方法論,垃圾收集器就是內存回收的具體實現,不同廠商、不同版本的虛擬機實現差別很大,HotSpot中包含的收集器如下:

在這裏插入圖片描述

7.1 Serial收集器

串行收集器是最古老,最穩定以及效率高的收集器,可能會產生較長的停頓,只使用一個線程去回收。新生代、老年代使用串行回收;新生代複製算法、老年代標記-壓縮;垃圾收集的過程中會Stop The World(服務暫停)

參數控制:-XX:+UseSerialGC 串行收集器

在這裏插入圖片描述

7.2 ParNew收集器

ParNew收集器其實就是Serial收集器的多線程版本。新生代並行,老年代串行;新生代複製算法、老年代標記-壓縮

參數控制:-XX:+UseParNewGC ParNew收集器

-XX:ParallelGCThreads 限制線程數量、

在這裏插入圖片描述

7.3 Parallel收集器

Parallel Scavenge收集器類似ParNew收集器,Parallel收集器更關注系統的吞吐量。可以通過參數來打開自適應調節策略,虛擬機會根據當前系統的運行情況收集性能監控信息,動態調整這些參數以提供最合適的停頓時間或最大的吞吐量;也可以通過參數控制GC的時間不大於多少毫秒或者比例;新生代複製算法、老年代標記-壓縮

參數控制:-XX:+UseParallelGC 使用Parallel收集器+ 老年代串行

在這裏插入圖片描述

7.4 CMS收集器

CMS(Concurrent Mark Sweep)收集器是一種以獲取最短回收停頓時間爲目標的收集器。目前很大一部分的Java應用都集中在互聯網站或B/S系統的服務端上,這類應用尤其重視服務的響應速度,希望系統停頓時間最短,以給用戶帶來較好的體驗。

從名字(包含“Mark Sweep”)上就可以看出CMS收集器是基於“標記-清除”算法實現的,它的運作過程相對於前面幾種收集器來說要更復雜一些,整個過程分爲4個步驟,包括:

初始標記(CMS initial mark)

併發標記(CMS concurrent mark)

重新標記(CMS remark)

併發清除(CMS concurrent sweep)

其中初始標記、重新標記這兩個步驟仍然需要“Stop The World”。初始標記僅僅只是標記一下GC Roots能直接關聯到的對象,速度很快,併發標記階段就是進行GC Roots Tracing的過程,而重新標記階段則是爲了修正併發標記期間,因用戶程序繼續運作而導致標記產生變動的那一部分對象的標記記錄,這個階段的停頓時間一般會比初始標記階段稍長一些,但遠比並發標記的時間短。
由於整個過程中耗時最長的併發標記和併發清除過程中,收集器線程都可以與用戶線程一起工作,所以總體上來說,CMS收集器的內存回收過程是與用戶線程一起併發地執行。老年代收集器(新生代使用ParNew)

優點:併發收集、低停頓

缺點:產生大量空間碎片、併發階段會降低吞吐量

參數控制:
-XX:+UseConcMarkSweepGC 使用CMS收集器

-XX:+ UseCMSCompactAtFullCollection Full GC後,進行一次碎片整理;整理過程是獨佔的,會引起停頓時間變長

-XX:+CMSFullGCsBeforeCompaction 設置進行幾次Full GC後,進行一次碎片整理

-XX:ParallelCMSThreads 設定CMS的線程數量(一般情況約等於可用CPU數量)

在這裏插入圖片描述

7.5 G1收集器

G1是目前技術發展的最前沿成果之一,HotSpot開發團隊賦予它的使命是未來可以替換掉JDK1.5中發佈的CMS收集器。與CMS收集器相比G1收集器有以下特點:

  1. 空間整合,G1收集器採用標記整理算法,不會產生內存空間碎片。分配大對象時不會因爲無法找到連續空間而提前觸發下一次GC。

  2. 可預測停頓,這是G1的另一大優勢,降低停頓時間是G1和CMS的共同關注點,但G1除了追求低停頓外,還能建立可預測的停頓時間模型,能讓使用者明確指定在一個長度爲N毫秒的時間片段內,消耗在垃圾收集上的時間不得超過N毫秒,這幾乎已經是實時Java(RTSJ)的垃圾收集器的特徵了。

上面提到的垃圾收集器,收集的範圍都是整個新生代或者老年代,而G1不再是這樣。使用G1收集器時,Java堆的內存佈局與其他收集器有很大差別,它將整個Java堆劃分爲多個大小相等的獨立區域(Region),雖然還保留有新生代和老年代的概念,但新生代和老年代不再是物理隔閡了,它們都是一部分(可以不連續)Region的集合。

G1對Heap的劃分

在這裏插入圖片描述
G1的新生代收集跟ParNew類似,當新生代佔用達到一定比例的時候,開始出發收集。和CMS類似,G1收集器收集老年代對象會有短暫停頓。

收集步驟

1、標記階段,首先初始標記(Initial-Mark),這個階段是停頓的(Stop the World Event),並且會觸發一次普通Mintor GC。對應GC log:GC pause (young) (inital-mark)

2、Root Region Scanning,程序運行過程中會回收survivor區(存活到老年代),這一過程必須在young GC之前完成。

3、Concurrent Marking,在整個堆中進行併發標記(和應用程序併發執行),此過程可能被young GC中斷。在併發標記階段,若發現區域對象中的所有對象都是垃圾,那個這個區域會被立即回收(圖中打X)。同時,併發標記過程中,會計算每個區域的對象活性(區域中存活對象的比例)。
在這裏插入圖片描述
4、Remark, 再標記,會有短暫停頓(STW)。再標記階段是用來收集 併發標記階段 產生新的垃圾(併發階段和應用程序一同運行);G1中採用了比CMS更快的初始快照算法:snapshot-at-the-beginning (SATB)。

5、Copy/Clean up,多線程清除失活對象,會有STW。G1將回收區域的存活對象拷貝到新區域,清除Remember Sets,併發清空回收區域並把它返回到空閒區域鏈表中。

在這裏插入圖片描述

6、複製/清除過程後。回收區域的活性對象已經被集中回收到深藍色和深綠色區域。

在這裏插入圖片描述

八、常用的收集器組合

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章