一文看懂 Linux 標準大頁和透明大頁

Huge pages ( 標準大頁 ) 和 Transparent Huge pages( 透明大頁 )

在 Linux 中大頁分爲兩種:Huge pages ( 標準大頁 ) 和 Transparent Huge pages( 透明大頁 ) 。

內存是以塊即頁的方式進行管理的,當前大部分系統默認的頁大小爲 4096 bytes 即 4K。1MB 內存等於 256 頁;1GB 內存等於 256000 頁。

CPU 擁有內置的內存管理單元,包含這些頁面的列表,每個頁面通過頁表條目引用。當內存越來越大的時候, CPU 需要管理這些內存頁的成本也就越高,這樣會對操作系統的性能產生影響。

Huge Pages
Huge pages 是從 Linux Kernel 2.6 後被引入的,目的是通過使用大頁內存來取代傳統的 4kb 內存頁面, 以適應越來越大的系統內存,讓操作系統可以支持現代硬件架構的大頁面容量功能。

Huge pages 有兩種格式大小:2MB 和1GB ,2MB 頁塊大小適合用於 GB 大小的內存, 1GB 頁塊大小適合用於 TB 級別的內存;2MB 是默認的頁大小。

Transparent Huge Pages
Transparent Huge Pages 縮寫 THP ,這個是 RHEL 6 開始引入的一個功能,在 Linux6 上透明大頁是默認啓用的。

由於 Huge pages 很難手動管理,而且通常需要對代碼進行重大的更改纔能有效的使用,因此 RHEL 6 開始引入了 Transparent Huge Pages ,THP 是一個抽象層,能夠自動創建、管理和使用傳統大頁。

THP 爲系統管理員和開發人員減少了很多使用傳統大頁的複雜性 , 因爲 THP 的目標是改進性能,因此其它開發人員 ( 來自社區和紅帽 ) 已在各種系統、配置、應用程序和負載中對 THP 進行了測試和優化。這樣可讓 THP 的默認設置改進大多數系統配置性能。但是,不建議對數據庫工作負載使用 THP 。

這兩者最大的區別在於: 標準大頁管理是預分配的方式,而透明大頁管理則是動態分配的方式。

標準大頁的頁面大小

[root@localhost ~]# grep Hugepagesize /proc/meminfo
Hugepagesize: 2048 kB

注:THP 目前只能映射異步內存區域,比如堆和棧空間

使用Huge pages優點
Oracle 官方是推薦我們使用 Huge pages 的,它擁有以下的好處:

Larger Page Size and Less # ofPages: Default page size is 4K whereas the HugeTLB size is 2048K. That meansthe system would need to handle 512 times less pages.
Reduced Page Table Walking:Since a HugePage covers greater contiguous virtual address range than a regularsized page, a probability of getting a TLB hit per TLB entry with HugePages arehigher than with regular pages. This reduces the number of times page tablesare walked to obtain physical address from a virtual address.
Less Overhead for MemoryOperations: On virtual memory systems (any modern OS) each memory operation isactually two abstract memory operations. With HugePages, since there are lessnumber of pages to work on, the possible bottleneck on page table access isclearly avoided.
Less Memory Usage: From theOracle Database perspective, with HugePages, the Linux kernel will use lessmemory to create pagetables to maintain virtual to physical mappings for SGAaddress range, in comparison to regular size pages. This makes more memory tobe available for process-private computations or PGA usage.
No Swapping: We must avoidswapping to happen on Linux OS at all Document 1295478.1. HugePages are notswappable (whereas regular pages are). Therefore there is no page replacementmechanism overhead. HugePages are universally regarded as pinned.
No 'kswapd' Operations: kswapdwill get very busy if there is a very large area to be paged (i.e. 13 millionpage table entries for 50GB memory) and will use an incredible amount of CPUresource. When HugePages are used, kswapd is not involved in managing them. Seealso Document 361670.1

使用 Huge pages缺點
當然使用 Huge pages 也會存在某些缺點:

首先,開啓該功能需要進行額外設置,

第二, Huge pages 和 Oracle 11g新 特性 AMM ( Automatic Memory Management )是相互衝突的,但是 ASMM ( Automatic Shared Memory Management )仍然可以繼續使用。

Transparent Huge pages存在的問題
Oracle 官方雖然推薦我們使用 Huge pages ,但是卻建議我們關閉 Transparent Huge pages ,因爲透明大頁存在一些問題:

在 RAC 環境下 透明大頁( TransparentHugePages )會導致異常節點重啓,和性能問題;

在單機環境中,透明大頁( TransparentHugePages ) 也會導致一些異常的性能問題;

注:Transparent Huge Pages在32位的RHEL 6中是不支持的。

如何關閉 Transparent Huge pages ?#
環境:CentOS Linux release 7.8.2003 (Core)

[root@localhost ~]# grep Huge /proc/meminfo
AnonHugePages: 7956480 kB      ----->>返回值不爲0,表示開啓了THP
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB

檢查當前的transparent_hugepage狀態(以下爲開啓狀態)

# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never
# cat /sys/kernel/mm/transparent_hugepage/defrag
[always] madvise never

透明大頁關閉方法有兩種,一種是通過命令關閉,一種通過修改grub開機引導文件關閉:

方法一
手動臨時關閉

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

參數說明
never 關閉,不使用透明內存 alway 儘量使用透明內存,掃描內存,有512個 4k頁面可以整合,就整合成一個2M的頁面 madvise 避免改變內存佔用

開機自動關閉
vim /etc/rc.d/rc.local

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi

if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

授予執行權限

chmod +x /etc/rc.d/rc.local

方法二
備份配置文件

cp /etc/default/grub /etc/default/grub.date +%F.bak

備份grub配置文件

cp /boot/grub2/grub.cfg /boot/grub2/grub.cfg.date +%F.bak

編輯/etc/default/grub 文件,在GRUB_CMDLINE_LINUX 後面加上

transparent_hugepage=never

或者編輯/etc/sysconfig/grub,其實/etc/sysconfig/grub是/etc/default/grub的軟鏈接。但我遇到過不是軟鏈接的關係情況,這樣編輯/etc/sysconfig/grub是沒有用戶的;執行grub2-mkconfig不會把關閉THP的選項寫入到gurb.cfg。

#cat /etc/sysconfig/grub
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rd.lvm.lv=centos/usr rhgb quiet transparent_hugepage=never"
GRUB_DISABLE_RECOVERY="true"

再使用 grub2-mkconfig 生成grub.cfg配置文件。

# grub2-mkconfig -o /boot/grub2/grub.cfg
# init 6 -------->>>>重啓生效

重啓後效果

# cat /proc/cmdline
BOOT_IMAGE=/vmlinuz-3.10.0-1127.el7.x86_64 root=/dev/mapper/rhel-root ro crashkernel=auto rd.lvm.lv=rhel/root rd.lvm.lv=rhel/swap rd.lvm.lv=rhel/usr rhgb quiet transparent_hugepage=never

# cat /sys/kernel/mm/transparent_hugepage/enabled
always madvise [never]    ---->>>[never]表示成功禁用THP
#cat /sys/kernel/mm/transparent_hugepage/defrag   ------>>> 這個應該是內存碎片整理
[always] madvise never

# grep Hug /proc/meminfo        
AnonHugePages:         0 kB      ---------->>>返回值若是零,代表成功禁用THP
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

擴展內容
使用情況監控 可以查看/sys/kernel/mm/transparent_hugepage/khugepaged下信息

一個掃描週期被掃描的內存頁數 pages_to_scan (默認 4096 = 16MB)

多長時間掃描一次 scan_sleep_millisecs (默認 10000 = 10sec)

多長時間整理一次碎片

alloc_sleep_millisecs (默認 60000 = 60sec)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章