一、前言
對生產系統做系統監控，發現2臺Tomcat的內存使用非常高，使用率達到70%左右
二、分析過程
1、查看內存使用情況
# free -g total used free shared buffers cached Mem: 31 27 4 0 0 2 -/+ buffers/cache: 24 7 Swap: 0 0 0
結論1：可以看出：系統的SWAP爲0，說明系統的負荷很小，緩存使用非常多
2、查看進程的使用內存情況
#ps aux|awk '{sum=sum+$6}END{print sum/1024/1024}'
4.66959結論2：所有進程實際內存使用只有4個多G，因爲這臺機器只做Tomcat使用，tomcat停掉之後內存釋放4G左右。符合查看的結果
3、查看內存信息
# cat /proc/meminfo MemTotal: 32827220 kB MemFree: 4282868 kB Buffers: 606924 kB Cached: 2751284 kB SwapCached: 0 kB Active: 6846680 kB Inactive: 1343888 kB Active(anon): 4832540 kB Inactive(anon): 4 kB Active(file): 2014140 kB Inactive(file): 1343884 kB Unevictable: 0 kB Mlocked: 0 kB SwapTotal: 0 kB SwapFree: 0 kB Dirty: 72 kB Writeback: 0 kB AnonPages: 4848808 kB Mapped: 23024 kB Shmem: 200 kB Slab: 20096080 kB SReclaimable: 20054312 kB SUnreclaim: 41768 kB KernelStack: 5312 kB PageTables: 13020 kB NFS_Unstable: 0 kB Bounce: 0 kB WritebackTmp: 0 kB CommitLimit: 16413608 kB Committed_AS: 9673464 kB VmallocTotal: 34359738367 kB VmallocUsed: 333876 kB VmallocChunk: 34342501180 kB HardwareCorrupted: 0 kB AnonHugePages: 4757504 kB HugePages_Total: 0 HugePages_Free: 0 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 2048 kB DirectMap4k: 5056 kB DirectMap2M: 2045952 kB DirectMap1G: 31457280 kB
結論3：Slab的使用率非常高
4、查看Slab使用情況【用於存放內核數據結構緩存】
#slabtop
Active / Total Objects (% used) : 100400146 / 100416927 (100.0%)
Active / Total Slabs (% used) : 5019684 / 5019724 (100.0%)
Active / Total Caches (% used) : 96 / 182 (52.7%)
Active / Total Size (% used) : 18836135.62K / 18838648.95K (100.0%)
Minimum / Average / Maximum Object : 0.02K / 0.19K / 4096.00K
OBJS ACTIVE USE OBJ SIZE SLABS OBJ/SLAB CACHE SIZE NAME
99404360 99403921 13% 0.19K 4970218 20 19880872K dentry
772264 772134 99% 0.10K 20872 37 83488K buffer_head
結論4：Slab緩存絕大部分的內容是dentry
三、結論
1. 首先，弄清楚dentry_cache的概念及作用：目錄項高速緩存，是Linux爲了提高目錄項對象的處理效率而設計的；它記錄了目錄項到inode的映射關係。因此，當應用程序發起stat系統調用時，就會創建對應的dentry_cache項（更進一步，如果每次stat的文件都是不存在的文件，那麼總是會有大量新的dentry_cache項被創建）
2. 當前服務器是Tomcat,會頻繁處理本地文件，導致linux系統將數據全部緩存
3.涉及到centos的內核緩存機制，參數vfs_cache_pressure：
該文件表示內核回收用於directory和inode cache內存的傾向；缺省值100表示內核將根據pagecache和swapcache，把directory和inode cache保持在一個合理的百分比；降低該值低於100，將導致內核傾向於保留directory和inode cache；增加該值超過100，將導致內核傾向於回收directory和inode cache。
缺省設置：100
min_free_kbytes：
該文件表示強制Linux VM最低保留多少空閒內存（Kbytes）
4.所有的機器安裝操作系統時都是默認安裝，沒有針對以後的場景做內核參數的優化和調整，此項參數設置不當是系統內存使用率高的根本原因
四、解決方法
1.清理緩存
echo 1 > /proc/sys/vm/drop_caches
# free pagecache
echo 2 > /proc/sys/vm/drop_caches
# free dentries and inodes
echo 3 > /proc/sys/vm/drop_caches
# free pagecache, dentries and inodes
2.調整內核參數
sysctl -w vm.vfs_cache_pressure=1000
sysctl -w vm.min_free_kbytes=1024
或者 打開/proc/sys/vm/vfs_cache_pressure 直接修改
3.重啓服務器
五、感想
這個問題困擾了好幾天，查了很多資料，因爲對操作系統內核知識匱乏，解決問題的過程中走了很多彎路。查了N久結果只是修改一個參數，系統調優和內核還是真不簡單 呵呵。。
參考：
http://blog.itpub.net/12482/viewspace-1013044/
http://www.bitscn.com/os/linux/201402/194938.html