基於Linux服務器的性能分析與優化(1)

作爲一名Linux系統管理員,最主要的工作是優化系統配置,使應用在系統上以最優的狀態運行,但硬件問題、軟件問題、網絡環境等的複雜性和多變性,導致了對系統的優化變得異常複雜,如何定位性能問題出在哪個方面,是性能優化的一大難題。 本文從系統入手,重點講述由於系統軟、硬件配置不當造成的性能問題,並且給出了檢測系統故障和優化性能的一般方法和流程。

一、 系統性能分析的目的

1.1 找到系統性能的瓶頸
系統的性能是指操作系統完成任務的有效性、穩定性和響應速度。Linux系統管理員可能經常會遇到系統不穩定、響應速度慢等問題,例如在Linux上搭建了一個Web服務,經常出現網頁無法打開、打開速度慢等現象。遇到這些問題,就有人會抱怨Linux系統不好,其實這些都是表面現象。操作系統完成一個任務是與系統自身設置、網絡拓樸結構、路由設備、路由策略、接入設備、物理線路等多個方面都密切相關的,任何一個環節出現問題,都會影響整個系統的性能。因此,當Linux應用出現問題時,應當從應用程序、操作系統、服務器硬件、網絡環境等方面綜合排查,定位問題出現在哪個部分,然後集中解決。

1.2 ×××能優化方案
查找系統性能瓶頸是個複雜而耗時的過程,需要在應用程序、操作系統、服務器硬件、網絡環境等方面進行查找和定位,影響性能最大的是應用程序和操作系統兩個方面,因爲這兩個方面出現的問題不易察覺,隱蔽性很強。而硬件、網絡方面出現的問題,一般都能馬上定位。一旦找到了系統性能問題,解決起來就非常迅速和容易,例如發現系統硬件存在問題,如果是物理故障,那麼更換硬件就可以了,如果是硬件性能不能滿足需求,升級硬件就可以了;如果發現是網絡問題,比如帶寬不夠、網絡不穩定,只需優化和升級網絡即可;如果發現是應用程序問題,修改或優化軟件系統即可;而如果是操作系統配置問題,修改系統參數、修改系統配置即可。
可見,只要找到了性能瓶頸,就可以×××能優化方案,有標準、有目的地進行系統優化。

1.3 使系統硬件和軟件資源的使用達到平衡
Linux操作系統是一個開源產品,也是一個開源軟件的實踐和應用平臺,在這個平臺下由無數的開源軟件支撐,常見的有Apache、Tomcat、MySQL、PHP等。開源軟件的最大理念是自由、開放,那麼Linux作爲一個開源平臺,最終要實現的是通過這些開源軟件的支持,以最低廉的成本,達到應用性能的最優化。但是,系統的性能問題並非是孤立的,解決了一個性能瓶頸,可能會出現另一個性能瓶頸,所以說性能優化的最終目的是:在一定範圍內使系統的各項資源使用趨於合理並保持一定的平衡,即系統運行良好的時候恰恰就是系統資源達到了一個平衡狀態的時候。而在操作系統中,任何一項資源的過度使用都會破壞這種平衡狀態,從而導致系統響應緩慢或者負載過高。例如,CPU資源的過度使用會造成系統中出現大量的等待進程,導致應用程序響應緩慢,而進程的大量增加又會導致系統內存資源的增加,當物理內存耗盡時,系統就會使用虛擬內存,而虛擬內存的使用又會造成磁盤I/O的增加並加大CPU的開銷。因此,系統性能的優化就是在硬件、操作系統、應用軟件之間找到一個平衡點。

二、 分析系統性能涉及的人員

2.1        Linux系統管理人員
在做性能優化過程中,系統管理人員承擔着很重要的任務,首先,系統管理人員要了解和掌握操作系統的當前運行狀態,例如系統負載、內存狀態、進程狀態、CPU負荷等信息,這些信息是檢測和判斷系統性能的基礎和依據;其次,系統管理人員還有掌握系統的硬件信息,例如磁盤I/O、CPU型號、內存大小、網卡帶寬等參數信息,然後根據這些信息綜合評估系統資源的使用情況;第三,作爲一名系統管理人員,還要掌握應用程序對系統資源的使用情況,更深入的一點就是要了解應用程序的運行效率,例如是否有程序BUG、內存溢出等問題,通過對系統資源的監控,就能發現應用程序是否存在異常,如果確實是應用程序存在問題,需要把問題立刻反映給程序開發人員,進而改進或升級程序。
性能優化本身就是一個複雜和繁瑣的過程,系統管理人員只有瞭解了系統硬件信息、網絡信息、操作系統配置信息和應用程序信息纔能有針對性地的展開對服務器性能優化,這就要求系統管理員有充足的理論知識、豐富的實戰經驗以及縝密分析問題的頭腦。

2.2        系統架構設計人員
系統性能優化涉及的第二類人員就是應用程序的架構設計人員。如果系統管理人員在經過綜合判斷後,發現影響性能的是應用程序的執行效率,那麼程序架構設計人員就要及時介入,深入瞭解程序運行狀態。首先,系統架構設計人員要跟蹤瞭解程序的執行效率,如果執行效率存在問題,要找出哪裏出現了問題;其次,如果真的是架構設計出現了問題,那麼就要馬上優化或改進系統架構,設計更好的應用系統架構。

2.3        軟件開發人員
系統性能優化最後一個環節涉及的是程序開發人員,在系統管理員或架構設計人員找到程序或結構瓶頸後,程序開發人員要馬上介入進行相應的程序修改。修改程序要以程序的執行效率爲基準,改進程序的邏輯,有針對性地進行代碼優化。例如,系統管理人員在系統中發現有條SQL語句耗費大量的系統資源,抓取這條執行的SQL語句,發現此SQL語句的執行效率太差,是開發人員編寫的代碼執行效率低造成的,這就需要把這個信息反饋給開發人員,開發人員在收到這個問題後,可以有針對性的進行SQL優化,進而實現程序代碼的優化。
從上面這個過程可以看出,系統性能優化一般遵循的流程是:首先系統管理人員查看系統的整體狀況,主要從系統硬件、網絡設備、操作系統配置、應用程序架構和程序代碼五個方面進行綜合判斷,如果發現是系統硬件、網絡設備或者操作系統配置問題,系統管理員可以根據情況自主解決;如果發現是程序結構問題,就需要提交給程序架構設計人員;如果發現是程序代碼執行問題,就交給開發人員進行代碼優化。這樣就完成了一個系統性能優化的過程。

三、影響Linux性能的各種因素

3.1 系統硬件資源
1.CPU
CPU是操作系統穩定運行的根本,CPU的速度與性能在很大程度上決定了系統整體的性能,因此,CPU數量越多、主頻越高,服務器性能也就相對越好。但事實並非完全如此。
目前大部分CPU在同一時間內只能運行一個線程,超線程的處理器可以在同一時間運行多個線程,因此,可以利用處理器的超線程特性提高系統性能。在Linux系統下,只有運行SMP內核才能支持超線程,但是,安裝的CPU數量越多,從超線程獲得的性能方面的提高就越少。另外,Linux內核會把多核的處理器當作多個單獨的CPU來識別,例如兩個4核的CPU,在Lnux系統下會被當作8個單核CPU。但是從性能角度來講,兩個4核的CPU和8個單核的CPU並不完全等價,根據權威部門得出的測試結論,前者的整體性能要比後者低25%~30%。
可能出現CPU瓶頸的應用有郵件服務器、動態Web服務器等,對於這類應用,要把CPU的配置和性能放在主要位置。
2.內存
內存的大小也是影響Linux性能的一個重要的因素,內存太小,系統進程將被阻塞,應用也將變得緩慢,甚至失去響應;內存太大,導致資源浪費。Linux系統採用了物理內存和虛擬內存兩種方式,虛擬內存雖然可以緩解物理內存的不足,但是佔用過多的虛擬內存,應用程序的性能將明顯下降,要保證應用程序的高性能運行,物理內存一定要足夠大;但是過大的物理內存,會造成內存資源浪費,例如,在一個32位處理器的Linux操作系統上,超過8GB的物理內存都將被浪費。因此,要使用更大的內存,建議安裝64位的操作系統,同時開啓Linux的大內存內核支持。
由於處理器尋址範圍的限制,在32位Linux操作系統上,應用程序單個進程最大隻能使用2GB的內存,這樣以來,即使系統有更大的內存,應用程序也無法“享”用,解決的辦法就是使用64位處理器,安裝64位操作系統。在64位操作系統下,可以滿足所有應用程序對內存的使用需求 ,幾乎沒有限制。
可能出現內存性能瓶頸的應用有打印服務器、數據庫服務器、靜態Web服務器等,對於這類應用要把內存大小放在主要位置。
3.磁盤I/O性能
磁盤的I/O性能直接影響應用程序的性能,在一個有頻繁讀寫的應用中,如果磁盤I/O性能得不到滿足,就會導致應用停滯。好在現今的磁盤都採用了很多方法來提高I/O性能,比如常見的磁盤RAID技術。
   RAID的英文全稱爲:Redundant Array of Independent Disk,即獨立磁盤冗餘陣列,簡稱磁盤陣列。RAID通過將多塊獨立的磁盤(物理硬盤)按不同方式組合起來形成一個磁盤組(邏輯硬盤),從而提供比單個硬盤更高的I/O性能和數據冗餘。
通過RAID技術組成的磁盤組,就相當於一個大硬盤,用戶可以對它進行分區格式化、建立文件系統等操作,跟單個物理硬盤一模一樣,唯一不同的是RAID磁盤組的I/O性能比單個硬盤要高很多,同時在數據的安全性也有很大提升。
根據磁盤組合方式的不同,RAID可以分爲RAID0,RAID1、RAID2、RAID3、RAID4、RAID5、RAID6、RAID7、RAID0+1、RAID10等級別,常用的RAID級別有RAID0、RAID1、RAID5、RAID0+1,這裏進行簡單介紹。
    RAID 0:通過把多塊硬盤粘合成一個容量更大的硬盤組,提高了磁盤的性能和吞吐量。這種方式成本低,要求至少兩個磁盤,但是沒有容錯和數據修復功能,因而只能用在對數據安全性要求不高的環境中。
    RAID 1:也就是磁盤鏡像,通過把一個磁盤的數據鏡像到另一個磁盤上,最大限度地保證磁盤數據的可靠性和可修復性,具有很高的數據冗餘能力,但磁盤利用率只有50%,因而,成本最高,多用在保存重要數據的場合。
    RAID5:採用了磁盤分段加奇偶校驗技術,從而提高了系統可靠性,RAID5讀出效率很高,寫入效率一般,至少需要3塊盤。允許一塊磁盤故障,而不影響數據的可用性。
    RAID0+1:把RAID0和RAID1技術結合起來就成了RAID0+1,至少需要4個硬盤。此種方式的數據除分佈在多個盤上外,每個盤都有其鏡像盤,提供全冗餘能力,同時允許一個磁盤故障,而不影響數據可用性,並具有快速讀/寫能力。
通過了解各個RAID級別的性能,可以根據應用的不同特性,選擇適合自身的RAID級別,從而保證應用程序在磁盤方面達到最優性能。
4.網絡寬帶
Linux下的各種應用,一般都是基於網絡的,因此網絡帶寬也是影響性能的一個重要因素,低速的、不穩定的網絡將導致網絡應用程序的訪問阻塞,而穩定、高速的網絡帶寬,可以保證應用程序在網絡上暢通無阻地運行。幸運的是,現在的網絡一般都是千兆帶寬或光纖網絡,帶寬問題對應用程序性能造成的影響也在逐步降低。

3.2 操作系統相關資源

基於操作系統的性能優化也是多方面的,可以從系統安裝、系統內核參數、網絡參數、文件系統等幾個方面進行衡量,下面依次進行簡單介紹。
1.系統安裝優化
系統優化可以從安裝操作系統開始,當安裝Linux系統時,磁盤的劃分,SWAP內存的分配都直接影響以後系統的運行性能,例如,磁盤分配可以遵循應用的需求:對於對寫操作頻繁而對數據安全性要求不高的應用,可以把磁盤做成RAID 0;而對於對數據安全性較高,對讀寫沒有特別要求的應用,可以把磁盤做成RAID 1;對於對讀操作要求較高,而對寫操作無特殊要求,並要保證數據安全性的應用,可以選擇RAID 5;對於對讀寫要求都很高,並且對數據安全性要求也很高的應用,可以選擇RAID 01。這樣通過不同的應用需求設置不同的RAID級別,在磁盤底層對系統進行優化操作。
隨着內存價格的降低和內存容量的日益增大,對虛擬內存SWAP的設定,現在已經沒有了所謂虛擬內存是物理內存兩倍的要求,但是SWAP的設定還是不能忽略,根據經驗,如果內存較小(物理內存小於4GB),一般設置SWAP交換分區大小爲內存的2倍;如果物理內存大於4GB小於16GB,可以設置SWAP大小等於或略小於物理內存即可;如果內存大小在16GB以上,原則上可以設置SWAP爲0,但並不建議這麼做,因爲設置一定大小的SWAP還是有一定作用的。
2.內核參數優化
系統安裝完成後,優化工作並沒有結束,接下來還可以對系統內核參數進行優化,不過內核參數的優化要和系統中部署的應用結合起來整體考慮。例如,如果系統部署的是Oracle數據庫應用,那麼就需要對系統共享內存段(kernel.shmmax、kernel.shmmni、kernel.shmall)、系統信號量(kernel.sem)、文件句柄(fs.file-max)等參數進行優化設置;如果部署的是Web應用,那麼就需要根據Web應用特性進行網絡參數的優化,例如修改net.ipv4.ip_local_port_range、net.ipv4.tcp_tw_reuse、net.core.somaxconn等網絡內核參數。
3.文件系統優化
文件系統的優化也是系統資源優化的一個重點,在Linux下可選的文件系統有ext2、ext3、xfs、ReiserFS,根據不同的應用,選擇不同的文件系統。
Linux標準文件系統是從VFS開始的,然後是ext,接着就是ext2,應該說,ext2是Linux上標準的文件系統,ext3是在ext2基礎上增加日誌形成的,從VFS到ext3,其設計思想沒有太大變化,都是早期UNIX家族基於超級塊和inode的設計理念。
XFS文件系統是SGI開發的一個高級日誌文件系統,後來移植到了Linux系統下,XFS通過分佈處理磁盤請求、定位數據、保持Cache 的一致性來提供對文件系統數據的低延遲、高帶寬的訪問,因此,XFS極具伸縮性,非常健壯,具有優秀的日誌記錄功能、可擴展性強、快速寫入性能等優點。
ReiserFS是在Hans Reiser領導下開發出來的一款高性能的日誌文件系統,它通過完全平衡樹結構來管理數據, 包括文件數據,文件名及日誌支持等,與ext2/ext3相比,最大的優點是訪問性能和安全性大幅提升。ReiserFS具有高效、合理利用磁盤空間,先進的日誌管理機制,特有的搜尋方式,海量磁盤存儲等優點。

3.3 應用程序軟件資源
應用程序的優化其實是整個優化工程的核心,如果一個應用程序存在BUG,那麼即使所有其他方面都達到了最優狀態,整個應用系統還是性能低下,所以,對應用程序的優化是性能優化過程的重中之重,這就對程序架構設計人員和程序開發人員提出了更高的要求。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章