瞭解Java線程池

轉自:http://www.cnblogs.com/aspirant/p/6920418.html

文章可能篇幅有點小長,但是靜下心來認真的讀取,你會收穫很多。。。。

第一章

1、什麼是線程池:  java.util.concurrent.Executors提供了一個 java.util.concurrent.Executor接口的實現用於創建線程池。

     多線程技術主要解決處理器單元內多個線程執行的問題,它可以顯著減少處理器單元的閒置時間,增加處理器單元的吞吐能力。    
    假設一個服務器完成一項任務所需時間爲:T1 創建線程時間,T2 在線程中執行任務的時間,T3 銷燬線程時間。

   如果:T1 + T3 遠大於 T2,則可以採用線程池,以提高服務器性能。

     一個線程池包括以下四個基本組成部分:
                1、線程池管理器(ThreadPool):用於創建並管理線程池,包括 創建線程池,銷燬線程池,添加新任務;
                2、工作線程(PoolWorker):線程池中線程,在沒有任務時處於等待狀態,可以循環的執行任務;
                3、任務接口(Task):每個任務必須實現的接口,以供工作線程調度任務的執行,它主要規定了任務的入口,任務執                        行完後的收尾工作,任務的執行狀態等;
                4、任務隊列(taskQueue):用於存放沒有處理的任務。提供一種緩衝機制。

        線程池技術正是關注如何縮短或調整T1,T3時間的技術,從而提高服務器程序性能的。它把T1,T3分別安排在服務器程序的啓動和結束的時間段或者一些空閒的時間段,這樣在服務器程序處理客戶請求時,不會有T1,T3的開銷了。
        線程池不僅調整T1,T3產生的時間段,而且它還顯著減少了創建線程的數目,看一個例子:
        假設一個服務器一天要處理50000個請求,並且每個請求需要一個單獨的線程完成。在線程池中,線程數一般是固定的,所以產生線程總數不會超過線程池中線程的數目,而如果服務器不利用線程池來處理這些請求則線程總數爲50000。一般線程池大小是遠小於50000。所以利用線程池的服務器程序不會爲了創建50000而在處理請求時浪費時間,從而提高效率。

2.常見線程池

①newSingleThreadExecutor

單個線程的線程池,即線程池中每次只有一個線程工作,單線程串行執行任務

②newFixedThreadExecutor(n)

固定數量的線程池,沒提交一個任務就是一個線程,直到達到線程池的最大數量,然後後面進入等待隊列直到前面的任務完成才繼續執行

③newCacheThreadExecutor(推薦使用)

可緩存線程池,當線程池大小超過了處理任務所需的線程,那麼就會回收部分空閒(一般是60秒無執行)的線程,當有任務來時,又智能的添加新線程來執行。

④newScheduleThreadExecutor

大小無限制的線程池,支持定時和週期性的執行線程

 

  java提供的線程池更加強大,相信理解線程池的工作原理,看類庫中的線程池就不會感到陌生了。

第二章

ava線程池使用說明

一簡介

線程的使用在java中佔有極其重要的地位,在jdk1.4極其之前的jdk版本中,關於線程池的使用是極其簡陋的。在jdk1.5之後這一情況有了很大的改觀。Jdk1.5之後加入了java.util.concurrent包,這個包中主要介紹java中線程以及線程池的使用。爲我們在開發中處理線程的問題提供了非常大的幫助。

二:線程池

線程池的作用:

線程池作用就是限制系統中執行線程的數量。
     根據系統的環境情況,可以自動或手動設置線程數量,達到運行的最佳效果;少了浪費了系統資源,多了造成系統擁擠效率不高。用線程池控制線程數量,其他線程排隊等候。一個任務執行完畢,再從隊列的中取最前面的任務開始執行。若隊列中沒有等待進程,線程池的這一資源處於等待。當一個新任務需要運行時,如果線程池中有等待的工作線程,就可以開始運行了;否則進入等待隊列。

爲什麼要用線程池:

1.減少了創建和銷燬線程的次數,每個工作線程都可以被重複利用,可執行多個任務。

2.可以根據系統的承受能力,調整線程池中工作線線程的數目,防止因爲消耗過多的內存,而把服務器累趴下(每個線程需要大約1MB內存,線程開的越多,消耗的內存也就越大,最後死機)。

Java裏面線程池的頂級接口是Executor,但是嚴格意義上講Executor並不是一個線程池,而只是一個執行線程的工具。真正的線程池接口是ExecutorService。

比較重要的幾個類:

ExecutorService 真正的線程池接口
ScheduledExecutorService 能和Timer/TimerTask類似,解決那些需要任務重複執行的問題
ThreadPoolExecutor ExecutorService的默認實現
ScheduledThreadPoolExecutor 繼承ThreadPoolExecutor的ScheduledExecutorService接口實現,週期性任務調度的類實現

要配置一個線程池是比較複雜的,尤其是對於線程池的原理不是很清楚的情況下,很有可能配置的線程池不是較優的,因此在Executors類裏面提供了一些靜態工廠,生成一些常用的線程池。

1. newSingleThreadExecutor

創建一個單線程的線程池。這個線程池只有一個線程在工作,也就是相當於單線程串行執行所有任務。如果這個唯一的線程因爲異常結束,那麼會有一個新的線程來替代它。此線程池保證所有任務的執行順序按照任務的提交順序執行。

2.newFixedThreadPool

創建固定大小的線程池。每次提交一個任務就創建一個線程,直到線程達到線程池的最大大小。線程池的大小一旦達到最大值就會保持不變,如果某個線程因爲執行異常而結束,那麼線程池會補充一個新線程。

3. newCachedThreadPool

創建一個可緩存的線程池。如果線程池的大小超過了處理任務所需要的線程,

那麼就會回收部分空閒(60秒不執行任務)的線程,當任務數增加時,此線程池又可以智能的添加新線程來處理任務。此線程池不會對線程池大小做限制,線程池大小完全依賴於操作系統(或者說JVM)能夠創建的最大線程大小。

4.newScheduledThreadPool

創建一個大小無限的線程池。此線程池支持定時以及週期性執行任務的需求。

實例

public class ThreadPoolTest {
    public static void main(String[] args) {
        cachedThreadExecutorTest();
    }
    
    
    //單通道線程池
    public static void singleThreadExecutorTest() {
        ExecutorService executorService = Executors.newSingleThreadExecutor();
        
        MyThread myThread1 = new MyThread(1);
        MyThread myThread2 = new MyThread(2);
        MyThread myThread3 = new MyThread(3);
        MyThread myThread4 = new MyThread(4);
        
        executorService.execute(myThread1);
        executorService.execute(myThread2);
        executorService.execute(myThread3);
        executorService.execute(myThread4);
        
        executorService.shutdown();
    }
    
    //固定線程池
    public static void fixedThreadExecutorTest(){
        ExecutorService executorService = Executors.newFixedThreadPool(2);
        
        MyThread myThread1 = new MyThread(1);
        MyThread myThread2 = new MyThread(2);
        MyThread myThread3 = new MyThread(3);
        MyThread myThread4 = new MyThread(4);
        
        executorService.execute(myThread1);
        executorService.execute(myThread2);
        executorService.execute(myThread3);
        executorService.execute(myThread4);
        
        executorService.shutdown();
    }
    
    //緩存線程
    public static void cachedThreadExecutorTest(){
        
        ExecutorService executorService = Executors.newCachedThreadPool();
        for(int i = 1; i <= 800; i++){
            executorService.execute(new MyThread(i));
        }
        
        executorService.shutdown();
    }
    
    //自定義的線程示例
    private static class MyThread extends Thread {
        int num = 0;
        MyThread(int num){
            this.num = num;
        }
        
        
        public void run() {
            System.out.println(num + "---" + Thread.currentThread().getName()+"正在執行....");
        }
    }

三:ThreadPoolExecutor詳解

ThreadPoolExecutor的完整構造方法的簽名是:ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit, BlockingQueue<Runnable> workQueue, ThreadFactory threadFactory, RejectedExecutionHandler handler) .

corePoolSize - 池中所保存的線程數,包括空閒線程。

maximumPoolSize-池中允許的最大線程數。

keepAliveTime - 當線程數大於核心時,此爲終止前多餘的空閒線程等待新任務的最長時間。

unit - keepAliveTime 參數的時間單位。

workQueue - 執行前用於保持任務的隊列。此隊列僅保持由 execute方法提交的 Runnable任務。

threadFactory - 執行程序創建新線程時使用的工廠。

handler - 由於超出線程範圍和隊列容量而使執行被阻塞時所使用的處理程序。

ThreadPoolExecutor是Executors類的底層實現。

在JDK幫助文檔中,有如此一段話:

“強烈建議程序員使用較爲方便的Executors工廠方法Executors.newCachedThreadPool()(無界線程池,可以進行自動線程回收)、Executors.newFixedThreadPool(int)(固定大小線程池)Executors.newSingleThreadExecutor()(單個後臺線程)

它們均爲大多數使用場景預定義了設置。”

下面介紹一下幾個類的源碼:

ExecutorService  newFixedThreadPool (int nThreads):固定大小線程池。

可以看到,corePoolSize和maximumPoolSize的大小是一樣的(實際上,後面會介紹,如果使用無界queue的話maximumPoolSize參數是沒有意義的),keepAliveTime和unit的設值表名什麼?-就是該實現不想keep alive!最後的BlockingQueue選擇了LinkedBlockingQueue,該queue有一個特點,他是無界的。

public static ExecutorService newFixedThreadPool(int nThreads) {   

           return new ThreadPoolExecutor(nThreads, nThreads,   

                                        0L, TimeUnit.MILLISECONDS,   

                                        new LinkedBlockingQueue<Runnable>());   

      }

public static ExecutorService newFixedThreadPool(int nThreads) { return new ThreadPoolExecutor(nThreads, nThreads, 0L, TimeUnit.MILLISECONDS, new LinkedBlockingQueue<Runnable>()); }ExecutorService  newSingleThreadExecutor():單線程

public static ExecutorService newSingleThreadExecutor() {   
            return new FinalizableDelegatedExecutorService   
                 (new ThreadPoolExecutor(1, 1,   
                                       0L, TimeUnit.MILLISECONDS,   
                                      new LinkedBlockingQueue<Runnable>()));   
       }

ExecutorService newCachedThreadPool():無界線程池,可以進行自動線程回收

這個實現就有意思了。首先是無界的線程池,所以我們可以發現maximumPoolSize爲big big。其次BlockingQueue的選擇上使用SynchronousQueue。可能對於該BlockingQueue有些陌生,簡單說:該QUEUE中,每個插入操作必須等待另一個線程的對應移除操作。

 public static ExecutorService newCachedThreadPool() {   
             return new ThreadPoolExecutor(0, Integer.MAX_VALUE,   
                                         60L, TimeUnit.SECONDS,   
                                        new SynchronousQueue<Runnable>());   
    }

先從BlockingQueue<Runnable> workQueue這個入參開始說起。在JDK中,其實已經說得很清楚了,一共有三種類型的queue。

所有BlockingQueue 都可用於傳輸和保持提交的任務。可以使用此隊列與池大小進行交互:

如果運行的線程少於 corePoolSize,則 Executor始終首選添加新的線程,而不進行排隊。(如果當前運行的線程小於corePoolSize,則任務根本不會存放,添加到queue中,而是直接抄傢伙(thread)開始運行)

如果運行的線程等於或多於 corePoolSize,則 Executor始終首選將請求加入隊列,而不添加新的線程

如果無法將請求加入隊列,則創建新的線程,除非創建此線程超出 maximumPoolSize,在這種情況下,任務將被拒絕。

queue上的三種類型。

 

排隊有三種通用策略:

直接提交。工作隊列的默認選項是 SynchronousQueue,它將任務直接提交給線程而不保持它們。在此,如果不存在可用於立即運行任務的線程,則試圖把任務加入隊列將失敗,因此會構造一個新的線程。此策略可以避免在處理可能具有內部依賴性的請求集時出現鎖。直接提交通常要求無界 maximumPoolSizes 以避免拒絕新提交的任務。當命令以超過隊列所能處理的平均數連續到達時,此策略允許無界線程具有增長的可能性。

無界隊列。使用無界隊列(例如,不具有預定義容量的 LinkedBlockingQueue)將導致在所有corePoolSize 線程都忙時新任務在隊列中等待。這樣,創建的線程就不會超過 corePoolSize。(因此,maximumPoolSize的值也就無效了。)當每個任務完全獨立於其他任務,即任務執行互不影響時,適合於使用無界隊列;例如,在 Web頁服務器中。這種排隊可用於處理瞬態突發請求,當命令以超過隊列所能處理的平均數連續到達時,此策略允許無界線程具有增長的可能性。

有界隊列。當使用有限的 maximumPoolSizes時,有界隊列(如 ArrayBlockingQueue)有助於防止資源耗盡,但是可能較難調整和控制。隊列大小和最大池大小可能需要相互折衷:使用大型隊列和小型池可以最大限度地降低 CPU 使用率、操作系統資源和上下文切換開銷,但是可能導致人工降低吞吐量。如果任務頻繁阻塞(例如,如果它們是 I/O邊界),則系統可能爲超過您許可的更多線程安排時間。使用小型隊列通常要求較大的池大小,CPU使用率較高,但是可能遇到不可接受的調度開銷,這樣也會降低吞吐量。  

BlockingQueue的選擇。

例子一:使用直接提交策略,也即SynchronousQueue。

首先SynchronousQueue是無界的,也就是說他存數任務的能力是沒有限制的,但是由於該Queue本身的特性,在某次添加元素後必須等待其他線程取走後才能繼續添加。在這裏不是核心線程便是新創建的線程,但是我們試想一樣下,下面的場景。

我們使用一下參數構造ThreadPoolExecutor:

new ThreadPoolExecutor(   

               2, 3, 30, TimeUnit.SECONDS,    

               new  SynchronousQueue<Runnable>(),    

               new RecorderThreadFactory("CookieRecorderPool"),    

            new ThreadPoolExecutor.CallerRunsPolicy());

當核心線程已經有2個正在運行.

  1. 此時繼續來了一個任務(A),根據前面介紹的“如果運行的線程等於或多於 corePoolSize,則Executor始終首選將請求加入隊列,而不添加新的線程。”,所以A被添加到queue中。
  2. 又來了一個任務(B),且核心2個線程還沒有忙完,OK,接下來首先嚐試1中描述,但是由於使用的SynchronousQueue,所以一定無法加入進去。
  3. 此時便滿足了上面提到的“如果無法將請求加入隊列,則創建新的線程,除非創建此線程超出maximumPoolSize,在這種情況下,任務將被拒絕。”,所以必然會新建一個線程來運行這個任務。
  4. 暫時還可以,但是如果這三個任務都還沒完成,連續來了兩個任務,第一個添加入queue中,後一個呢?queue中無法插入,而線程數達到了maximumPoolSize,所以只好執行異常策略了。

所以在使用SynchronousQueue通常要求maximumPoolSize是無界的,這樣就可以避免上述情況發生(如果希望限制就直接使用有界隊列)。對於使用SynchronousQueue的作用jdk中寫的很清楚:此策略可以避免在處理可能具有內部依賴性的請求集時出現鎖。

什麼意思?如果你的任務A1,A2有內部關聯,A1需要先運行,那麼先提交A1,再提交A2,當使用SynchronousQueue我們可以保證,A1必定先被執行,在A1麼有被執行前,A2不可能添加入queue中。

例子二:使用無界隊列策略,即LinkedBlockingQueue

這個就拿newFixedThreadPool來說,根據前文提到的規則:

如果運行的線程少於 corePoolSize,則 Executor 始終首選添加新的線程,而不進行排隊。那麼當任務繼續增加,會發生什麼呢?

如果運行的線程等於或多於 corePoolSize,則 Executor 始終首選將請求加入隊列,而不添加新的線程。OK,此時任務變加入隊列之中了,那什麼時候纔會添加新線程呢?

如果無法將請求加入隊列,則創建新的線程,除非創建此線程超出 maximumPoolSize,在這種情況下,任務將被拒絕。這裏就很有意思了,可能會出現無法加入隊列嗎?不像SynchronousQueue那樣有其自身的特點,對於無界隊列來說,總是可以加入的(資源耗盡,當然另當別論)。換句說,永遠也不會觸發產生新的線程!corePoolSize大小的線程數會一直運行,忙完當前的,就從隊列中拿任務開始運行。所以要防止任務瘋長,比如任務運行的實行比較長,而添加任務的速度遠遠超過處理任務的時間,而且還不斷增加,不一會兒就爆了。

例子三:有界隊列,使用ArrayBlockingQueue。

這個是最爲複雜的使用,所以JDK不推薦使用也有些道理。與上面的相比,最大的特點便是可以防止資源耗盡的情況發生。

舉例來說,請看如下構造方法:

new ThreadPoolExecutor(   

                2, 4, 30, TimeUnit.SECONDS,    

              new ArrayBlockingQueue<Runnable>(2),    
                new RecorderThreadFactory("CookieRecorderPool"),    

               new ThreadPoolExecutor.CallerRunsPolicy());  

假設,所有的任務都永遠無法執行完。

對於首先來的A,B來說直接運行,接下來,如果來了C,D,他們會被放到queue中,如果接下來再來E,F,則增加線程運行E,F。但是如果再來任務,隊列無法再接受了,線程數也到達最大的限制了,所以就會使用拒絕策略來處理。

keepAliveTime

jdk中的解釋是:當線程數大於核心時,此爲終止前多餘的空閒線程等待新任務的最長時間。

有點拗口,其實這個不難理解,在使用了“池”的應用中,大多都有類似的參數需要配置。比如數據庫連接池,DBCP中的maxIdle,minIdle參數。

什麼意思?接着上面的解釋,後來向老闆派來的工人始終是“借來的”,俗話說“有借就有還”,但這裏的問題就是什麼時候還了,如果借來的工人剛完成一個任務就還回去,後來發現任務還有,那豈不是又要去借?這一來一往,老闆肯定頭也大死了。

 

合理的策略:既然借了,那就多借一會兒。直到“某一段”時間後,發現再也用不到這些工人時,便可以還回去了。這裏的某一段時間便是keepAliveTime的含義,TimeUnit爲keepAliveTime值的度量。

 

RejectedExecutionHandler

另一種情況便是,即使向老闆借了工人,但是任務還是繼續過來,還是忙不過來,這時整個隊伍只好拒絕接受了。

RejectedExecutionHandler接口提供了對於拒絕任務的處理的自定方法的機會。在ThreadPoolExecutor中已經默認包含了4中策略,因爲源碼非常簡單,這裏直接貼出來。

CallerRunsPolicy:線程調用運行該任務的 execute 本身。此策略提供簡單的反饋控制機制,能夠減緩新任務的提交速度。

public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {

           if (!e.isShutdown()) {

               r.run();

           }

       }

這個策略顯然不想放棄執行任務。但是由於池中已經沒有任何資源了,那麼就直接使用調用該execute的線程本身來執行。

AbortPolicy:處理程序遭到拒絕將拋出運行時RejectedExecutionException

 

public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {

           throw new RejectedExecutionException();

       }

這種策略直接拋出異常,丟棄任務。

DiscardPolicy:不能執行的任務將被刪除

public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {

       }

這種策略和AbortPolicy幾乎一樣,也是丟棄任務,只不過他不拋出異常。

DiscardOldestPolicy:如果執行程序尚未關閉,則位於工作隊列頭部的任務將被刪除,然後重試執行程序(如果再次失敗,則重複此過程)

public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {

           if (!e.isShutdown()) {

               e.getQueue().poll();

               e.execute(r);

           }

       }

該策略就稍微複雜一些,在pool沒有關閉的前提下首先丟掉緩存在隊列中的最早的任務,然後重新嘗試運行該任務。這個策略需要適當小心。

設想:如果其他線程都還在運行,那麼新來任務踢掉舊任務,緩存在queue中,再來一個任務又會踢掉queue中最老任務。

總結:

keepAliveTime和maximumPoolSize及BlockingQueue的類型均有關係。如果BlockingQueue是無界的,那麼永遠不會觸發maximumPoolSize,自然keepAliveTime也就沒有了意義。

反之,如果核心數較小,有界BlockingQueue數值又較小,同時keepAliveTime又設的很小,如果任務頻繁,那麼系統就會頻繁的申請回收線程。

public static ExecutorService newFixedThreadPool(int nThreads) {

       return new ThreadPoolExecutor(nThreads, nThreads,

                                     0L, TimeUnit.MILLISECONDS,

                                     new LinkedBlockingQueue<Runnable>());

   }

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章