Java 中的僞共享詳解及解決方案

轉載自  Java 中的僞共享詳解及解決方案

1. 什麼是僞共享

CPU 緩存系統中是以緩存行(cache line)爲單位存儲的。目前主流的 CPU Cache 的 Cache Line 大小都是 64 Bytes。在多線程情況下,如果需要修改“共享同一個緩存行的變量”,就會無意中影響彼此的性能,這就是僞共享(False Sharing)。

2. 緩存行

由於共享變量在 CPU 緩存中的存儲是以緩存行爲單位,一個緩存行可以存儲多個變量(存滿當前緩存行的字節數);而CPU對緩存的修改又是以緩存行爲最小單位的,那麼就會出現上訴的僞共享問題。

Cache Line 可以簡單的理解爲 CPU Cache 中的最小緩存單位,今天的 CPU 不再是按字節訪問內存,而是以 64 字節爲單位的塊(chunk)拿取,稱爲一個緩存行(cache line)。當你讀一個特定的內存地址,整個緩存行將從主存換入緩存,並且訪問同一個緩存行內的其它值的開銷是很小的。

3. CPU 的三級緩存

由於 CPU 的速度遠遠大於內存速度,所以 CPU 設計者們就給 CPU 加上了緩存(CPU Cache)。 以免運算被內存速度拖累。(就像我們寫代碼把共享數據做Cache不想被DB存取速度拖累一樣),CPU Cache 分成了三個級別:L1,L2,L3。越靠近CPU的緩存越快也越小。所 以L1 緩存很小但很快,並且緊靠着在使用它的 CPU 內核。L2 大一些,也慢一些,並且仍然只能被一個單獨的 CPU 核使用。L3 在現代多核機器中更普遍,仍然更大,更慢,並且被單個插槽上的所有 CPU 核共享。最後,你擁有一塊主存,由全部插槽上的所有 CPU 核共享。

當 CPU 執行運算的時候,它先去L1查找所需的數據,再去L2,然後是L3,最後如果這些緩存中都沒有,所需的數據就要去主內存拿。走得越遠,運算耗費的時間就越長。所以如果你在做一些很頻繁的事,你要確保數據在L1緩存中。

4. 緩存關聯性

目前常用的緩存設計是N路組關聯(N-Way Set Associative Cache),他的原理是把一個緩存按照N個 Cache Line 作爲一組(Set),緩存按組劃爲等分。每個內存塊能夠被映射到相對應的set中的任意一個緩存行中。比如一個16路緩存,16個 Cache Line 作爲一個Set,每個內存塊能夠被映射到相對應的 Set 中的16個 CacheLine 中的任意一個。一般地,具有一定相同低bit位地址的內存塊將共享同一個Set。 

下圖爲一個2-Way的Cache。由圖中可以看到 Main Memory 中的 Index 0,2,4 都映射在Way0的不同 CacheLine 中,Index 1,3,5都映射在Way1的不同 CacheLine 中。

5. MESI 協議

多核 CPU 都有自己的專有緩存(一般爲L1,L2),以及同一個 CPU 插槽之間的核共享的緩存(一般爲L3)。不同核心的CPU緩存中難免會加載同樣的數據,那麼如何保證數據的一致性呢,就是 MESI 協議了。 

在 MESI 協議中,每個 Cache line 有4個狀態,可用 2 個 bit 表示,它們分別是: M(Modified):這行數據有效,數據被修改了,和內存中的數據不一致,數據只存在於本 Cache 中; E(Exclusive):這行數據有效,數據和內存中的數據一致,數據只存在於本 Cache 中; S(Shared):這行數據有效,數據和內存中的數據一致,數據存在於很多 Cache 中; I(Invalid):這行數據無效。

那麼,假設有一個變量i=3(應該是包括變量i的緩存塊,塊大小爲緩存行大小);已經加載到多核(a,b,c)的緩存中,此時該緩存行的狀態爲S;此時其中的一個核a改變了變量i的值,那麼在覈a中的當前緩存行的狀態將變爲M,b,c核中的當前緩存行狀態將變爲I。如下圖:

6. 解決原理

爲了避免由於 false sharing 導致 Cache Line 從 L1,L2,L3 到主存之間重複載入,我們可以使用數據填充的方式來避免,即單個數據填充滿一個CacheLine。這本質是一種空間換時間的做法。

7. Java 對於僞共享的傳統解決方案

  1. /***
  2. * 微信公衆號:Java技術棧
  3. **/
  4. import java.util.concurrent.atomic.AtomicLong;
  5. public final class FalseSharing
  6. implements Runnable
  7. {
  8. public final static int NUM_THREADS = 4; // change
  9. public final static long ITERATIONS = 500L * 1000L * 1000L;
  10. private final int arrayIndex;
  11. private static VolatileLong[] longs = new VolatileLong[NUM_THREADS];
  12. static
  13. {
  14. for (int i = 0; i < longs.length; i++)
  15. {
  16. longs[i] = new VolatileLong();
  17. }
  18. }
  19. public FalseSharing(final int arrayIndex)
  20. {
  21. this.arrayIndex = arrayIndex;
  22. }
  23. public static void main(final String[] args) throws Exception
  24. {
  25. final long start = System.nanoTime();
  26. runTest();
  27. System.out.println(“duration = “ + (System.nanoTime() - start));
  28. }
  29. private static void runTest() throws InterruptedException
  30. {
  31. Thread[] threads = new Thread[NUM_THREADS];
  32. for (int i = 0; i < threads.length; i++)
  33. {
  34. threads[i] = new Thread(new FalseSharing(i));
  35. }
  36. for (Thread t : threads)
  37. {
  38. t.start();
  39. }
  40. for (Thread t : threads)
  41. {
  42. t.join();
  43. }
  44. }
  45. public void run()
  46. {
  47. long i = ITERATIONS + 1;
  48. while (0 != –i)
  49. {
  50. longs[arrayIndex].set(i);
  51. }
  52. }
  53. public static long sumPaddingToPreventOptimisation(final int index)
  54. {
  55. VolatileLong v = longs[index];
  56. return v.p1 + v.p2 + v.p3 + v.p4 + v.p5 + v.p6;
  57. }
  58. //jdk7以上使用此方法(jdk7的某個版本oracle對僞共享做了優化)
  59. public final static class VolatileLong
  60. {
  61. public volatile long value = 0L;
  62. public long p1, p2, p3, p4, p5, p6;
  63. }
  64. // jdk7以下使用此方法
  65. public final static class VolatileLong
  66. {
  67. public long p1, p2, p3, p4, p5, p6, p7; // cache line padding
  68. public volatile long value = 0L;
  69. public long p8, p9, p10, p11, p12, p13, p14; // cache line padding
  70. }
  71. }

8. Java 8 中的解決方案

Java 8 中已經提供了官方的解決方案,Java 8 中新增了一個註解: @sun.misc.Contended。加上這個註解的類會自動補齊緩存行,需要注意的是此註解默認是無效的,需要在 jvm 啓動時設置 -XX:-RestrictContended 纔會生效。

  1. @sun.misc.Contended
  2. public final static class VolatileLong {
  3. public volatile long value = 0L;
  4. //public long p1, p2, p3, p4, p5, p6;

參考文獻

http://igoro.com/archive/gallery-of-processor-cache-effects/ 

http://ifeve.com/false-sharing/ 

http://blog.csdn.net/muxiqingyang/article/details/6615199 

https://yq.aliyun.com/articles/62865


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章