原创 Synchronized 關鍵字剖析

導讀 本文簡述 Synchronized 關鍵字,從以下幾個方面介紹: 前置知識 Synchronized 橫切面講解 鎖升級過程 鎖消除 鎖粗化 鎖降級 持續更新中~ 目錄 文章目錄導讀目錄正文1

原创 ZooKeeper一致性原理

一、ZooKeeper 的實現1.1 ZooKeeper處理單點故障我們知道可以通過ZooKeeper對分佈式系統進行Master選舉,來解決分佈式系統的單點故障,如圖所示。圖 1.1 ZooKeeper解決單點故障那麼我們繼續分析一下,

原创 Java NIO系列教程(六) Selector

Selector(選擇器)是Java NIO中能夠檢測一到多個NIO通道,並能夠知曉通道是否爲諸如讀寫事件做好準備的組件。這樣,一個單獨的線程可以管理多個channel,從而管理多個網絡連接。 下面是本文所涉及到的主題列表: 爲

原创 Java NIO系列教程(十) Java NIO DatagramChannel

Java NIO中的DatagramChannel是一個能收發UDP包的通道。因爲UDP是無連接的網絡協議,所以不能像其它通道那樣讀取和寫入。它發送和接收的是數據包。 打開 DatagramChannel 下面是 Datagra

原创 Java NIO系列教程(三) Buffer

Java NIO中的Buffer用於和NIO通道進行交互。如你所知,數據是從通道讀入緩衝區,從緩衝區寫入到通道中的。 緩衝區本質上是一塊可以寫入數據,然後可以從中讀取數據的內存。這塊內存被包裝成NIO Buffer對象,並提供了一

原创 Java NIO系列教程(九) ServerSocketChannel

Java NIO中的 ServerSocketChannel 是一個可以監聽新進來的TCP連接的通道, 就像標準IO中的ServerSocket一樣。ServerSocketChannel類在 java.nio.channels包中。

原创 Spark-Streaming狀態管理應用優化之路

通常來說,使用Spark-Streaming做無狀態的流式計算是很方便的,每個batch時間間隔內僅需要計算當前時間間隔的數據即可,不需要關注之前的狀態。但是很多時候,我們需要對一些數據做跨週期的統計,例如我們需要統計一個小時內每個用戶的

原创 Java NIO系列教程(八) SocketChannel

Java NIO中的SocketChannel是一個連接到TCP網絡套接字的通道。可以通過以下2種方式創建SocketChannel: 打開一個SocketChannel並連接到互聯網上的某臺服務器。一個新連接到達ServerSocke

原创 Java NIO系列教程(一) Java NIO 概述

Java NIO 由以下幾個核心部分組成: ChannelsBuffersSelectors 雖然Java NIO 中除此之外還有很多類和組件,但在我看來,Channel,Buffer 和 Selector 構成了核心的API。其它組件

原创 Spark 底層網絡模塊

對於分佈式系統來說,網絡是最基本的一環,其設計的好壞直接影響到整個分佈式系統的穩定性及可用性。爲此,Spark專門獨立出基礎網絡模塊spark-network,爲上層RPC、Shuffle數據傳輸、RDD Block同步以及資源文件傳輸等

原创 Java NIO系列教程(四) Scatter/Gather

Java NIO開始支持scatter/gather,scatter/gather用於描述從Channel(譯者注:Channel在中文經常翻譯爲通道)中讀取或者寫入到Channel的操作。 分散(scatter)從Channel中讀取

原创 Java NIO系列教程(十一) Pipe

Java NIO 管道是2個線程之間的單向數據連接。Pipe有一個source通道和一個sink通道。數據會被寫到sink通道,從source通道讀取。 這裏是Pipe原理的圖示: 創建管道 通過Pipe.open()方法

原创 Spark踩坑記——Spark Streaming+Kafka

目錄     前言     Spark streaming接收Kafka數據         基於Receiver的方式         直接讀取方式     Spark向kafka中寫入數據     Spark streaming+Ka

原创 人情練達即文章

維繫關係主要分爲兩類:鞏固維繫現有關係、開拓新關係。遵循的原則:互利與分享原則高價值原則價值與貢獻欲呈反比原則價值相對原則教育原則強關係和弱關係一、鞏固:1、羣體性活動。聚餐、喝酒、唱歌。此類活動比較容易組

原创 鄭昀的推薦中文十大知名技術Blog

1:洪波(keso),http://blog.donews.com/keso/  ,bloglines訂閱用戶數2115,估計國內很難有IT Blogger可以突破這一數字;2:車東,http://www.chedong.com/blog