原创 hdfs的federation以及ha部署說明
一、hdfs的federation說明 A、經典架構說明 這裏說一下我自己的理解，什麼叫federation？首先我們知道hdfs的經典架構是這樣的： 一個namenode負責管理四大塊： a、命名空間目錄樹 b、文件與blo
2020-02-23 15:46:03
原创 【HDFS】什麼叫塊恢復
從租約管理註釋，看寫入一致性的一種基本算法 ** * LeaseManager does the lease housekeeping for writing on files. * This class also provid
2020-02-23 15:46:03
原创 【Mapred】輸入數據的分片實質
http://blog.csdn.net/tracymkgld/article/details/17578593提到作業的提交的時候，輸入數據需要分片，當時提到有新舊兩種分片方式，那麼這裏就來看看什麼是新方法，與舊方法有什麼不同。 had
2020-02-23 15:46:03
原创 Azkaban 的作業類型插件
首先說jobtype跟azkaban的webserver端無關，因爲webserver節點只負責項目作業管理（上傳和分發），並不關心你上傳的是哪種類型的作業。負責具體執行的executor會解析job文件。還記得在配置.job作業文件的
2020-02-23 15:46:02
原创 actor 模型原理 （三）
上面這個圖呢，展示了老師這個actor收到消息之後，給學生回覆的過程 DriverApp 發送一個初始化 InitSignal 消息給 StudentActor StudentActor 收到這個消息之後給老師發了一個 QuoteR
2018-08-23 11:52:11
原创 crateDB驅動安裝
streamsets中有一個jdb target，我們可以利用這個target將數據灌到crateDB 將驅動放到下面位置，需要重啓streamsets streamsets-libs/streamsets-datacollector-j
2018-08-23 11:51:59
2
原创 streamsets Data Collecotor啓動流程分析
exec ${JAVA} -classpath ${BOOTSTRAP_CLASSPATH} ${SDC_JAVA_OPTS} com.streamsets.pipeline.Boots
2018-08-23 11:51:58
4
原创 actor 模型原理 （一）
actor模型很牛逼，很流行，但是我不會，媽的，國內搜出來的講解actor的都看不太懂，講不太清，下面哥們就翻譯一下老外的文章，以粗淺的方式體會一下到底什麼是actor模型? 多線程開發要處理併發，鎖，線程同步等一系列問題，一不小心，弄
2018-08-23 11:51:58
原创 kafka的log存儲是怎麼設計的？
Kafka中的Message是以topic爲基本單位組織的，不同的topic之間是相互獨立的。每個topic又可以分成幾個不同的partition(每個topic有幾個partition是在創建topic時指定的)，每個partitio
2018-08-23 11:51:58
原创 spring boot 筆記
spring boot對於簡化java web開發非常有幫助，基本上不需要什麼配置，就可以直接運行起來一個web服務 <parent> <groupId>org.springframework.boot</groupId>
2018-08-23 11:51:58
原创 jstorm的cgroup資源隔離機制
本文研究一下jstorm使用cgroup做資源隔離的情況，github有文檔：https://github.com/alibaba/jstorm/wiki/%E8%B5%84%E6%BA%90%E7%A1%AC%E9%9A%94%E7%
2018-08-23 11:51:58
4
原创 actor 模型原理 （二）
現在開始研究一下akka的actor模型是怎麼實現的： 老外寫了一個程序說明actor的工作機制，下圖就是學生給老師發郵件的具體示意圖，那麼1-6一共6個步驟 1、學生創建actor system ，就是初始化了ActorSystem
2018-08-23 11:51:58
3
原创 hbase的併發控制機制
hbase在阿里在線場景有非常多的應用，HBase和傳統數據庫一樣提供了事務的概念，只是HBase的事務是行級事務，可以保證行級數據的原子性、一致性、隔離性以及持久性，即通常所說的ACID特性。 因爲跨行比較難做，兩行就有可能在不同的
2018-08-23 11:51:58
2
原创 ambari-server的離線安裝
ambari-server的安裝 1、機器環境 centos 6 2、準備好兩個文件 /etc/yum.repos.d/ambari.repo和/etc/yum.repos.d/hdp.repo $cat ambari.repo #
2018-08-23 11:51:58
3
原创 elasticsearch 筆記（一）安裝
elasticsearch一開始接觸的是1.x版本，現在迅速跳到了5.x版本，媽的，這什麼情況 現在開始安裝5.x版本，體驗下kibana的新特性 1、下載elasticsearch，安裝 elasticsearch-5.1.2.ta
2018-08-23 11:51:58