原创 nginx+fastDFS+lua+graphicMagick部署
準備 libfastcommonV1.0.7.tar.gz FastDFS_v5.05.tar.gz fastdfs-nginx-module_v1.16.tar.gz LuaJIT-2.0.5.tar.gz lua-nginx-
2020-06-22 03:53:07
原创 hadoop完全高可用配置
保證普通集羣可運行後, 修改配置文件 高可用依賴 zookeeper 集羣實現主從切換 先搭建 zookeeper 集羣, 詳見 zookeeper 集羣部署 core-site.xml <configuration> <pr
2020-06-22 03:53:07
原创 Hadoop MR Shuffle
shuffle 的過程是在 MapTask 之後 reducerTask 之前的這麼一段對數據處理傳遞的過程 分區 mapTask 執行數據操作後, 將輸出數據存儲到 環形緩衝區 中, 當環形緩衝區內數據量達到最大量(默認 10
2020-06-22 03:52:57
原创 springCloud-ribbon 源碼分析
源碼閱讀入口 MATE-INF/spring.factories org.springframework.boot.autoconfigure.EnableAutoConfiguration=\ org.springframewo
2020-06-22 03:52:57
原创 hadoop hdfs NameNode 與 Secondary NameNode元數據操作
元數據生成與備份 集羣啓動 nameNode 節點下會生成 edit 操作日誌和 fsImage 元數據文件鏡像 兩類數據磁盤備份, 並加載到內存中 客戶端向 nameNode 請求對數據操作(增刪改) nameNode 想
2020-06-22 03:13:01
原创 spring Cloud Gateway 源碼分析
老樣子, 查看factories內配置如下 # Auto Configure org.springframework.boot.autoconfigure.EnableAutoConfiguration=\ # 依賴包校驗配置
2020-06-22 03:13:01
原创 Hadoop 編譯64 位
準備 jdk8 apache-ant-1.9.14-bin.tar.gz apache-maven-3.6.3-bin.tar.gz protobuf-2.5.0.tar.gz hadoop-2.9.2-src.tar.gz 安裝
2020-06-22 03:13:01
原创 hadoop hdfs 數據讀寫
hdfs 文件上傳過程 向 namenode 請求上傳文件 響應可以上傳文件 向 namenode 請求, 上傳到哪幾臺 dataNode Namenode 返回,指定文件上傳的 datanode 節點數據 通
2020-06-22 03:13:01
原创 spring cloud eureka 源碼分析
springCloud 是基於 springBoot 實現的一套微服務工具, 它組合了很多其他中間件、工具得以實現, 閱讀 spring 源碼找到閱讀入口, 在Resource/MATE-INF下會有 application.fa
2020-06-22 03:13:01
原创 hadoop hdfs 開發環境
測試 創建項目添加 pom 依賴 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId>
2020-06-22 03:13:01
原创 java 實現 redis存儲定時數據失效後的事件發佈訂閱
存儲數據, 設置數據超時時間 public void sendMsg(){ stringRedisTemplate.opsForValue().set("test1", "abc"); stringRedisTempla
2020-06-10 14:23:33
原创 adoop MR mapreduce和序列化
mapreduce 分三部分 mapper reducer driver 仿寫 wordCount /** * <h3>study-all</h3> * * <p></p> * * @Author zcz * @D
2020-04-06 01:32:00
原创 Hadoop MR 數據切片與輸入格式化
切片 MapReduce 執行中是以mapTask 爲單位對數據進行處理, mapTask 的個數與操作數據段是由切片決定的 切片是在單個文件的基礎上通過一些機制設定的 默認 MapReduce 使用 TextIn
2020-04-06 01:32:00
原创 hadoop hdfs DataNode管理
與 NameNode 通信 dataNode向 nameNode發送註冊節點請求 nameNode 將數據寫入到元數據存儲, 並返回節點註冊成功 dataNode 週期性向 nameNode 上報節點數據信息, 保證
2020-04-01 11:46:18
原创 ssh無密碼登錄配置
生成公鑰祕鑰 # ssh-keygen -t rsa // 生成公鑰祕鑰 連續三個回車 # ssh-copy-id ip //輸入遠程密碼 copy 公鑰到遠程服務器 //進入用戶根目錄 # ls -al
2019-08-02 05:33:01
6