原创 3.2 控制器之Deployment
文章目錄1、Deployment的創建2、deployment管理應用升級3、deployment管理應用回滾4、滾動失敗，deployment自動回滾 Deployment是一種高階控制器資源，在部署時，Deployment創建
2020-07-05 22:29:11
1
原创 3.3控制器之DaemonSet
文章目錄1、在集羣中所有node節點上創建一個pod副本2、在集羣中指定的node上創建一個pod副本 DaemonSet可以確保每個node節點或者指定的節點上運行一個Pod副本。當集羣中增加node節點時，就會爲node節點創
2020-07-05 22:29:11
1
原创 3.1 控制器之ReplicaSet/ReplicationController
文章目錄ReplicaSet使用1、創建ReplicaSet2、刪除一個pod3、修改pod標籤4、標籤選擇器4、修改ReplicaSet標籤選擇器5、水平縮放pod6、刪除ReplicaSet控制器 在新版本k8s中，Repli
2020-06-28 08:29:43
原创 pod狀態CrashLoopBackOff
文章目錄1、問題2、原因3、解決辦法 1、問題 pod啓動或者通過ReplicaSet等控制器啓動pod後，pod的狀態一瞬間呈現Completed狀態，隨後一直顯示CrashLoopBackOff狀態，導致pod一直重啓失敗，如
2020-06-24 18:59:43
1
原创 2、pod詳解
文章目錄一、pod基本介紹1、pod的名稱空間2、pod的網絡空間3、pod優點二、pod基本操作1、創建pod2、查詢pod3、pod標籤4、標籤選擇器5、對pod添加註解6、刪除pod三、pod生命週期四、Init容器五、探針
2020-06-22 10:35:10
原创 1、k8s安裝與配置
文章目錄一、網絡配置1、配置vmware網絡2、配置網關3、配置三臺虛擬機網絡二、初始化安裝系統1、設置主機名以及配置映射2、安裝依賴包3、設置防火牆規則4、關閉虛擬內存5、關閉SELINUX6、調整內核參數7、關閉系統不需要的服
2020-06-19 22:26:00
原创 8、MapReduce實現WordCount單詞統計
文章目錄一、Mapper階段二、Reduce階段三、Driver階段四、集羣測試 MapReduce分佈式計算包含兩個階段：Mapper和Reduce。一個完整的MapReduce程序在分佈式計算時包括三類實例進程： MrApp
2020-06-19 14:11:29
原创 9、Hadoop序列化（自定義傳輸對象）
文章目錄1、建立輸入數據對應的bean2、建立Mapper分割處理數據3、建立Reducer合併數據4、建立job的啓動類5、測試 序列化就是把內存中的對象轉化成字節序列，便於網絡間傳輸和持久化到硬盤上，避免數據掉電丟失。 在Ha
2020-06-19 14:11:28
原创 VMware端口映射
文章目錄步驟1、虛機訪問端口2、vmware端口映射3、在宿主機上訪問虛機中hadoop服務問題1、宿主機ping虛機2、抓包3、檢查虛機防火牆 需求：在win10系統上安裝了VMware，在VMware上安裝了centos7操作
2020-06-19 14:11:28
原创 10、Hadoop切片機制
文章目錄一、數據切片源碼詳解二、數據切片機制1、TextInputFormat切片機制2、CombineTextInputFormat切片機制3、KeyValueTextInputFormat切片機制4、NLineInputFor
2020-04-01 08:55:52
原创 7、HDFS輸入輸出流
文章目錄1、HDFS IO文件寫入2、HDFS IO文件讀取3、HDFS IO定位讀取 HDFS的輸入輸出流用於對HDFS文件進行字節的讀取或寫入。 1、HDFS IO文件寫入 把windows本地文件通過HDFS的輸出流寫到HD
2019-10-25 13:47:11
原创 4、eclipse + vmware + hadoop環境搭建
文章目錄一、配置hadoop環境二、配置eclipse遠程連接hadoop環境三、HDFS demo示例 需求：已在vmware中部署好了hadoop集羣，現在需通過window系統上eclipse連接hadoop進行開發。 一、
2019-10-25 13:47:11
原创 5、eclipse + HDFS的文件操作
文章目錄1、文件上傳2、文件下載3、刪除文件或文件夾4、文件重命名5、文件詳情查看6、文件或文件夾判斷 eclipse + hadoop的開發環境搭建，請參考上一章節。 1、文件上傳 把windows本地的文件上傳到HDFS中，示
2019-10-25 13:47:11
原创 6、eclipse + HDFS參數優先級
文章目錄1、採用集羣中配置2、採用classpath下的文件中配置的3、採用代碼中的配置總結 配置集羣時，關於HDFS的配置都在/etc進行了相關配置，用eclipse客戶端進行開發時，可以用更高優先級的配置覆蓋掉集羣中的配置。下
2019-10-25 13:47:10
原创 POSSIBLE DNS SPOOFING DETECTED
在配置一臺宿主機兩臺docker容器的hadoop集羣時，已經配置了三臺機器的ssh，但是在啓動hadoop的輔助接點時，報錯如下： [root@lzj module]# start-dfs.sh Starting nameno
2019-09-15 13:43:22