原创 安裝Linux以及搭建Hadoop3.1.2集羣（9）——集羣時間同步(完成）
第十章：集羣時間同步 時間同步的方式：找一個機器，作爲時間服務器，所有的機器與這臺集羣時間進行定時的同步，比如，每隔十分鐘，同步一次時間。 配置時間同步具體實操： 時間服務器配置（必須root用戶） （1）檢查ntp是否安裝
2020-06-19 09:49:17
原创 安裝Linux以及搭建Hadoop3.1.2集羣（6）——僞分佈式環境搭建
第七章：僞分佈式環境搭建 7.1.1 虛擬機準備 主機 主機名 hadoop100 IP地址 192.168.153.100 安裝軟件 JDK1.8、Hadoop3.1.2 環境變量 全部配置 7.
2020-06-19 09:49:17
原创 大數據技術之Shell
第1章 Shell概述 Shell是一個命令行解釋器，它接收應用程序/用戶命令，然後調用操作系統內核。 Shell還是一個功能相當強大的編程語言，易編寫、易調試、靈活性強。 第2章 Shell解析器 （1）Linux提供的S
2020-06-19 09:49:17
原创 安裝Linux以及搭建Hadoop3.1.2集羣（7）——完全分佈式集羣配置
第八章：完全分佈式集羣配置 8.1 環境準備以及寫分發集羣腳本 8.1.1 虛擬機準備 主機 從機 從機 主機名 hadoop104 hadoop105 hadoop106 hostname hadoop104
2020-06-19 03:49:13
原创 大數據技術之Hadoop之HDFS(1)——HDFS概述
第1章 ：HDFS概述 1.1 HDFS產出背景及定義 1.2 HDFS優缺點 1.3 HDFS組成架構 1.4 HDFS文件塊大小
2020-06-19 03:49:12
原创 大數據技術之Hadoop之MapReduce（3）——MapReduce框架原理概念一
第3章 MapReduce框架原理 3.1 InputFormat數據輸入 3.1.1 切片與MapTask並行度決定機制 問題引出 MapTask的並行度決定Map階段的任務處理併發度，進而影響到整個Job的處理速度。 思考
2020-06-19 03:49:12
原创 大數據技術之Hadoop之MapReduce（1）——MapReduce概述
第1章 MapReduce概述 1.1 MapReduce定義 MapReduce是一個分佈式運算程序的編程框架，是用戶開發“基於Hadoop的數據分析應用”的核心框架。 MapReduce核心功能是將用戶編寫的業務邏輯代碼和自帶
2020-06-19 03:49:12
原创 大數據技術之Hadoop之MapReduce（3）——MapReduce工作流程
3.2 MapReduce工作流程 1．流程示意圖： 2．流程詳解 上面的流程是整個MapReduce最全工作流程，但是Shuffle過程只是從第7步開始到第16步結束，具體Shuffle過程詳解，如下： 1）MapTask收
2020-06-19 01:12:43
原创 超詳細的企業必備HDFS高可用性集羣搭建
HDFS高可用性集羣搭建 1.環境準備 主機 從機 從機 主機名 anshun112 anshun113 anshun114 hostname anshun112 anshun113 anshun114 I
2020-06-19 01:12:43
原创 大數據之vim
vim 1.什麼是vim： 它是一個類似vi的文本編輯器/文本編輯工具。只是在vi的基礎之上增添了很多的新 功能，vim被公認爲是類vi編輯器中最好用的一個之一。 2.爲什麼一定要學習vim： vim在vi的基礎之上所增加的
2020-06-19 01:12:43
原创 大數據技術之Hadoop之MapReduce（3）——NLineInputFormat使用案例
3.1.8 NLineInputFormat使用案例 1．需求 對每個單詞進行個數統計，要求根據每個輸入文件的行數來規定輸出多少個切片。此案例要求每三行放入一個切片中。 （1）輸入數據 banzhang ni hao xihu
2020-06-19 01:12:43
原创 安裝Linux以及搭建Hadoop3.1.2集羣（2）——網絡配置和系統管理操作
第3章 Hadoop運行環境搭建 3.1 虛擬機環境準備 主機 從機 從機 主機名 hadoop104 hadoop105 hadoop106 hostname hadoop104 hadoop105 hado
2020-06-19 01:12:43
原创 SSM高級整合-----CRUD
SSM-CRUD 1、環境搭建 使用IDEA創建MavenWeb項目：並導入項目需要的依賴 [外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-8tSfcLM4-1592193726130)(SSM
2020-06-19 01:12:43
原创 大數據技術之Hadoop之HDFS(7)——HDFS讀寫數據流程
第七章：HDFS寫數據流程 7.1 HDFS寫數據流程 HDFS寫數據流程圖 1）客戶端通過Distributed FileSystem模塊向NameNode請求上傳文件，NameNode檢查目標文件是否已存在，父目錄是否存在。
2020-06-19 01:12:43
原创 安裝Linux以及搭建Hadoop3.1.2集羣（1）——VMWare安裝和CentOS安裝
如何安裝linux以及搭建Hadoop3.1.2集羣 1、第1章 Linux入門 1.1 linux和Windows的區別! 1.2 Centos下載地址 http://mirrors.163.com/centos/7/isos
2020-06-19 01:12:43