原创 ssh免登錄原理解析
利用ssh可以將兩臺服務器serverA 和 serverB相互關聯，serverB如果想要登陸serverA需要輸入密碼，如何進行免登錄設置呢？原理又是什麼？ 設 serverA ip:192.168.18.128 serverB ip
2020-06-15 01:43:14
原创 CentOs7虛擬機與防火牆
瀏覽器與防火牆------>解決瀏覽器因防火牆無法訪問問題 一 、 對所有端口操作 在Linux中輸入命令 1.查看所有端口的防火牆狀態 service firewalld status 2.打
2020-06-15 01:43:14
原创 hadoop核心------>HDFS原理
一 、hdfs體系架構 1.NameNode------>管理節點------>hdfs中老大 （1）維護着整個文件系統的文件目錄樹； （2）維護元數據信息； （3）接收用戶的操作請求
2020-06-15 01:43:14
原创 HDFS的java接口實現上傳下載
簡單的hdfs上傳，下載實現 1.使用idea導入hdfs的基本包 方法一：複製粘貼法導jar包 項目工程下新建lib文件夾------>複製hadoop的jar包到文件夾下： hadoop-2.7.3/share/hadoop/c
2020-06-15 01:43:14
原创 Hadoop的RPC通信(二)------>框架封裝思想
一 、 RPC框架的底層原理封裝 1.客戶端Controller 2.服務端Server 3.業務接口LoginServiceInterface 如圖： 1.首先controller會根據業務員接口，生成一個客戶端socket程序動態代
2020-06-15 01:43:14
原创 Hadoop的RPC通信------>java實現
一 、服務端編寫 （1）RPCServer類 public class RPCServer implements Bizable{ public String sayHi(String name){ ret
2020-02-21 12:26:37
原创 hadoop2.7.3僞分佈式搭建之一------>Linux環境的準備
圖形界面法 虛擬機ip設置 (1) 打開VMware Workstation----> 虛擬機---->設置---->網絡適配器---->自定義模式 Vnet8 （2）查詢windows ip
2020-02-21 12:26:37
原创 大數據最火的平臺------> streamsets
一 、環境搭建 1.環境準備 maven 3.23+ ------> 下載地址 http://maven.apache.org/download.cgi jdk 1.8.x ------> 下載地址 http://ww
2020-02-21 12:26:37
17
原创 Hadoop之Mapreduce------>Mapreduce原理
Mapruduce工作原理 與hdfs（分佈式文件系統）不同，Mapreduce 是一個分佈式計算模型，如圖 執行步驟： 1. map任務處理------>切片1.1 讀取輸入文件內容，解析成key、value對，輸入文件的每一行，就
2020-02-21 12:26:37
原创 hadoop2.7.3僞分佈式搭建之二------>JDK在Linux虛擬機上的安裝
1. 下載jdk-8u45-linux-x64.tar.gz，並上傳到Linux虛擬機中 2.解壓jdk #創建文件夾 mkdir /home/hadoop/app#解壓 t
2020-02-21 12:26:37
原创 Hadoop之Mapreduce------>入門級程序WordCount原理
一、WordCount的需求 計算每一個單詞出現的次數 二、WordCount的分析 Map 讀取輸入文件內容，解析成key、value對（k1是字節偏移量，v1是一行的文件內容）------>將文件內容轉換成字符串----
2020-02-21 12:26:37
原创 HDFS上傳與下載底層實現------>源碼分析
一 、 java實現下載回顧 二 、原理解析 1. FileSystem.get(conf)解析 FileSystem.get(conf) //得到文件系統FileSystem的實例 ------> get(conf){ get
2020-02-21 12:26:37
原创 hadoop2.7.3僞分佈式搭建之三------>Hadoop2.7.3的安裝
1. 第一步 上傳hadoop的安裝包hadoop-2.7.3.tar.gz到服務器上去/home/hadoop/ 2. 第二步 配置hadoop hadoop-2.7.3的搭建需要修改5個配置文件 第一個：hadoo
2020-02-21 12:26:37
原创 本地svn安裝及使用
一 建立本地svn服務平臺 1.下載svn軟件，TortoiseSVN 2.安裝TortoiseSVN，注意，command lineclient tools要選中 進入cmd命令，輸入svn --version 出現版
2020-02-21 12:26:37
原创 hadoop之sqoop------>數據遷移工具
一、環境準備 1. sqoop工具 ------->sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 2. mysql安裝包------>mysql-5.7.17-winx64.zip 3.my
2018-09-04 20:39:15