原创 maven 錯誤 Downloading: http://repo.maven.apache.org/maven2/ maven 更換阿里雲mirror
錯誤信息： root@node1:/usr/local/hadoop-2.7.2-src# mvn package -Pdist,native,docs -DskipTests -Dtar [INFO] Scanning for pro
2020-04-20 10:51:46
原创 Hadoop 源碼編譯 Centos 7 + hadoop-2.7.2 + jdk 8u144
一、 源碼編譯的目的： 1. 下載的源碼是 32 位的， 需要編譯成 64 位。 2. 爲Hadoop加入新的功能，比如新的壓縮算法（snappy），需要在安裝完snappy後，重新編譯源碼。 二、編譯準備： 1. 確
2020-04-20 10:51:46
原创 Lesson13 Linux 賬號與羣組
一、UID 與 GID： 1. UID：即 UserID，使用者 ID, 記錄於/etc/passwd 文件。 2. GID：即 GroupID，羣組 ID，記錄於/etc/group 文件。 每個 Linux 用戶
2020-04-12 02:03:30
原创 關於 Centos 7 Centos 7.5 關閉防火牆 windows 無法通過 web 瀏覽器訪問 vmware 虛擬機 hadoop 50070 8088 50090 端口 的解決辦法
一、 問題描述：在虛擬機安裝好 hadoop 在 NAT 模式下添加端口映射後，windows 下訪問無法訪問 hadoop 主頁 localhost:50070 二、 解決辦法：關閉 centos 防火牆，但是 centos 7 使
2020-04-12 02:03:30
原创 Lesson10 Linux 庫的創建和使用
一、 庫的介紹： 1. 庫的概念： 事先已經編譯好的代碼，經過編譯後可以直接調⽤的⽂件。 本質上來說是⼀種可執⾏代碼的⼆進制形式，可以被操作系統載⼊內存執⾏。 2. 系統庫：/usr/lib、/usr/lib
2020-04-03 07:58:03
原创 Lesson8 Hadoop 完全分佈式 集羣配置 修改並分發配置文件
一、 集羣部署規劃： 首先要對HDFS 和 YARN 兩個組件進行規劃，並根據規劃進行部署。 node1 node2 node3 HDFS NameNode DataNode DataNode Secondary
2020-03-28 16:01:01
原创 Lesson7 Hadoop 完全分佈式 集羣分發腳本編寫 xsync - 集羣分發工具 scp、rsync 介紹及安裝使用
一、 集羣分發介紹： 將一臺主機上的配置、文件分發到其它主機上，避免重複操作。 二、 集羣分發工具： 1. scp的安裝： yum -y install openssh-clients ，所有主機都要安裝。 命令格式：
2020-03-28 16:01:01
原创 Lesson1 Linux 文件常用查看命令 cat、ls、more、less、head、touch
Linux 命令格式 命令 [選項] [參數]。 選項中通常用 "-"引導單個字符，用"--"引導多個字符。 單個字符選項可以寫在一起，用"-"引導。 查看linux系統手冊可用 man + 命令名 ，查看幫助可用 命令 + --he
2020-03-25 20:52:44
原创 Lesson6 Linux 硬鏈接與軟鏈接 ln
一、 硬鏈接： 1. 硬鏈接的概念：Linux中文件的存儲實際分爲 數據區域（data block）和元數據區域 （metadata）。元數據包括比如創建時間、修改時間、文件大小、屬主、歸屬的用戶組、讀寫權限、數據所在block號
2020-03-25 20:52:44
原创 關於 windows 下 jupyter notebook 無法自動打開瀏覽器的解決辦法
1. 控制檯輸入 jupyter notebook --generate-config 根據提示找到 Jupyter_notebook_config.py 文件。 2. 打開文件，在99行左右的位置添加如下代碼，本次使用的是360安全
2020-03-25 20:52:44
原创 lesson4 Linux 文件查找 find
一、 命令功能： 從指定的查找範圍開始，遞歸查找子目錄，杜宇滿足條件的文件或目錄，執行規定的動作。 二、 命令格式： find [搜索路徑] [選項] [動作選項] 示例：find path1 path2 -name *.c
2020-03-25 20:52:44
原创 Lesson4 Hadoop 僞分佈模式Yarn的配置及Mapreduce demo程序 WordCount的運行
一、 Yarn的配置： 1. 配置yarn-env.sh：加入JAVA_HOME。 2. 配置yarn-site.xml：添加如下內容，將node1改爲主機名 <!--Reducer獲取數據的方式--> <property
2020-03-18 07:03:46
原创 Lesson5 Hadoop 僞分佈模式配置歷史服務器、日誌聚合及配置文件的相關說明
一、 配置歷史服務器： 1. 配置mapred-site.xml： <!--歷史服務器端地址--> <property> <name>mapreduce.jobhistory.address</name> <value>no
2020-03-18 07:03:46
原创 Linux 下應用內無法使用fcitx中文輸入的解決辦法 Centos Xfce應用內無法使用fcitx中文輸入的解決辦法
直接把之前加載的配置覆蓋 vim ~/.bash_profile 在最後一行添加 export XMODIFIERS=@im=fcitx export QT_IM_MODULE=fcitx export GTK_IM_MODULE
2020-03-02 15:21:31
原创 Centos 7.5 輕量級桌面系統Xfce安裝 + Windows 10 VNC遠程訪問
一、 安裝Xfce 1. 安裝X Window圖形用戶接口： yum groupinstall "X Window system" 2. 查看Xfce包名： yum grouplist 3. 安裝Xfce： yum gr
2020-03-01 09:26:58