查找有沒有這個軟件通過管道查詢：sudo apt-cache search ssh | grep ssh
安裝的話：sudo apt-get install xxxxx
安裝ssh後要生成一個文件即執行：ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
最後在soft/haoop/etc/hadoop目錄下的三個文件中執行core-site.xml、hdfs-site.xml、mapred-site.xml中配置
-----------------------------------------------------
查看端口：netstat -lnpt netstat 或netstat -plut 。查看所有的端口：netstat -ano
--------------------------------------------------------------
把文件放到哪裏用 hadoop fs -put xxxx /xxxx/xxxxx/xxx
往上面集羣上放文件：hadoop --config /soft/hadoop/etc/hadoop_cluster fs -put /home/ubuntu/hell.txt /user/ubuntu/data/
在集羣上下載文件是：hadoop --config /soft/hadoop/etc/hadoop_cluster fs -get /user/ubuntu/data/hello.txt bb.txt
查看文件的健康情況：hdfs --config /soft/hadoop/etc/hadoop/etc/hadoop_cluster fsck /user/ubuntu/data/hello.txt
通過scp遠程複製 ：scp -r /xxx/x
格式化文件系統：hdfs --config /soft/hadoop/etc/hadoop_cluster namenode -format
touch 是建一個文本文件
從一個虛擬機登錄到另個虛擬機ssh s2 ,如果是ssh s2 ls ~ 的話就是顯示一列列是的樣子 。如果執行
ssh s2 ls ~ | xargs 是顯示一橫的內容
查看集羣狀況：hadoop --config /soft/hadoop/etc/hadoop_cluster fs -lsr /
把文件放到集羣上面就是hadoop --config /soft/hadoop/etc/hadoop_cluster fs -put xxxxx 後面是加所放的路徑位置
查看進程 ssh s2 jps 。ps -Af 也是查看進程 。殺死進程是kill -9 後面加進程的端口號
su root 根用戶
--------------------------------------------------
HDFS概念：namenode & datanode
namenode:鏡像文件+編輯日誌，存放於本地磁盤，以及數據節點信息，不含block信息。block信息在cluster啓動時由datanode重建
datanode:work節點，存儲檢索block定期向namenode發送block list
在usr/local/sbin下切換到su root 用戶下建腳本，編寫你想要的執行腳本
修改blocksize大小 ，默認是128m
它在[hdfs-site.xml]
dfs.blocksize = 8m 設置塊大小是8M
1、測試方式 ：put 文件 > 8m, 通過webui查看塊大小
---------------------------------------------------------
hadoop:可靠、可伸縮、分佈式的計算框架，開源軟件
四大模塊：1、common ----hadoop-commom-xxx.jar
2、hdfs
3、mapreduce
4、yarn
hadoop完全分佈式：
1、hdfs --->NameNode、Datanode、SecondaryNode（輔助名稱節點）
2、Yarn---->ResourceManager（資源管理器）、NodeManager（節點管理器）
---------------------------------------------------
配置靜態ip進入etc的network裏面下編輯sudo nano interfaces：
# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
auto eth0
iface eth0 inet dhcp
iface eth0 inet static（設置爲靜態的ip）
address 192.168.92.148（客戶機的ip）
netmask:255.255.255.0(客戶機的)
gateway 192.168.92.2 （NAT網關地址）
dns-nameservers 192.168.92.2
最後是重啓網卡：sudo /etc/init.d/networking restart
-------------------------------------------------
客戶機關機命令：
1、sudo poweroff
2、sudo shutdown -h o
3、sudo halt
------------------------------
配置文本模式
進入到/boot/grub裏面查看一下
再進入cd /etc/default裏面執行gedit grub
在#GRUB_CMDLINE_LINUX_DEFAULT="quiet"的下面編寫GRUB_CMDLINE_LINUX_DEFAULT="text"
在# Uncomment to disable graphical terminal (grub-pc only)下面編寫：
GRUB_TERMINAL=console //打開註釋
改後執行sudo update-grub最後執行重啓sudo reboot
-----------------------------------------
啓動所有的數據節點：
hadoop-daemons.sh start namenode //在名稱節點服務器上執行啓動名稱節點
hadoop-daemons.sh start datanode //在指定的datanode上執行，啓動所有的數據節點
hadoop-daemon.sh start secondsrynamenode //啓動輔助名稱節點
-------------------------------------------------------
hdfs getconf 能查看到節點配置信息。比如hdfs getconf -namenode 可以知道是在s1客戶機上運行
-----------------------------------------------------------------
四大模塊：
1、common
hadoop-coommon-xxx.jar
core-site.xml
core-default.xml
2、hdfs
hdfs-site.xml
hdfs-defailt.xml
3、mapreduce
mapre-site.xml
mapred-default.xml
4、yarn
yarn-site.xml
yarn-default.xml
----------------------------------
常用的端口：
1、namenode rpc //8020 webui //50070
2、datanode rpc //8032 webui //50075
3、2nn webui //50090
4、historyServer webui //19888
5、resourcmanager webui//8088
--------------------------------------
dfs.hosts:決定能夠連接namenode
dfs.hosts.exclude:決定不能連接namenode
dfs.hosts dfs.hosts.exclude
---------------------------------------------
0 0 //不能連接
0 1 //不能連
1 0 //能連
1 1 //能連會退役
---------------------------------------------
安全模式
1、namenode啓動時，合併p_w_picpath和edit成新的p_w_picpath,併產生新的edit log
2、整個智能safe模式下，客戶端只能讀取
3、查看nameode是否位於安全模式
hdfs dfsadmin -safemode get //查看安全模式
hdfs dfsadmin -safemode enter //進入安全模式
hdfs dfsadmin -safemode leave //離開安全模式
hdfs dfsadmin -safemode wait //等待安全模式
4、手動保存名字空間：dfsadmin -saveNamespace
5、手動保存鏡像文件：hdfs dfsadmin -fetchImage
6、保存元數據：(保存在hadoop_home下即：hadoop /logs/下)hdfs dfsadmin -metasave xxx.dsds
7、start-balancer.sh :啓動均衡器，目的讓集羣數據存儲上更加平均，提高整個集羣的性能（一般我們在增加節點的情況下才啓動均衡器）
8、hadoop fs -count統計目錄
--------------------------------------------------
Hadoop Snapshot快照:就是把當前的情況拍照保存起來。一般目錄默認的情況是不能創建快照的。必須執行hdfs dfsadmin -allowSnapshot /user/ubuntu/data。允許創建快照，後面跟的是你想創建快照的地址路徑。在這裏允許創建快照後我們就可以執行hadoop fs -createSnapshot /user/ubuntu/data snap-1創建快照了。snap-1是你創建快照名。查看快照的話直接hadoop fs -ls -R /user/ubuntu/data/.snapshot/。還有你在創建快照的情況下是不能禁用快照的
1、創建快照hadoop fs [-createSnapshot <snapshotDir> [<snapshotName>]]
2、刪除快照hadoop fs [-deleteSnapshot<snapshotDir> <oldName> <newName>]
3、重命名快照hadoop fs [-renameSnappshot<snapshotDir> <oldName> <newName>]
4、允許目錄快照hadoop dfsadmin [-allowSnapshot <snapshotDir>]
5、禁用目錄快照hadoop dfsamdin[-disallowSnapshot<snapshotDir>]
------------------------------------------
回收站
1、默認是0秒，意味着禁用回收站
2、設置文件回收站的駐留時間[corep-site.xml] fs.trash.interval=1 //分鐘數計算
3、通過shell命令刪除的文件，會進入trash
4、每個用戶都有自己的回收站（目錄） 即：/user/ubuntu/.Trash
5、編程方式刪除不進入回收站，立即刪除，可以調用。moveToTrash()方法，返回false，說明禁用回收站或者已經在站中
回收站：hadoop默認的回收站是關閉的，時間單位：分鐘對應當前用戶文件夾的.Trash目錄。rm時會將文件移動到該目錄下
[core-site.xml]
<porperty>
<name>fs.trash.interval</name>
<value>30</value>
</property>
回收站：恢復文件。將.Trash目錄的文件移動出即可：hadoop fs -mv /user/ubuntu/.Trash/xx/x/x data/
清空回收站：hadoop fs -expunge
測試刪除回收站：hadoop fs -rm -R /user/ubuntu/.Trash
-----------------------------------
配額：quota
1、目錄配額：hdfs dfsadmin -setQuota N /dir //N > 0 ,目錄配額。1：表示空目錄，不能放置任何元素
2、空間配額 ：hdfs dfsadmin -setSpaceQuota
hadoop fs === hdfs dfs //文件系統的操作命令
-clsSpaceQuota //清除空間配額
-clsQuota //清除目錄配額
---------------------------------------------------
oiv可以查看鏡像文件內容 -i是輸入文件 -o是輸出文件。XML是處理器
具體操作：hdfs oiv -i fsp_w_picpath_000000000000000054 -o ~/a.xml -p XML
查看edit_xxx編輯日誌文件：hdfs oev -i xxx_edit -o xxx.xml -p XML
鏡像文件是不是在/hadoop/dfs/name/current 這裏？
cat: fsp_w_picpath_0000000000000054
bg %是讓軟件在後臺運行
-----------------------------------------------------------
刷新節點：hdfs dfsadmin -refreshNodes
-----------------------------------------