Hadoop安裝與部署

1、hadoop:由java語言開發的開源的分佈式計算平臺。可提供PB(100萬G)存儲。hadoop是可靠的,高效的,可伸縮的。
hadoop假設計算元素和存儲會失敗,維護多個副本,確保針對失敗的節點重分佈處理。文件以塊的方式存儲.
2、hadoop最核心的是hdfs和mapreduce,hdfs爲海量存儲提供存儲。mapreduce爲海量數據提供計算。mapreduce分爲jobtrackers和taskreduce組成。
3、hadoop集羣包含一個master和若干個slave角色。master稱爲namenode節點,slave爲datanode節點。
4、hdfs命令
hdfs namenode -format:格式化hdfs文件系統
start-all.sh: 啓動集羣
jps: 查看節點進程
查看master統計信息和hdfs存儲信息:http://masterip:50070
hadoop fs -普通命令: 管理hdfs文件命令
hdfs dfsadmin -report:查看節點狀態信息
hdfs dfsadmin -safemode enter|leave|get 開啓|關閉|查看 安全模式,在安全模式下只可查看不可寫入
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章