原创 新增磁盤並把新磁盤虛擬化成邏輯卷,把文件系統/home掛載到這個新邏輯卷

磁盤信息查看 fdisk -l SATA磁盤,使用fdisk -l 如果有兩塊磁盤,會顯示 sda sdb 如果有更多,依次a-z fdisk -l 除了顯示硬盤分區,同時顯示邏輯卷信息,邏輯卷以vg_開頭   查看文件系統及其掛載點 df

原创 WebMagic之優秀爬蟲框架

1. 一個框架,一個領域 一個好的框架必然凝聚了領域知識。WebMagic的設計參考了業界最優秀的爬蟲Scrapy,而實現則應用了HttpClient、Jsoup等Java世界最成熟的工具,目標就是做一個Java語言Web爬蟲的教科書般

原创 Centos 7 搭建Hadoop集羣

  1.安裝環境說明 安裝前先安裝好 Centos 7.2, jdk-8u91, mysql5.7.13 2.操作系統環境準備 2.1 配置SSH免密碼登錄 主節點裏root用戶登錄執行如下步驟 ssh-keygen cd ~/.s

原创 玩轉docker-鏡像加速器

鏡像加速器     Docker之所以這麼吸引人,除了它的新穎的技術外,圍繞官方Registry(Docker Hub)的生態圈也是相當吸引人眼球的地方。在Docker Hub上你可以很輕鬆下載到大量已經容器化好的應用鏡像,即拉即用。這些

原创 linux 中常用變量替換方案

(一)通過vi編輯器來替換。 vi/vim 中可以使用 :s 命令來替換字符串。 :s/well/good/ 替換當前行第一個 well 爲 good :s/well/good/g 替換當前行所有 well 爲 good :n,$s/wel

原创 ambari系列

  hbase 啓動不起來,通常是因爲節點日期不同步。 HDFS 無法啓動,通常是因爲hdfs 進入了安全模式,需要先退出來,再啓動。   Hadoop dfsadmin -safemode leave  repo源的地址是可以隨時更