原创 VirtualBox安裝Centos6.6

一,環境信息 硬件:虛擬機 操作系統:Centos 6.6 64位 安裝用戶:root VirtualBox:Oracle VM VirtualBox Manager 4.3.26,Virtualbox的安裝請見:ht

原创 Hive常見問題彙總

這裏小編彙集,使用Hive時遇到的常見問題。 1,執行#hive命令進入Hive CLI時報如下錯誤: Exception in thread "main" java.lang.RuntimeException: java.la

原创 Linux分區和掛載

一,環境信息 硬件:虛擬機 操作系統:Centos 6.6 64位 安裝用戶:root 二,Parted分區工具 fsdisk不支持對2TB的磁盤做分區。如果分區大於2TB,需要使用parted工具。 parted使

原创 Nutch2.3中的crawl和Nutch命令初探

一,環境信息 硬件:虛擬機 操作系統:Centos 6.4 64位 IP:10.51.121.10 主機名:datanode-4 安裝用戶:root Nutch:Nutch2.3,安裝路徑:/root/nut

原创 CDH5.3.2中配置運行Spark SQL的Thrift Server

一,環境信息 CDH集羣,Cloudera Manager5安裝部署CDH5.X詳細請見:http://blog.csdn.net/freedomboy319/article/details/44804721 二,在CDH5.3

原创 Nutch2.3+Hbase0.94+Solr4.10.3單機集成配置安裝

Nutch起源於ApacheLucene項目,是一個可擴展和可伸縮的開源網絡爬蟲軟件項目,包括兩個版本的代碼庫,即: 1,Nutch1.x版本:一個成熟的產品化的爬蟲。1.x版本依賴於Apache Hadoop的數據結構,並使用

原创 Oracle常見錯誤

ORA-28100 問題說明: 目標端數據庫imp之後查詢相關表,報 ORA-28100。 原因: 在exp的源端有vpd策略,目標端刪除vpd策略即可 執行如下語句既可刪除制定用戶的VPD。 declare st

原创 Hbase入門

本文主要包括Hbase的安裝以及Hbase Shell命令行簡單使用。 一,安裝環境 硬件:虛擬機 操作系統:Centos 6.4 64位 IP:10.51.121.10 主機名:datanode-4 安裝用戶

原创 Centos6.6安裝Virtualbox

一,環境信息 硬件:虛擬機 操作系統:Centos 6.6 64位 安裝用戶:root 二,安裝步驟 啓動VNCServer,用vncviewer連接VNCServer。 1,安裝關聯的package #yum in

原创 Linux 基礎之查看CPU信息

1,查看物理CPU個數 cat /proc/cpuinfo| grep “physical id”| sort| uniq| wc -l 2,查看每個CPU的內核個數 cat /proc/cpuinfo| grep “cpu

原创 Linux基礎之dd命令

1,測試寫 time dd if=/dev/zero of=/tmp/iotest bs=8k count=1000000 [root@grc-cdh03 ~]# time dd if=/dev/zero of=/tmp/iot

原创 Cloudera Manager5配置管理之配置Namenode 的HA

此文章介紹Cloudera Manager配置Hive Metastore 1,環境信息 2,配置Namenode 的HA 1,環境信息 基於 Cloudera Manager5安裝部署CDH5.X 文章的環境信息。 2,

原创 Cloudera Manager5配置管理之安裝Spark的Standalone

此文章介紹Cloudera Manager安裝Spark的Standalone模式 1,環境信息 2,安裝Spark的Standalone 1,環境信息 基於 Cloudera Manager5安裝部署CDH5.X 文章的

原创 Linux基礎命令

1,查看某個端口被哪個進程佔用 lsof -i : 端口號 # lsof -i:22 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAMEsshd 1646 root 3u IPv4

原创 開源大數據查詢分析引擎現狀

注:此文章轉載至http://www.36dsj.com/archives/30017 原文如下: 引言 大數據查詢分析是雲計算中核心問題之一,自從Google在2006年之前的幾篇論文奠定雲計算領域基礎,尤其是GFS、Map-R