原创 Linux下JDK的安裝與配置

1.  下載JDK2.  上傳JDK至Linux系統(可以使用工具也可以ALT+P鍵直接拖動文件到文件夾)3.  解壓JDK壓縮文件至/usr/apps/  :(命令:  tar -zxvf  jdk-8u141-linux-x64.ta

原创 zookeeper集羣搭建以及出現的小問題

  環境的配置:        在我搭建zookeeper集羣部署之前,因爲虛擬機等環境已經配置好了,所以這裏不詳述.        hosts裏面之前配置的映射分別有: beijingHsh /xinjiangOIL /talimuEn

原创 局域網內搭建虛擬機集羣

虛擬機2臺:(兩臺筆記本上臨時搭建)DELL :8G內存Thinkpad:12G內存虛擬機版本號: vmware12系統版本: CentOS-6.6-x86_64-minimal.iso一.  虛擬機集羣的搭建虛擬機的搭建主要分爲以下幾個

原创 Linux下安裝mysql出現的一些問題以及解決辦法

在Linux上安裝mysql出現了一些小問題,解決辦法如下:              1.卸載存在殘餘,導致新安裝mysql程序出現問題    2

原创 問題集

MySQL部分: 卸載mysql出現的小問題點擊打開鏈接 

原创 ambari 第一次啓動異常:沒有mysql驅動

今天再次安裝ambari時出現:java.lang.ClassNotFoundException: com.mysql.jdbc.Driver嘗試使用:    yum install mysql-connector-java 或者將驅動包

原创 httpd映射ip錯誤問題

在linux下安裝httpd組件,由於剛開始使用的是本地局域網模式,導致在安裝完之後httpd的映射爲之前的局域網ip(192.168.2),查看了網卡ip已經切換成當前的(1**.2.16.25),看來是httpd配置文件錯誤,修改配置

原创 Hadoop集羣的搭建(hdfs,yarn,zookeeper,hive,hbase,kylin,kafka,flume等)

(hdfs,yarn,zookeeper,hive,hbase,kylin,kafka,flume等)zookeeper集羣搭建鏈接zookeeper集羣搭建鏈接: 點擊打開鏈接

原创 hadoop生態集羣的搭建

一.集羣環境的搭建(虛擬機): 點擊打開鏈接二.JDK的安裝 :點擊打開鏈接三.Hadoop的安裝和配置四.Zookeeper的安裝和配置 :點擊打開鏈接五.Hive的安裝和配置以及使用六.HBase的安裝和配置以及使用七.Flume的安

原创 配置本地yum源,本地rpm包存在但是安裝時找不到的問題

在安裝Ambari配置本地yum源時,通過命令yum instal ambari-server安裝提示:http://192.168.1.2/ambari/AMBARI-2.4.1.0/centos6/repodata/repomd.xm

原创 spark-shell連接異常問題

[root@node00 sbin]# /apps/spark-2.2.0-bin-hadoop2.7/bin/spark-shell --master spark://node00:7077 Using Spark's default

原创 安裝Spark集羣(簡述)

前提: 已經安裝好hadoop集羣和zookeeper,功能正常 1.上傳安裝包(所有節點)(略) 2.解壓(略) 3.修改配置文件 cd /apps/spark-2.2.0-bin-hadoop2.7/conf/ 1. vi

原创 Cloudera大數據平臺環境搭建(基於CentOS7的虛擬機環境)

1.基礎環境 1.1. 軟件環境 系統環境:CentOS-7-x86_64-Minimal-1804.iso,離線安裝CDH和Cloudera Manager過程,軟件版本如下: NO. 軟件名稱 版本 1 操作系統 CentOS-7-x

原创 hdfs的運行機制

HDFS體系結構   HDFS中運行着2類節點namenode、datanode。一個namenode、多個datanode,namenode和datanode以主從(master-slave)模式運行與HDFS集羣中。   na

原创 ElasticSearch(一) 簡單介紹

   ElasticSearch是一個基於Lucene的搜索服務器。它提供了一個分佈式多用戶能力的全文搜索引擎,基於RESTful web接口。 在安裝之前需要提前配置好jdk的環境變量,根據安裝的版本選擇對應的jdk版本。windows