原创 Linux環境下配置和安裝hadoop及hadoop集羣搭建(VMware)

文章目錄一、安裝準備二、hadoop的配置1.首先配置hadoop-env.sh2.配置core-site.xml3.配置hdfs-site.xml4.配置mapred-site.xml5.配置yarn-site.xml6.配置s

原创 使用shell腳本一鍵式解壓壓縮文件

話不多說,先上代碼: #!/bin/bash cd /opt/software ----文件的目錄位置 count=`ls -l | grep '^-' | wc -l` ----保存當前目錄下的文件個數,這裏使用管

原创 啓動hadoop無DataNode進程服務的簡單粗暴解決辦法

問題:我們經常會在第二次啓動hadoop時出現DataNode服務沒有成功啓動 簡單粗暴的解決方案: 1.首先將所有服務全關掉:stop-all.sh 2.找到一開始建的tmp臨時目錄,直接rm -rf掉 3.在hadoop-2.

原创 最最最詳細的Hadoop+HBase+Zookeeper+Hive完全分佈式環境搭建教程

文章目錄一、準備工作二、hadoop搭建1.配置主機名和主機列表2.配置免密登錄3.配置環境變量4.配置hadoop配置文件三、HBase配置1.配置hbase-site.xml文件2.配置hbase-env.sh文件3.配置lo

原创 shell常用腳本(一)

一、注意事項 1.開頭的解釋器使用的是:#!/bin/bash 2.用四個空格進行語法縮進來提高閱讀性 3.變量名的命名規則:函數名小寫,變量名或文件名要有意義 二、圖形打印 1.打印矩形 腳本函數爲: #!/bin/bash j

原创 ELK集羣搭建(Linux系統:centos7)

文章目錄一、複製虛擬機二、修改主機名和主機列表三、配置免密登錄四、配置elasticsearch集羣 一、複製虛擬機   首先複製已經搭好的ELK虛擬機: 右擊已經搭好的虛擬機,選擇複製,重命名複製的虛擬機名,將最都一個重新初始

原创 mybatis實現簡易圖書管理系統

文章目錄一、圖書管理系統實現的功能介紹二、數據庫表結構的創建三、idea的環境搭建四、實現登錄功能五、圖書的查詢展示 一、圖書管理系統實現的功能介紹 這裏我們要實現普通用戶和系統管理員的登錄、借書還書功能、購買圖書功能、展示所有圖

原创 MyBatis連接數據庫實現增刪改查

文章目錄一、MyBatis簡介二、MyBatis環境搭建三、配置Mybatis文件四、實現DAO層與SQL層連接五、測試類Test六、結束語 一、MyBatis簡介 MyBatis是一種基於SQL語法的開源項目,它能夠將SQL語句

原创 Elasticsearch實現基礎的增刪改查(Kibana模式)

文章目錄一、簡介二、分詞三、增加索引四、使用bulk進行批量操作五、查詢 一、簡介 Elasticsearch是基於Lucene的開源分佈式搜索引擎,大幅降低了PB級海量數據存儲、檢索,分析門檻。它的特點是: 分佈式實時文件存儲

原创 Linux常用命令(增、刪、改、查、賦權、解壓)

文章目錄一、目錄操作二、文件內容操作三、vi編輯器(查看模式、編輯模式、尾行模式)四、用戶管理五、組管理六、賦權語句七、解壓命令 一、目錄操作 1、切換目錄:cd命令 cd / --打開根目錄 cd test1 --打開文件夾te

原创 Linux系統的ELK安裝及配置

一、ES簡介   ES是一個基於RESTful web接口並且構建在Apache Lucene 的開源分佈式搜索引擎。它的特點是:高可用,高擴展,是一種NOSQL的數據存儲工具。 二、ES安裝前的準備(elk安裝包版本要求一致)

原创 Linux採用SSH協議遠程連接及系統軟件安裝(jdk、tomcat、Mysql)

一、Linux系統遠程連接   Linux系統遠程連接常用的協議有SSH、FTP、XFTP,這裏我們將使用SSH協議來進行遠程連接;SSH是一種通用的、功能強大的、基於軟件的網絡安全解決方案,常用的SSH工具有Xmanager、S

原创 Linux環境安裝Mysql

文章目錄一、安裝資料準備二、安裝Vbox虛擬機三、使用MobaXterm完成jdk的添加四、使用MobaXterm完成Mysql的安裝五、使用SQLyog完成連接 一、安裝資料準備 首先在開始安裝工作之前,需要準備好如下一些安裝材