原创 大數據-hadoop-Hive環境搭建-連載之05(2019-05-30)

1.下載hive2.1-tar.gz  mysql驅動:https://download.csdn.net/download/weixin_38638777/10690207  鏈接爲mysql-connector-java-5.1.46

原创 大數據-hadoop-Hive啓動報錯(2019-06-01)

關於大數據學習的最好的網站就是官網http://www.apache.org/   參考資料:http://www.apache.org/  免責聲明:很多資料都是網上一步步蒐集到的,感謝各位前輩默默無聞的奉獻與付出,資料過多,不一一感謝

原创 Sqlite3 之Linux 環境搭建1

最近在弄Sqlite3 中文字符的事情,寫下這一系列的博客,記錄一下 首先: 我的環境是 redhat6.5   sqlite 3.6.20 之前已經拿到了sqlite的動態庫文件: libsqlite3.so libsqlite3.so

原创 大數據-hadoop-mysql數據庫環境搭建-連載之04

關於大數據學習的最好的網站就是官網http://www.apache.org/   參考資料:http://www.apache.org/  免責聲明:很多資料都是網上一步步蒐集到的,感謝各位前輩默默無聞的奉獻與付出,資料過多,不一一感謝

原创 hadoop ----SecondyNameNode 觸發合併(CheckPoint)fsimage和Edits的2種條件

觸發 CheckPoint(合併)的2種條件是: 1、當Edits的日誌條數達到一定的數量的時候(100w條) 2、當到了一定的時間(3600s),但是Edits的日誌條數還未達到指定的數量   ---------------------

原创 獲取唯一的系統內核線程ID (唯一)

 在linux下每一個進程都一個進程id,類型pid_t,可以由 getpid()獲取。       POSIX線程也有線程id,類型pthread_t,可以由 pthread_self()獲取,線程id由線程庫維護。       但是各

原创 大數據-hadoop-Hive 啓動報錯01(2019-05-30 )datastore driver ("com.mysql.jdbc.Driver") was not found in the

具體報錯的信息是: Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BONECP" plugin to create a Con

原创 Centos 7.x 搭建 nginx 反向代理--單服務器

nginx的搭建已經在前面一篇文章寫過,具體詳見 Centos 7.x 搭建 nginx-1.1.19 Centos 7.x 搭建tomcat 1、首先需要將tomcat 搭建好,請參考文章 Centos 7.x 搭建tomcat 2、進

原创 Java 單鏈表的實現

啥也不多少,原理都一樣,只是實現的方式不一樣而已,原理介紹請自行百度百科百科百科-單鏈表     分析:    數據的內容我們這邊將存儲整型 定義一個int 型的data  對於Java 下一個節點的引用類型就是該節點自己,即可將類定義

原创 Centos 7.x 搭建 nginx 反向代理配置兩個不同服務器

前言:     在配置完一個服務器後,我們將來配置2個服務器, 環境如下: 啓動兩個tomcat 服務,修改端口號,分別爲8080,8081  訪問不同的路徑寫的html界面,會跳到不同的服務器界面進行訪問, 即: 訪問 www.shij

原创 Centos 7.x 搭建 nginx-1.1.19

1、安裝依賴環境 yum -y install make zlib zlib-devel gcc-c++ libtool  openssl openssl-devel 解釋爲什麼需要安裝這些庫,是因爲需要進行編譯nginx的源碼,在編譯

原创 Java 字節流的讀寫操作

直接貼代碼 1、讀文件已經存在的內容 FileInputStream fileinputstream = new FileInputStream("E:\\2.txt"); 1.1 //讀取一次字

原创 hadoop ----nameNode故障宕機,如何挽救

nameNode故障宕機,如何挽救一些數據??恢復後的數據與之前的數據有哪些差別???   答:將secondyNameNode節點中的數據拷貝至namanode節點上,這樣就可以恢復在上一個edits和fsimage的內容了,   實例

原创 N臺服務器配置免密登錄(包含SCP腳本)

工作的時候,由於我們的服務器太多,不可能一個個使用遠程登錄服務器,比如用XShell開多個窗口,如果有100臺機器,難道還要開100個會話嗎??顯而易見,我們不可能操作的這麼麻煩,能用技術解決問題,絕對不使用體力,linux 多臺服務器之

原创 idea 設置maven 配置 本地倉庫和阿里雲服務

1、file-Setting 2、Build -BuildTools-Maven 3、找到本機的maven的setting文件  <localRepository>E:\maven-LocalWarehouse\apache-maven