原创 Linux命令（vi，權限，軟連接，系統命令，壓縮解壓，定時任務，後臺運行）
1.vi 包含三種模式：尾行模式(：)，命令行模式(vi 命令進入的默認模式)，編輯模式(a,i,o) 命令行模式: dd：刪除當前行 dG（先輸入d，在輸入shift+g） ：刪除光標所在行及以下的所有行 ndd：刪除光標所在行及以下的
2020-06-20 02:32:44
原创 kudu的基本操作（查看集羣狀態，APT操作，impala操作，spark整合）
1.命令行查看kudu狀態操作 通過root用戶切換到kudu用戶 1.1 查看集羣整體信息（我本機的hostname是hadoop002，也就是kudu的master是hadoop002） -bash-4.2$ kudu cluste
2020-06-20 02:32:33
5
原创 部署Hbase + Phoenix，並通過DBeaver連接Phoenix
1.Hbase安裝步驟https://blog.csdn.net/muyingmiao/article/details/103002598 2 Phoenix的安裝 2.1 Phoenix 的官網http://phoenix.apache
2020-06-19 18:22:07
22
原创 一臺機器搭建Kafka集羣及Kafka的簡單操作（僞分佈式）
1.搭建Zookeeper集羣（僞分佈式）。參考如下鏈接https://mp.csdn.net/postedit/102797469 2.將下載的kafkatar.gz文件解壓 tar zxvf kafka_2.11-2.2.1-kafk
2020-06-19 18:22:07
原创 Hbase通過Phoenix創建二級索引
Phoenix的索引介紹：http://phoenix.apache.org/secondary_indexing.html 1 全局索引 全局索引適合重讀輕寫業務，官網介紹如下： Global indexing targets read
2020-06-19 18:22:07
4
原创 Linux 的nohup命令與&
nohup nohup 命令運行由 Command參數和任何相關的 Arg參數指定的命令，忽略所有掛斷（SIGHUP）信號。在註銷後使用 nohup 命令運行後臺中的程序。要運行後臺中的 nohup 命令，添加 & （ 表示“and”的符
2020-06-19 18:22:07
原创 impala安裝部署(rpm安裝)
1.下載impala所需的rpm包 bigtop-utils rpm包下載http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.8.3/RPMS/noarch/ impala rpm
2020-04-13 23:51:42
3
原创 Phoenix創建鹽表
1.Phoenix創建鹽表 官網地址：http://phoenix.apache.org/salted.html 創建一個鹽表： CREATE TABLE test.test_salt (id VARCHAR PRIMARY KEY,
2020-04-10 19:54:10
原创 Kudu部署
一 Kudu的簡介和部署 1.Kudu的特點 OLAP工作負載的快速處理。 與MapReduce、Spark等Hadoop生態系統組件集成。 與Apache Impala的緊密集成，使其成爲使用HDFS與Apache Parquet的一個
2020-04-10 19:54:10
1
原创 使用com.typesafe.config讀取配置文件中的內容
1.在pom文件中引入依賴 <dependency> <groupId>com.typesafe</groupId> <artifactId>config</artifac
2020-03-22 08:12:49
原创 npm 安裝報錯 "npm ERR! code Z_BUF_ERROR" 問題解決
一、引言 最近在做vue項目後，需要執行一個 npm install 的命令來安裝項目所需要的依賴文件，但是報錯了： I’m all done. Running npm install for you to install the re
2020-03-22 08:12:49
1
原创 Spark對接Hive：整合Hive操作及函數
1.拷貝hive-site.xml文件到spark的conf目錄下 2.[hadoop@hadoop002 bin]$ ./spark-shell --master local[2] --jars ~/software/mysql-con
2020-03-14 07:17:36
原创 shell腳本[] [[]] -n -z 的含義解析
1、在中括號中，判斷變量的值， 加不加雙引號的問題？ -z 判斷 變量的值，是否爲空； zero = 0 - 變量的值，爲空，返回0，爲true - 變量的值，非空，返回1，爲false -n 判斷變量的值
2020-03-14 07:17:36
原创 在centos7.2上Flink1.9.1源碼編譯（hadoop2.6.0-cdh5.15.1）
編譯步驟參照官網：https://ci.apache.org/projects/flink/flink-docs-release-1.9/flinkDev/building.html 0.按照官網：In addition you need
2020-02-23 04:16:34
原创 Spark自定義UDAF函數（弱類型）
弱類型用戶自定義聚合函數：通過繼承UserDefinedAggregateFunction來實現用戶自定義聚合函數。下面展示一個求平均年齡的自定義聚合函數 1.extends UserDefinedAggregateFunction 2.
2020-02-23 04:16:34