原创 ES別名操作
添加索引別名 curl -XPOST 'http://localhost:9200/_aliases' -d ' { "actions": [ {"add": {"index":
2020-07-03 06:18:51
原创 集羣搭建--hbase集羣搭建
linux上安裝hbase集羣 安裝hbase集羣的步驟還是比較簡單的 三臺機器 首先在第一臺機器進行安裝配置 用的是hbase-1.4.11進行安裝的 1、解壓 tar -zxvf hbase-1.4.11-bin.tar.gz
2020-06-16 04:57:10
原创 Linux下安裝node安裝及cnpm
node安裝及cnpm 我暫時不知道node是幹嘛的，只知道h5說需要就裝了 wget https://nodejs.org/dist/v6.10.1/node-v6.10.1-linux-x64.tar.xz 下載這個文件，可以
2020-06-16 04:57:00
原创 spark-submit提交(轉)
文章出處：https://blog.csdn.net/chenjieit619/article/details/53421080 如有不妥之處，歡迎隨時留言溝通交流，謝謝~ 在開發完Spark作業之後，就該爲作業配置合適的資源了。
2020-04-26 23:20:13
原创 spark的reduceByKey
在進行Spark開發算法時，最有用的一個函數就是reduceByKey。 reduceByKey的作用對像是(key, value)形式的rdd，而reduce有減少、壓縮之意，reduceByKey的作用就是對相同key的數據
2020-04-20 12:26:37
原创 集羣搭建--修改克隆後的虛擬機IP地址
一、修改IP地址 vi /etc/sysconfig/network-scripts/ifcfg-eth0 su root [root@hadoop1 Desktop]# vi /etc/sysconfig/network-scr
2020-02-26 02:40:58
原创 Elasticsearch用Bulk API實現批量操作
批量插入 POST /lib2/books/_bulk {"index":{"_id":1}} {"title":"Java","price":55} {"index":{"_id":2}} {"title":"Python"
2020-02-26 02:40:58
原创 集羣配置--hive配置hiveserver2
通過遠程連接hive，出現問題,原因是沒有配置hiveserver2的用戶密碼 Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop2:
2020-02-26 02:40:58
原创 Hive總結篇及Hive的優化
概述 Hive學習也有一段時間了，今天來對Hive進行一個總結，談談自己的理解，作者還是個小白，有不對的地方請大家指出相互學習，共同進步。今天來談一談什麼是Hive，產生背景，優勢等一系列問題。 什麼是Hive 老規矩：官網地址
2020-02-26 02:40:58
原创 hive優化
hive的查詢注意事項以及優化總結 . Hive是將符合SQL語法的字符串解析生成可以在Hadoop上執行的MapReduce的工具。使用Hive儘量按照分佈式計算的一些特點來設計sql，和傳統關係型數據庫有區別， 所以需要去掉原
2020-02-26 02:40:58
原创 linux下安裝mysql-5.7.25詳細步驟
第一步：下載 進入到mysql官網下載自己對應版本的mysql， 下載地址：https://dev.mysql.com/downloads/mysql/5.7.html#downloads 我這裏下載mysql-5.7.25-li
2020-02-26 02:40:57
原创 Elasticsearch的增刪改查
1、插入索引 lib PUT /lib/ { "settings":{ "number_of_shards":3, "number_of_replicas":0 } } 2、獲取索引lib的配置信息
2020-02-26 02:40:47
原创 sparkstreaming讀取kafka的兩種方式
spark streaming提供了兩種獲取方式，一種是同storm一樣，實時讀取緩存到內存中;另一種是定時批量讀取。 這兩種方式分別是： Receiver-base Direct 一 、Receiver-base： Spark官
2020-02-26 02:40:47
原创 集羣配置--安裝netcat
在Linux中有一個級強大的網絡工具netcat，在默認情況下面都是沒有安裝的，現在介紹一下安裝過程 其實安裝很簡單 一、下載安裝 切換到root用戶： yum install -y nc 二、測試使用 在一個終端上 輸入 nc
2020-02-26 02:40:47