原创 JAVA程序員可以用的一些工具
給大家推薦一些開發的工具 Java開發系列-IntelliJ IDEA 插件 IntelliJ IDEA IntelliJ IDEA IntelliJ IDEA 毫無疑問 前段日子集中找了一些idea的插件，用了一段時間之後
2020-06-26 10:26:30
原创 無限循環packet:: clientPath:null serverPath:null finished:fa
HBase的NoSuchMethodError:org.apache.hadoop.net.NetUtils.getInputStream異常解決辦法 hbase和hadoop包版本不同 改一下 出現這個問題經常附帶無限循環pac
2020-06-26 10:26:28
原创 hbase的scan
Scan scan = new Scan(“row0”.getBytes(), “row99”.getBytes()); 遍歷row0至row98的數據 要想遍歷到99 Scan scan = new Scan(“row0”.ge
2020-06-26 10:26:28
原创 Hive 學習小記(二)
因爲hive的數據存儲在hdfs中，添加數據實際上完成了mr的任務，所以需要先啓動hdfs集羣和yarn集羣！！ 使用BeeLine Cli的時候，如果要進行insert等操作，需要現在集羣中修改用戶權限–在hiveserver
2020-06-26 10:26:28
原创 一個畢業生的自白
我是一個即將大學畢業的人。 我按照我定好的路一直在走。 高考失利沒有阻止我學計算機。 大二上成功轉專業到軟件。 大二下就準備好了實習，準備面試。 大三的上半年去了北京實習。 實習的時間比其他人可能早了半年。 實習了5個月，回家準備
2020-06-26 10:26:28
原创 Hive學習小記
開始學習 Hive 啦 把Hive的內嵌、本地、遠程三個模式配了一遍，基本上沒有遇到大的問題 需要初始化元數據 這個點比較容易忘 本地、遠程模式需要用mysql，順便回顧了一下mysql的安裝配置過程，發現centos7直接裝yu
2020-06-26 10:26:28
原创 Java程序員學習大數據之HBASE
Java程序員學習大數據之HBASE1 什麼是HBase1.1 列式數據庫與行式數據庫1.2 Hbase對錶處理的特點1.3 HBase與RDBMS的區別1.4 HBase的基本結構1.5 HBase的數據模型2 HBase的集羣
2020-06-26 10:26:28
原创 Hive學習之常見問題
HiveSQL 的原理：我們都知道 HiveSQL 會被翻譯成 MapReduce 任務執行，那麼一條 SQL 是如何翻譯成MapReduce 的？ 詳細！ 需要多看幾遍才能看懂 https://www.aboutyun.com/
2020-06-26 10:26:28
原创 Spark RDD 分組統計案例
題目 1.在所有的老師中求出最受歡迎的老師Top3 2.求每個學科中最受歡迎老師的top3（至少用2到三種方式實現） 數據內容 http://bigdata.edu360.cn/laozhang http://bigdata.
2020-05-12 16:06:02
原创 Spark讀取hdfs分片數據源碼剖析
val lines: RDD[String] = sparkContext.textFile(args(0)) 我們通過 sparkContext.textFile來讀取hdfs中某一數據 正常來說，應該是有幾個文件就創建幾個分
2020-05-12 16:06:02
原创 Scala之 WordCount
object WordCountByScala { val arr = Array("hello tom and cat", "hello boy and girl") def main(args: Array[Stri
2020-05-04 20:35:05
原创 Kafka、Flume、Storm 結合學習案例
storm drpc JavaAPI調用報錯 conf初始化錯誤解決如下 Map config = Utils.readDefaultConfig(); Kafka、Flume、Storm 結合學習案例 flume 寫入 kaf
2020-05-03 06:07:47
原创 大數據學習之 常用web端口號記錄
大數據學習之 常用web端口號記錄 namenode : centos01:50070 yarn: centos01:8088 jobhistory: centos01:19888 hiveServer2: centos01:
2020-04-25 22:36:00
原创 ES集羣安裝以及HEAD安裝指導
es集羣安裝指導 不能使用root！ 1.tar -zxvf elasticsearch-6.4.2.tar.gz -C /opt/modules/ 2. 測試 運行 /opt/modules/elasticsearch-6.4
2020-04-25 22:36:00