原创 Kafka學習梳理
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://www.cnblogs.com/Peter2014/p/12843382.html 如果要入門大數據，kafka算是一個很好的入口。kafka作爲數
2020-06-16 03:29:21
原创 Spark：coalesce()方法和repartition()方法
1、coalesce()方法 def coalesce(numPartitions: Int, shuffle: Boolean = false)(implicit ord: Ordering[T] = null) : RDD[
2020-05-19 01:39:05
原创 Spark之Shuffle調優
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://www.cnblogs.com/frankdeng/p/9301699.html 一、概述 大多數Spark作業的性能主要就是消耗在了shuffle
2020-05-18 07:43:18
原创 HDFS 架構及原理學習
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://blog.csdn.net/xjz729827161/article/details/79463140 https://www.cnblogs.co
2020-05-15 10:18:56
原创 YARN調度器(Scheduler)詳解
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後個人查閱 https://www.cnblogs.com/lenmom/p/11285273.html 理想情況下，我們應用對Yarn資源的請求應該立刻得到滿足，但現實情況資
2020-05-15 10:18:56
1
原创 List，Set 轉 Array數組
背景：集合 list ，set 都是繼承 Collection<E>，提供了一個toArray的方法，這是沒錯的，可是不是太難滿足開發過程中的需求，因爲toArray()方法 返回的是一個Object[] ,比如我們需要String[]
2020-04-02 10:08:08
1
原创 Azkaban安裝部署及啓動
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後查閱 https://blog.csdn.net/weixin_42295141/article/details/82593915 why： 一個完整的數據分析系統通常都是
2020-03-18 15:29:54
原创 Azkaban報錯-azkaban.executor.ExecutorManagerException: No active executors found
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後查閱 1、https://www.pianshen.com/article/1164398943/ 2、https://www.jianshu.com/p/5a3f31698
2020-03-18 15:29:44
2
原创 Apache Flink：客戶端操作的 5 種模式
推薦大家去看原文博主的文章，條理清晰閱讀方便，轉載是爲了方便以後查閱 https://segmentfault.com/a/1190000020300020?utm_source=tag-newest 1.環境說明 在前面幾期的課程裏面講
2020-03-12 23:19:35
原创 DBeaver 連接hive
連接如圖（自己搭建的hive沒設置的話用戶名跟密碼可以不用填）： 異常報錯： 1、User: xxx is not allowed to impersonate root),xxx是自己的電腦名字，這個不重要 解決思路，進入hadoop
2020-03-08 09:51:02
4
原创 mac 安裝sqoop2
1、官網地址： http://sqoop.apache.org/ 下載地址：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/ 解壓： tar -zxvf sqoop-1.9
2020-03-08 09:51:02
原创 idea運行map Reduce 時報：錯誤: 找不到或無法加載主類
問題描述： 使用idea編輯器，使用maven構建hadoop的mapreduce項目，在運行的時候提示報錯：錯誤: 找不到或無法加載主類 com.hnxy.bin.JobRunner 錯誤排查： 1 可能是java的環境變量錯誤 解
2020-03-07 07:46:21
原创 Mysql 8.0.19 Macos 版本
錯誤： mysql> set password for root@localhost=password('Mysql123456')； -> ;ERROR 1064 (42000): You have an error in yo
2020-03-04 01:33:52
原创 Mac dmg or brew 安裝mysql，完全刪除mysql
刪除文件 sudo rm /usr/local/mysql sudo rm -rf /usr/local/mysql* sudo rm -rf /Library/StartupItems/MySQLCOM sudo rm -rf /Li
2020-03-04 01:33:52
原创 解決mysql8報錯：ERROR 1410 (42000): You are not allowed to create a user with GRANT
1. 今天剛裝了mysql8.0.13，試着分配幾個賬號和權限，結果報錯： 2. 查資料得知mysql8的分配權限不能帶密碼隱士創建賬號了，要先創建賬號再設置權限 輸入命令：Grant all privileges on test.*
2020-03-04 01:33:52