原创 kafka producer無法將數據寫入broker
錯誤結果：kafka producer無法將數據寫入broker 錯誤報錯： 1.log4j DEBUG報錯： 2017-01-11 17:09:07,429 [Thread-0] [kafka.producer.as
2020-06-08 15:25:15
原创 CDH6 parcel包激活失敗回退
CDH的parcel包在安裝、分發、激活過程中如果失敗，CM是不支持過程回滾的，會直接卡死在失敗位置，但是官方提供了API接口，可以進行回滾，詳細API見 具體操作： cmd進入本機命令行，輸入 curl -u user:you
2020-05-15 00:11:42
原创 canan admin1.1.4搭建
–canal server安裝 1.下載安裝包 canal.deployer-1.1.4.tar.gz https://github.com/alibaba/canal/releases 2.解壓 進入安裝目錄：cd /usr
2020-05-15 00:11:42
原创 clickhouse集羣模式搭建
clickhouse server安裝 1.檢查是否支持SSE 4.2： grep -q sse4_2 /proc/cpuinfo && echo “SSE 4.2 supported” || echo “SSE 4.2 not
2020-05-15 00:11:42
1
原创 hdfs優化
hdfs的優化主要包括兩方面： 一、hdfs本身的優化，常見項有 1.1 文件塊block的大小設置： (1). 數據塊的備份數（複製因子，默認3） (2). HDFS數據塊的大小,默認值是128M（hdfs的大小應當根據兩個因素
2020-04-13 20:44:59
原创 eclipse workspace無法更改
問題：eclipse workspace已經在preferences–startup and shutdown–workspace–prompt for workspace on startup 中進行了設置，但是每次打開ec
2018-08-31 09:59:29
原创 Collcition的作用及意義
線性表，鏈表，哈希表是常用的數據結構，在進行Java開發時，JDK已經爲我們提供了一系列相應的類來實現基本的數據結構。這些類均在java.util包中。本文試圖通過簡單的描述，向讀者闡述各個類的作用以及如何正確使用這些類。 Colle
2018-08-31 09:59:29
原创 sprak報錯
WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that work
2018-08-31 09:59:26
原创 java中什麼叫迭代，什麼叫迭代器
迭代 通俗點說 叫 一個個數過去， 實現這樣一個個數過去功能的東西，叫迭代器。 java迭代器 較多使用在容器中，如數組鏈表 ArrayList(反正就是能裝東西的玩意兒) 舉個例子： //我們先往鏈表中裝東西 ArrayList a
2018-08-31 09:59:26
原创 truffle.js 'module' 未定義 運行時錯誤
最近再學習truffle，再進行Truffle 配套 Ganache進行開發時，執行truffle的所有命令時都會報一個truffle.js ‘module’ 未定義的錯誤，經查詢這是truffle在Windows 上面的一個BUG，Wi
2018-08-31 09:59:26
5
原创 影響Linux YUM下載軟件以及依賴包的因素
最近來到公司，重新裝了一邊CDH hadoop集羣，中間出現了很多問題，最多的報錯便是，無法解析鏡像文件，折騰了很多地方，查了很多資料 現在發現，主要就兩個方面對YUM影響比較大 一 鏡像源 原來是contes 系統自帶的鏡像源，但
2018-08-31 09:59:26
原创 本機使用無線WIFI時，虛擬機網絡設置方式
當宿主機使用的是WIFI時，虛擬機不能選擇NAT模式（或許可以，但是我好久也沒解決），選擇橋接模式是最快、最簡單的方式 1.虛擬機設置裏面網絡適配器選擇橋接模式 2. edit——虛擬機網絡編輯器——VMNET0 選擇橋接模式
2018-08-31 09:59:26
原创 Spark核心RDD：combineByKey函數詳解
rigidwang spark之combineByKey combineByKey def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, merge
2018-08-31 09:59:23
原创 SPARK官方文檔中文翻譯
Spark版本：1.6.0 轉載請註明出處：http://www.cnblogs.com/BYRans/ 1 概述(Overview) 2 引入Spark(Linking with Spark) 3 初始化Spark(Initiali
2018-08-31 09:59:22
原创 怎樣在java代碼中調用執行shell腳本
// 用法：Runtime.getRuntime().exec("命令"); String shpath="/test/test.sh"; //程序路徑 Process process =null;
2018-08-31 09:59:22