原创 CDH管理頁面組件監控狀態顯示爲問號
解決辦法：重啓Cloudera Management Service組件 原因猜測：該組件包含角色各種Monitor、Publisher、Event Server、Reports Manager等等，可能是在啓動之初這些組件存在問題，導致組
2024-05-07 13:40:00
原创 Java連接kubernates集羣最優雅的兩種方式
創建maven工程，pom.xml中引入連接k8s的客戶端jar包： <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.tar
2024-01-31 13:41:08
原创 hadoop-3.0.0-cdh6.3.2源碼編譯實踐
1.編譯過程 參考：https://blog.mygallop.cn/2020/10/centos/hadoop-cdh6-compile/ 2.問題記錄 CDH6.3.2 Hadoop源碼位置發生變化，新地址爲https://githu
2022-09-21 13:45:01
原创 使用Fiddler複製並轉發http響應數據
1.安裝Fiddler 略 2.編輯FiddlerScript，增加攔截判斷 Goto OnBeforeResponse，跳轉到指定函數，在函數中添加攔截某些http代碼，如下。 if (oSession.fullUrl.C
2022-06-26 14:10:33
1
原创 window下部署單機hadoop環境
window本地部署單機hadoop，修改配置文件和腳本如下，只記錄關鍵配置和步驟，僅供參考 hadoop-2.6.5 spark-2.3.3 1.配置文件core-site.xml <configuration> <prope
2022-06-19 13:39:57
原创 Spark源碼修改環境搭建
過程中存在問題： maven編譯scala工程報錯java.lang.NoClassDefFoundError: scala/reflect/internal/Trees，解決方案看maven編譯 1.新建Maven工程sparkdem
2022-06-19 13:39:57
原创 Exception message: CreateSymbolicLink error (1314): ???????????
window下運行任務報錯：Exception message: CreateSymbolicLink error (1314): ??????????? 報錯信息如下： Diagnostics: Exception from contai
2022-06-19 13:39:57
原创 window hadoop yarn任務執行失敗：ExitCodeException exitCode=-1073741515
環境 window server 2019 單機版hadoop3.3.1 和 winutils.exe 異常 winutils.exe task create -m -1 -c -1 continer_2123_231 cmd /c "
2021-11-26 13:08:35
1
原创 spark讀取空orc文件時報錯java.lang.RuntimeException: serious problem at OrcInputFormat.generateSplitsInfo
問題復現： G:\bigdata\spark-2.3.3-bin-hadoop2.7\bin>spark-shell 2020-12-26 10:20:48 WARN NativeCodeLoader:62 - Unable to lo
2020-12-26 13:08:49
8
原创 搭建私有倉庫Registry（Docker Hub）
搭建私有倉庫Registry（Docker Hub） 安裝Docker 拉取倉庫鏡像：# docker pull registry 生成認證certificate mkdir ~/certs openssl req -newke
2020-12-26 13:08:49
原创 使用JAAS文件登陸kerberos（zookeeper）
Kerberos 5 Configuration Since the SPNEGO mechanism will call JGSS, which in turns calls the Kerberos V5 login module to
2020-12-26 13:08:49
原创 Hadoop3 No FileSystem for scheme "hdfs"
Hadoop3 No FileSystem for scheme "hdfs" 異常信息： org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for sch
2020-12-26 13:08:49
3
原创 使用Dockerfile安裝R語言鏡像
Dockerfile: FROM centos7 WORKDIR /opt/mids/ COPY Miniconda3-latest-Linux-x86_64.sh . RUN sh Miniconda3-latest-Linux-x
2020-12-26 13:08:49
9
原创 使用Miniconda安裝R語言環境
使用Miniconda安裝R語言 下載Miniconda3-latest-Linux-x86_64.sh 靜默安裝 sh Miniconda3-latest-Linux-x86_64.sh -b -p /opt/mids/Minic
2020-12-26 13:08:49
原创 Spark3.0 preview預覽版嘗試GPU調用（本地模式不支持GPU）
Spark3.0 preview預覽版可以下載使用，地址：https://archive.apache.org/dist/spark/spark-3.0.0-preview/，pom.xml也可以進行引用，如下： <depen
2019-11-10 13:38:04