原创 cdh6.3.2 環境變量配置
# /etc/profile # System wide environment and startup programs, for login setup # Functions and aliases go in /etc/bas
2020-05-19 15:29:50
原创 spark向hbase寫入數據報錯：tried to access method com.google.common.base.Stopwatch.()V from class...
問題描述 spark向hbase寫入數據時拋出的報錯，實現代碼轉：https://blog.csdn.net/qq262593421/article/details/105969665 "C:\Program Files\Java\jd
2020-05-13 15:59:24
原创 spark操作hbase的兩種方法
添加數據之前先 create table create 'student','cmf1','cmf2','cmf3' 1、RDD[(String,String)]類型添加 package com.xtd.hbase import
2020-05-08 14:38:01
原创 Win10安裝Hadoop3.0.0
目錄 一、下載hadoop3.0.0 二、下載winutils工具 三、配置環境變量 四、配置Hadoop 五、執行腳本文件 六、訪問地址 七、注意事項 一、下載hadoop3.0.0 下載地址：http://archive.apach
2020-05-05 23:02:56
原创 Linux 查看CPU核心數、內存大小和硬盤分配
1、Linux 查看CPU核心數 cat /proc/cpuinfo | grep "model name" && cat /proc/cpuinfo | grep "physical id" 2、 Linux查看內存大小 ca
2020-05-04 14:25:28
1
原创 spark 操作 MySQL數據庫
pom.xml：https://blog.csdn.net/qq262593421/article/details/105769886 SparkJDBCExample.scala package com.xtd.spark.imooc
2020-04-29 07:13:55
原创 IDEA 編寫 第一個spark項目
scala 2.11.12 下載：https://www.scala-lang.org/download/ scala 2.11.12（Linux）：scala-2.11.12.tgz scala 2.11.12（windows）：sca
2020-04-28 04:13:03
原创 CDH spark submit error：Can't create directory Permission denied
問題描述 cdh系統重新 配置之後，發現spark任務提交失敗，報錯信息是本地目錄創建的權限問題 Can't create directory Permission denied 問題解決 在yarn配置中搜索 cgroup，把“始
2020-04-28 04:13:03
1
原创 spark2.4.0 scala2.11.12 Maven構建 pom.xml
reference case：https://blog.csdn.net/qq262593421/article/details/105768404 Maven search：https://search.maven.org/ <?xm
2020-04-28 04:13:03
原创 Linux 安裝 scala2.12.11
目錄 一、下載scala安裝包 二、上傳安裝包到Linux 三、解壓scala安裝包 四、創建軟鏈接 五、配置環境變量 一、下載scala安裝包 Linux：scala-2.12.11.tgz window：scala-2.12.11.
2020-04-24 08:07:45
原创 windows安裝cygwin，再也不用開虛擬機練習Linux命令了
目錄 一、Cygwin 下載 二、Cygwin 安裝 三、配置環境變量 四、cmd命令測試 五、注意事項 前言 什麼是cygwin？ cygwin大量GNU和開源工具的集合，它們提供的功能類似於Windows上的Linux發行版。 一個
2020-04-22 21:33:49
原创 CDH6.3.2 Maven Repository: report
CDH 6.3.2 The following table lists the project name, groupId, artifactId, and version required to access each CDH ar
2020-04-21 18:15:22
1
原创 cdh6.3.2 oozie HA 高可用配置
目錄 1、配置 Oozie Load Balancer 2、配置 Oozie Load Balancer HTTP、HTTPS Port 3、配置 ozie-site.xml 文件 4、啓用 High Availability （Oozi
2020-04-21 18:15:22
1
原创 CDH hadoop生態的所有組件路徑
目錄 一、CDH自身組件 1、cloudera-scm-server 2、cloudera-scm-agent 二、Hadoop生態組件 1、hadoop 2、hive 3、hbase 4、zookeeper 5、spark 三、CDH
2020-04-14 04:46:59
2
原创 大數據入門之 ssh 免密碼登錄
目錄 1、ssh-keygen生成公鑰和私鑰 2、查看生成的公鑰和私鑰 3、將公鑰發到其他主機上 4、給~/.ssh和authorized_keys賦予權限 5、ssh 遠程連接到各個節點 6、配置錯誤如何重新配置 1、ssh-keyge
2020-04-11 06:24:33