原创 unable to find encoder for type stored in a Dataset
//使用sparksession創建DataFrame val userAcessLogRowDF = sparkSession.createDataFrame(userAcessLogRowRDD,structType) //正式
2020-06-11 08:31:08
原创 Hue:安裝之後mariadb與mysql衝突問題解決
1.下載並安裝MySQL官方的 Yum Repository 1.下載mysql的yum repository wget -i -c http://dev.mysql.com/get/mysql57-community-release-
2019-07-06 07:15:16
6
原创 flume+hbase,自定義hbase-sink，hive集成habase
1.編寫flume-hbase.conf a1.sources=r1 a1.channels= hbaseC a1.sinks= hbaseS2 a1.sources.r1.type = avro a1.sources.r1.bind =
2019-07-05 06:10:40
3
原创 Maven打包，可以打2個jar包，包含依賴包和不包含依賴包
<build> <sourceDirectory>src/main/java</sourceDirectory> <testSourceDirectory>src/main/java</testSourceDirecto
2019-07-03 06:43:52
原创 Mac os安裝cent os7無法ping通主機
直接上圖吧，1.先看看Mac主機的ip吧 2.修改虛擬機的ip，vi /etc/sysconfig/network-scripts/ifcfg-ens32 3.重啓網卡，可以看出虛擬機和主機的網關和子網保持一致，兩者的ip在同一個網段
2019-06-19 06:46:51
5
原创 /var/lib/mysql/localhost.localdomain.pid【mysql服務啓動出錯】
centos 7安裝mysql-5.6.36 mysql安裝過程見：https://blog.csdn.net/qq_31073717/article/details/80635037 1.啓動mysql提示出錯 ./mysql star
2019-06-17 07:20:09
2
原创 spark：java.lang.UnsupportedOperationException: loadTable is not implemented
java.lang.UnsupportedOperationException: loadTable is not implemented at org.apache.spark.sql.catalyst.catalog.
2019-04-17 06:55:37
7
原创 Dataset寫Hive表報錯：Cannot create hive serde table with saveAsTable API;
原因是DataFrame API和Hive API不兼容，網上有Scala版本的解決辦法https://www.jianshu.com/p/a91368a33a31。但是java版本的還不知道怎麼解決。 Dataset goodstud
2019-04-11 06:32:22
原创 hive報FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
hive可以進行如select * from t;簡單查詢；一旦進行如select count(*) from t;就報錯Execution Error, return code 2 from org.apache.hadoop.hive
2018-09-04 22:28:47
7
原创 論文、專利（初稿原創未投版）轉讓
研究方向爲石墨烯材料方向，調製器方向，吸波器方向，等效電路方向等可以看看。目前有兩篇英文小論文，一篇專利，都是原創，還沒有投稿，準備轉讓出去，感興趣的小夥伴可以看看。有需要的請留言。
2018-09-04 22:28:46
1
原创 hadoop-2.x安裝一套完整教程，親自測試可行
1.準備Linux環境 1.0先將虛擬機的網絡模式選爲NAT 1.1修改主機名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast #
2018-09-04 22:28:46
4
原创 azkaban的web-server啓動失敗 [Azkaban] plugin path plugins/triggers doesn't exist!
啓動azkaban時出現如下問題： 但是jps發現server啓動了 這是什麼情況。executor可以正常啓動 但是瀏覽器無法訪問（https://192.168.1.11:8443）,是什麼問題呢？ 主要問題出現在the
2018-09-04 22:28:46
59
原创 centos-6.x安裝Mysql教程及出現的錯誤解決方法
1.安裝準備 ，查看是否有自帶的MySql 庫，如果先有卸載先解壓軟件：MySQL-5.6.36-1.linux_glibc2.5.x86_64.rpm-bundle.tar [root@mini1 ~]# rpm -qa | gre
2018-09-04 22:28:45
2
原创 Linux下大數據相關軟件分析，不定時更新
鏈接：https://pan.baidu.com/s/1BQd3I7NDXT0vGLnPjpFqWA 密碼：t6xy
2018-09-04 22:28:45
1