原创 tomcat報：The valid characters are defined in RFC 7230 and RFC 3986
修改tomcat配置文件server.xml，在Connector配置項添加紅色標記部分 <Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000"relaxe
2020-07-03 23:39:55
原创 Hive自定義函數UDF在hue中或切換數據庫後無法查詢問題
當前庫有效：CREATE FUNCTION to_char AS 'com.creator.hive.udf.to_char' using jar 'hdfs://hacluster/user/hive_udf_jars/hive_udf
2020-07-03 23:39:55
原创 hue 連接hbase 2.0.2報錯：PopupException: Api Error: TSocket read 0 bytes
1、先要啓動 hbase thrift service，ambari HDP 默認沒有啓動hbase thrift，需要自己手動啓動。在HBase Master節點上執行： # su - hbase # /usr/hdp/current/
2020-07-03 23:39:55
15
原创 Hive Tez報錯：errorMessage=Cannot recover from this error:java.lang.OutOfMemoryError: Java heap space
ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex failed, vertexNa
2020-07-03 23:39:55
原创 ambari版本手動降級操作
導出ambari數據庫：pg_dump -h $ambari_db_host -p 5432 -U ambari ambari > /opt/backup_data/ambari.sql 降級版本：# yum downgrade amba
2020-07-03 23:39:55
1
原创 Ambari 2.7.4編譯報錯
[ERROR] Failed to execute goal com.github.eirslett:frontend-maven-plugin:1.6:webpack (webpack build) on project ambari-
2020-07-03 23:39:55
14
原创 hadoop 3.1.1集羣中安裝kylin 3.0.0啓用報錯
kylin版本：apache-kylin-3.0.0-beta-bin-hadoop3 HDP版本：3.1.0.0 1、Permission denied: user=root, access=WRITE, inode="/kylin":
2020-07-03 23:39:45
13
原创 大數據分析工程師，從零入門，技術棧選型（一）
一、基本技能樹： 二、技術棧選型（個人）： Excel+SPSS+SQL+Python+PPT+Tableau（數據可視化工具，同類BI產品如帆軟FineBI）
2020-07-03 23:39:45
1
原创 Ambari 2.7.3安裝Oozie報錯org.apache.catalina.mbeans.ServerLifecycleListener
/usr/hdp/3.1.0.0-78/etc/oozie/tomcat-deployment.http/conf/ssl/server.xml /usr/hdp/3.1.0.0-78/etc/oozie/tomcat-deploymen
2020-07-03 23:39:45
原创 hue 配置 sparksql連接報錯：Missing Required Header for CSRF Vulnerability Protection
原因：ambari後臺需修改spark2配置參數livy.server.csrf_protection.enabled設置爲false，重啓服務
2020-07-03 23:39:44
原创 醫療Presto和GreenPlum選型測試報告
注：數據儘可能模擬現場，環境親手搭建，測試結果真實有效，轉載請註明版權所有—作者：周源（網名 源神） 醫療Presto和GreenPlum選型測試報告 測試背景 本次測試針對現有Oracle(12c)、Hive(3.1.0)、SparkS
2020-07-03 23:39:44
4
原创 Flink 1.10.0應用場景，kakfa->flink->kafka/mysql/es/hive/hdfs
Flink 1.10通過開發將Hive集成到Flink，可用於生產環境。 Flink 1.10.0 部署文檔：https://blog.csdn.net/RivenDong/article/details/104416464 應
2020-04-24 10:34:13
原创 TiDB插入報錯：transaction too large, len:300001
TiDB對事務的大小做了限制： 單條 KV entry 不超過 6MB KV entry 的總條數不超過 30w KV entry 的總大小不超過 100MB 解決辦法： set @@session.tidb_batch_inse
2020-02-25 20:23:01
4
原创 Anaconda3（python3.7）環境遷移離線部署
將已部署好的/root/anaconda3/envs/python37虛擬環境的目錄打包爲python37.tgz，進入目錄： # cd /root/anaconda3/envs/ # tar cfz python37.tgz pytho
2020-02-21 20:26:29
原创 ambari 2.7.3通過hdfs超級用戶，來爲普通用戶分配訪問hive權限
sudo -u hdfs hdfs dfs -setfacl -m user:root:rwx /warehouse/tablespace/managed/hive 選項： -b: 刪除基本ACL條目以外的所有條目。保留用戶，組和其他條目
2020-02-21 20:26:28