原创 深入理解kerberos票據生命週期
查看當前服務器票據 [root@myrepo ~]# klist Ticket cache: FILE:/tmp/krb5cc_0 Default principal: [email protected] Valid star
2020-02-21 11:14:16
原创 Specified key was too long; max key length is 767 bytes
初始化azkaban數據庫時報這個錯誤，這個錯誤在初始化hive元數據時也會出現，老忘記，記錄下解決辦法 set global innodb_large_prefix=1; 索引長度超過了767就會報這個錯誤，默認情況下mysq
2020-02-21 11:14:16
1
原创 am-memory，driver-memory，executor-memory
先搞清幾個概念： spark 提交任務方式 spark 提交任務有兩種方式，一種是yarn-client，一種是yarn-cluster，這兩種方式的區別就是: yarn-cluster的ApplicationMaster在任一一
2019-10-25 19:16:55
原创 連續登錄天數計算
最近有個需求，計算用戶連續登錄的最大天數，先看下登錄日誌數據表hive.traffic.access_user只有兩個字段：uid，day;日期輔助表hive.ods.dim_date,這個表只有一個字段day； 先說下思路，
2019-09-26 18:02:18
原创 [Azkaban] Unable to get scheduled flow triggers問題解決
版本：3.77.0 如果網上搜這個問題，你會發現各種答案，但都不解決問題，額～～～ 解決辦法，刪掉executor選擇器的過濾條件：MinimumFreeMemory #Multiple Executor azkaban.use.
2019-09-15 18:38:07
56
原创 zeppelin集成openldap，以及admin用戶設置
之前寫過一篇文章集成FreeIPA，今天嘗試集成OpenLdap，出現了一些問題，這裏記錄下配置過程 修改zeppelin-site.xml <property> <name>zeppelin.anonymous.allowe
2019-09-05 18:32:08
31
原创 presto on yarn生產實踐
presto on yarn方案缺點 hadoop集羣的jdk版本過低無法滿足prestoserver需求 配置文件不易維護，特別是如果涉及多個hadoop集羣，這點在大公司很常見 hadoop集羣單獨團隊維護，自己沒有權限創建
2019-08-07 18:35:52
15
原创 ClickHouse高可用集羣
和一些在使用clickhouse的同學聊了下，有不少中小型公司使用的還是單機版，這點還是出乎意料；可能真的是因爲clickhouse秒天秒地的性能，加上數據量不大，數據恢復成本不高，纔出此策略； 入正題：今天嘗試搭建了一個2*2的
2019-07-30 19:20:25
2
原创 kudu異常：Server connection negotiation failed: server connection
異常信息：W0708 10:36:45.122157 16043 negotiation.cc:320] Unauthorized connection attempt: Server connection negotiation
2019-07-30 19:20:25
13
原创 clickhouse可視化Tabix,添加用戶密碼
Tabix安裝 官方提供了五種安裝方式，這裏我們介紹下Embedded和Local這兩種方式 Embedded 這種方式使用的clickhouse內置的服務，直接打開config.xml中http_server_default_r
2019-07-30 19:20:25
75
原创 clickhouse install on centos
下載clickhouse repo curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bas
2019-07-30 19:20:25
原创 hadoop集成kerberos後，報org.apache.hadoop.security.AccessControlException
報錯信息： [root@hadoop001 qun]# hdfs dfs -ls / 19/05/29 18:06:15 WARN ipc.Client: Exception encountered while connectin
2019-06-10 21:10:50
原创 Zeppelin集成Ldap(FreeIPA)
軟件版本： zeppelin：zeppelin-0.8.1-bin-all FreeIPA：4.6.4，安裝請參照：https://blog.csdn.net/woloqun/article/details/89980646 Ze
2019-06-10 21:10:50
原创 kerberos集成ldap
注意：在安裝過程中一定要注意目錄/var/lib/ldap和/etc/openldap/slapd.d這兩個目錄權限，集成過程中很多問題都是因爲這兩個目錄權限設置錯誤引起的；因爲安裝的時候需要使用root賬戶，生成的配置文件不經意
2019-06-10 21:10:50
原创 presto-0.219集成LDAP
presto 對jdk的版本比較高這裏我使用的是1.8.0_181，LDAP服務我這裏使用的是ApacheDS，ApacheDS的安裝參照：ApacheDS 安裝以及LDAPS配置（圖文）；需要注意的是presto集成Ldap只需
2019-06-10 21:10:49