一、四點
1.metastore
2.mysql
3.Inceptor server
4.ldap
二、日誌收集
1.Inceptor server & metastore 日誌
2.Inceptor server & metastore jstack/jstat/jmap日誌
三、常見問題
1.Inceptor server異常停止
2.Inceptor full gc
a.小文件 map*reduce 數量太多
b..長sql
c.分桶過大
d.jstack jmap
sudo -u hive /usr/java/latest/bin/jstack 9150
-- jmap
sudo -u hive /usr/java/latest/bin/jmap -histo:live 56 > /var/log/inceptor1/jmap_histo.log
-- dump
sudo -u hive /usr/java/latest/bin/jmap -dump:live,format=b,file=/var/log/inceptor1/jmap_dump.log 58
e.hive-server2.log
gc jvm
f.sql
udf 窗口函數 group by
g.org.apache.hive.service.cli.session.HiveSessionImpl session泄露 ，這個的個數 如果超過500 一般就疑似泄露了
3.Inceptor executor重啓
4.beeline登錄超時/超慢
四、必知必會
1.如何查看metastore的主備？
cat /etc/inceptor1/conf/hive-site.xml | grep uris
2.如何查看Inceptor的連接數
netstat -an | grep 10000 | wc -l
3.怎麼修改最大併發數？
hive.metastore.server.max.threads
4.怎麼判斷metastore連接數達到上限？
pdsh -R ssh -w 11.1.110.2 cat /var/log/inceptor1/hive-metastore.log | grep rejected
|
|