原创 Hadoop namenode無限重啓故障
中午接到一個同事的消息，說一個有200多個dn節點的集羣（CDH）hive沒辦法創建分區了。重啓了多次，都沒有效果。後來發現namenode也一直出現故障。 收到消息，就聯機上去看了一下，果然hive的命令全部都掛起來了，hadoop f
2020-07-08 06:39:18
3
原创 HBase的數據熱點和Hbase常見避免熱點問題的方法
只要使用過，聽說過HBase的人，我想對HBase的數據熱點想必也不會陌生。 數據熱點是如何出現的，這得從HBase的存儲結構說起，對於HBase詳細的存儲結構可以上網搜一下，這裏就不補充了。 我們只需要知道，我們的HBase的表會被劃分
2020-06-19 13:15:11
11
原创 HDFS JournalNode 故障
某天凌晨四點左右，HBase RegionServer 宕機自動拉起，查看日誌發現是HDFS 在進行HA切換，15次重試仍連不上可寫的active，於是掛了。所以根本問題是hdfs。 日誌定位 通過日誌定位，發現JournalNo
2020-06-19 10:47:10
1
原创 CoreDNS：Kubernetes內部域名解析原理、弊端及優化方式
Kubernetes 中的 DNS 本篇主要儘可能詳盡的說明 Kubernetes 的DNS解析原理，以及 Kubernetes 集羣中 DNS 解析目前存在的弊端和優化方式。 在 Kubernetes 中，服務發現有幾種方式： ①：基於
2020-06-19 10:47:10
5
原创 Hadoop日誌按天分割和開啓審計日誌
Hadoop日誌按天分割和開啓審計日誌 日誌按天分割 hadoop 各個組件默認日誌是大小分割的，到一定大小就分割出 .1 .2 .3 .4這樣的文件，這樣我們在查找問題的時候不是好定位你要的那天日誌在哪個文件中。要是一天一個文件，按照日
2020-06-19 10:47:10
4
原创 SecureCRT中文亂碼問題完美解決
使用SecureCRT的時候，發現中文一直是亂碼： 上網搜查時編碼問題，於是就把編碼改爲了UTF-8: 然而並沒有解決問題，中文變成了？： 編碼修正後，還是不行，點擊Font,發現字符集是西文，馬上修改成中文GB2312 確定保存
2020-06-13 21:18:54
原创 Cloudera 主機時鐘偏差完美解決方案
CDH 集羣需要保持各節點時間同步，需要在每個節點配置 NTP 時間同步服務 1、集羣配置 NTP 主從時間同步服務 安裝 NTP yum install -y ntp 配置 /etc/ntp.conf 參數ntp 時鐘服務節點：在
2020-06-03 00:27:31
原创 mysql登錄報錯：mysql: error while loading shared libraries: libncurses.so.5:
系統是amazon linux 2，安裝完mysql之後，mysql命令登錄不成功，報錯：mysql: error while loading shared libraries: libncurses.so.5: cannot open
2020-06-01 23:26:23
原创 Seafile完整部署文檔
Seafile部署文檔 系統：centos7.6 要求：使用nginx反向代理+https 1關閉防火牆、Selinux 2. 安裝Seafile依賴項 2.1 在CentOS服務器上安裝EPEL存儲庫 # yum -y install
2020-05-30 21:28:15
原创 假如Kafka集羣中一個broker宕機無法恢復, 應該如何處理?
今天遇到這個問題, 網上資料說添加新的broker, 是不會自動同步舊數據的. 笨辦法 環境介紹 三個broker的集羣, zk,kafka裝在一起 | broker | IP | broker.id | |---------|----
2020-03-14 23:02:45
原创 linux環境下時區無法設置(Asia/Shanghai (UTC, 0000))的問題解決
在進行linux下修改時區的時候 總是修改不了 修改成 Asia/Shanghai 但是 時區總是 +0000 卻不是想要的+0800 按照網上的方法 A : tzselect：執行tzselect命令-->選擇Asia-->選擇C
2019-10-25 18:29:53
原创 nginx 的 default_server 定義及匹配規則
ginx 的 default_server 指令可以定義默認的 server 去處理一些沒有匹配到 server_name 的請求，如果沒有顯式定義，則會選取第一個定義的 server 作爲 default_server。 在瞭解到如上規
2019-08-02 17:55:17
4
原创 Redis 持久化之RDB和AOF
Redis 有兩種持久化方案，RDB （Redis DataBase）和 AOF （Append Only File）。如果你想快速瞭解和使用RDB和AOF，可以直接跳到文章底部看總結。本章節通過配置文件，觸發快照的方式，恢復數據的操作，
2019-08-02 17:55:17
原创 Hive高級優化
1，FetchTask 不執行mapreduce，提高速度 設置的三種方式： 方法一： set hive.fetch.task.conversion=more; 方法二： bin/hive --hiveconf hive.fetch.
2019-06-21 02:56:14
原创 CDH 維護日誌，集羣查看
1 Hbase日常運維 aA 1.1 監控Hbase運行狀況 1.1.1 操作系統 1.1.1.1 IO a. 羣集網絡IO，磁盤IO，HDFS IO IO越大說明文件讀寫操作越多。當IO突然
2019-06-10 20:09:58