原创 如何在linux shell腳本中自動輸入密碼.
答案是需要通過expect 來實現。 【注意】如果沒有 expect ，需要預先安裝 [tony@pd2 ~]$ yum info expect Loaded plugins: fastestmirror Repodata is over
2020-06-26 17:07:16
10
原创 python面向對象代碼示例
以python2.7爲例說明 【示例一】指定調用哪個類實例的函數 >>> class Foo(object): def func(self): print "foo's function"
2020-06-26 17:07:05
原创 python函數式編程示例
# 下面的例子是關於調用“從未在類中定義過的函數” >>> class X(object): def __init__(self, arg1, arg2): self.a1 = arg1
2020-06-26 17:07:04
原创 Pinpoint部署和踩坑記錄
pinpoint是韓國人開源的 APM (Application Performance Management/應用性能管理)工具 - Pinpoint。它基於google Dapper開發，目標就是爲n(n>=1)層架構開發新的跟蹤平臺
2020-06-26 17:07:04
14
原创 遷移hbase的快照到新集羣后RegionServer無法啓動,報錯failed open of region
錯誤日誌摘要：2018-03-12 17:05:29,608 ERROR [RS_OPEN_REGION-our_ambari_clustergn-a05044c6-core-1-003:16020-15] handler.OpenReg
2020-06-26 17:07:04
原创 解決Yarn頁面的Unhealthy Nodes問題
【第一部分】 【現象】查看到yarn監控頁面上有十幾個Unhealthy 節點，分別進去Unhealthy Nodes查看各個目錄的佔用磁盤情況，發現是HDFS的有關目錄佔用過多了，這是因爲有很多臨時文件佔用了Hdfs。 tmp_
2020-06-26 17:07:03
原创 跨集羣hive批量建表
【需求】 在集羣A建表，需要同步到集羣B並修復歷史分區。表用到的數據源在雲上。 【操作過程】先在老集羣A中獲取指定表的建表語句，把建表語句放到文件中，再把該文件發送到B集羣中，最後用hive -f 執行該文件即可在B集羣批量建表。
2020-06-26 17:07:03
原创 高可用redis集羣搭建
在web項目裏出現高併發時，可以通過負載均衡來處理，redis的插槽分配機制就是一個負載均衡的模式。 Redis集羣節點複製介紹 （1）Redis集羣的每個節點都有兩種角色可選：主節點master node、從節點slave no
2020-06-26 17:07:03
原创 在shell腳本中登錄Mysql並執行SQL語句
有一個需求是，自動刪除MYSQL中的過期數據，只保留最近一週的數據。 在shell腳本中登錄Mysql並執行SQL語句，示例代碼如下： #!/bin/bash # get 7 days ago according to inpu
2020-02-21 09:43:55
原创 [hbase案例]從冷備份的hdfs數據中恢復到原來的hbase表
【hadoop版本：2.7.1 ；hbase版本：1.1.2】 之前我已經在關閉整個hbase集羣時，通過hadoop distcp對本集羣的hbase指定表數據做了個全量冷備份，那麼這次要從已有的全量備份文件中恢復hbase數據，需要三
2020-02-21 09:43:55
原创 hive查詢count(*)出錯tez.runtime.io.sort.mb及其解決辦法
【運行環境】hadoop-2.7.3 hive-1.2.1 Tez-0.7.0有關Apache Tez的簡介：Tez is the next generation Hadoop Query Processing framework w
2020-02-21 09:43:55
3
原创 處理hive告警:Insufficient space for shared memory file
【問題描述】突然收到告警短信，大概說HIVE的元數據存儲遇到問題# Ambari上的hive Alert正文摘要 File "/usr/lib/python2.6/site-packages/resource_management/co
2020-02-21 09:43:55
2
原创 如何用Nginx+Keepalived實現高可用的反向代理+負載均衡
keealived服務工作在3層(IP)、4層(TCP)、5(應用層) nginx通過Virtual IP對外提供www服務，能通過算法實現後端web服務的負載均衡 下列操作徐預先安裝tengine，或者nginx。 【第一部分】
2019-09-10 09:46:43
原创 使用vsFTP服務實現大數據的遠程災備
目 錄 [第一章] 安裝VSFTPD [第二章] 相關用戶的創建，以及用戶相關目錄和文件的創建 [第三章] VSFTP客戶端的使用 [第四章] 實施大數據文件的異地災備 業務需求：對雲主機的大數據做遠程災備（把雲主機上的數據
2019-06-10 20:36:44
原创 Pinpoint部署和踩坑記錄(1.7.3版)
集羣角色規劃 IP address Hostname Service 10.203.11.2 cdh-test-1-4 zk,nn1,zkfc,hmaster,pp_collector,pp_web 10.203
2019-06-10 20:36:44
8