原创 一次yarn服務unhealthy狀態處理
自從hadoo集羣新加了9個節點之後，有時候發現yarnweb頁面有1個或者幾個unhealthy狀態的節點，但是過一會又正常了，但這種狀態經常引起後臺的監控的報警。查看了異常節點的日誌顯示如下yarn的本地日誌目錄使用超過了90%，然後d
2019-07-28 13:40:28
2
原创 shell基礎第四題
對日誌進行篩選假如日誌的格式如下：以IP開頭需要篩選出IP並統計數量x.x.x.x - bkljkl+flkdjjjx.x.x.x -lglk +gkljmfklh awk 命令打印出第一段IP地址-F 以指定分隔符，如果不指定默認就以空
2019-06-21 13:53:44
原创 R數據框操作 fourth day
#導入數據集install.packages("readxl")library(readxl)tianmao<-read_excel('tianmaoTV.xlsx',skip =1 )#創建新變量tianmao['total_sales'
2019-06-21 13:53:44
原创 R 複雜數據類型third day
#矩陣是將R行和列組成的數組 數據元素要求是同一種類型函數：matrix data 矩陣的元素向量的形式 nrow 行數ncol 列數byrow 是否按照行排列 默認是列排序 true 按行 false 按列dimnames
2019-06-20 13:33:48
1
原创 R基礎數據類型2DAY
1、向量 有序 向量的元素有對應的位置 下標從1開始元素類型統一常用的數值、字符，邏輯值num1<-c() 函數把元素變成數值或者列表num2<-1:10 字符型向量創建char<-c('a','b',"c") 字符型需要加引號 單
2019-06-19 13:38:27
原创 每天一個shell腳本
1.要求每天生產一個日期文件，例如2018-08-18.log文件，並把磁盤的使用情況寫到這個文件中，（暫時先不添加定時任務） 日期命令date 常用參數:date +%Y-%m-%d 年月日 也可以寫爲date+%Fdate -d 指
2019-06-19 13:38:27
原创 R語言可視化one-day
R和Rstudio 介紹Rstudio界面介紹基礎操作編輯器實現代碼不全 更有效率 用戶更專注於報告撰寫 數據分析操作是Rstudio 實際執行是R 函數 getwd() 查看當前的工作路徑保存代碼 命令交互式運行窗×××互式控
2019-06-18 13:40:56
5
原创 python學習筆記1
shell 負責簡單的系統管理工具做運維自動化還是python滿足大部分自動化需求，又能做C/S架構 又能用WEB 框架快速開發出高大上的web界面高薪 python流行比較快linux windowsmac 查看Linux python
2019-02-22 22:04:15
原创 負載均衡集羣介紹
網絡七層模型nginx 可以根據目錄名字確定 NAT模式 當訪問量很大是是一個瓶頸 NAT請求量不能太大 十幾臺左右一個公網IP 配置在load balancer上面load balancer分發器 VIP 公共的IP IP tunne
2019-02-22 22:04:15
原创 python 學習筆記2
python 中文編碼python默認的編碼格式是ASCII格式，在沒修改格式編碼時無法正確打印漢字。解決方法只要在開頭加入#conding=utf -8[root@qiaolinux-02 python]# python 1.py Fil
2019-02-22 22:04:15
原创 shell函數
shell函數function可以省略執行編輯執行編輯執行之後 顯示的是fun1.sh的 參數定義一個加法的函數執行顯示IP數組元素打印數組元素獲取數組元素的個數定義元素 元素賦值 更改替換刪除元素unset數組分片seq 表示截取元素數組
2019-02-22 22:04:15
原创 mysql架構
網站訪問量日pv量級在1w以下mysql主從主從複製是Mysql內建的複製功能，它是構建高性能應用程序的基礎，技術成熟，應用也很廣泛。其原理就是通過將Mysql主庫的sql語句複製到從庫上，並重新執行一遍來實現的。複製過程中主庫將更新寫入二
2019-02-22 22:04:15
原创 告警系統
郵件腳本 放到/mail/mail.pygserver 發郵件的服務 mail.sh 收攬時間控制腳本t_s 當前時間的時間戳t_s2 兩個小時以前的時間戳差值大於兩個小時 判斷log 是否存現 然後把時間戳寫到日誌裏面大於3600然後發
2019-02-22 22:04:15
1
原创 監控
zabbix 比nagios 配置更方便C/S架構zabbix 監控流程安裝zabbixagent 客戶端 get服務端的工具 安裝相關包啓動mysqletc/my.cnf編輯配置文件設置默認的字符集創建庫和用戶導入數據解壓導入數據za
2019-02-22 22:04:15
原创 mysql 主從介紹
binlog 文件記錄日誌 是一個二進制文件主上需開啓binlog 才能開始主從relaylog 終進日誌 應用場景 做一個數據的備份 1.主做讀寫操作 假如硬件損壞 可以立即提供服務
2018-09-11 08:46:19
3