原创 logstash 數據重複問題
logstash 將多個配置文件放在同一個目錄中啓用一個logstash 實例，logstash 默認會簡單的將配置文件組裝在一起，如果你的輸出是一樣的配置，你有幾個配置文件就會有幾次相同的輸出，輸出的數據完全一樣ID不一樣，遇到這種情況第
2019-04-20 12:58:10
31
原创 Mysql主從同步
什麼是Mysql 主從同步 ？ 從庫同步主庫上的數據，（讓其他數據庫服務器自動同步當前正在被訪問的數據服務器上的數據） 主從同步的結構類型 1主------>1從 （常用） 一臺主服務器（負責業務更新）一臺從服務器 1主-------
2019-02-23 00:00:18
原创 說說http/webserver/fastcgi/php-fpm
前一段時間又重讀了《HTTP權威指南》一書，覺得有一些理論知識還是蠻重要的，需要進行一番整理，讓自己之後對整條web鏈路有個更清晰的認識。一：Http請求：當用戶打開瀏覽器並輸入一串url地址時，到最終頁面內容呈現在用戶眼前時，這之間的步驟
2019-02-23 00:00:18
1
原创 mysql的基本數據類型
mysql數據庫使用數據類型有 數值類型 整數類型tinyint 佔用1個字節的微小整數 默認是有符號的整數 取值範圍是-128-127 如果需要設置成無符號微小整數需要在類型後面加上unsigned關鍵字 無符號的取值範圍是
2019-02-23 00:00:18
原创 LINUX 根據 /proc/stat 文件計算cpu使用率的shell腳本
#!/bin/sh #腳本功能描述：依據/proc/stat文件獲取並計算CPU使用率 #CPU時間計算公式：CPU_TIME=user+system+nice+idle+iowait+irq+softirq #CPU使用率計算公式：cpu
2019-02-14 12:54:31
15
原创 大數據環境下，我們被賣了一次又一次
大數據，人工智能是當下互聯網最熱門的話題。 拋開大數據的人工智能都是耍流氓，人工智能需要大數據作爲基礎支持。 大數據是1980年,著名未來學家阿爾文·托夫勒便在《第三次浪潮》一書中,將大數據熱情地讚頌爲“第三次浪潮
2018-12-16 12:52:55
原创 像shell數組追加元素的小技巧
因爲shell 數組沒有追加函數可以利用數組的長度來追加元素獲取數組的長度：${#arr[*]} arr[${#arr[*]}]=追加的元素 for var in ${arr[@]} do echo "打印的內容："$var done
2018-12-07 13:51:36
12
原创 連接vsftpd報錯200 Switching to ASCII mode.
200 Switching to ASCII mode.550 Permission denied.最後發現是passive模式沒有開啓passvie模式開啓辦法編輯配置文件將pasv_enable 的值設爲YES，並配置被動模式的端口範
2018-11-21 02:52:46
原创 MYSQL 去除表中重複數據
先複製出原表CREATE TABLE 新表 SELECT * FROM 舊錶; 清空原表DELETE FROM 舊錶; 複製去重後的數據回新表INSERT INTO 舊錶 SELECT [所有字段] FROM 新表 GROUP BY [所
2018-11-16 02:03:07
原创 mysql授權管理
數據庫的安全的重要性就不需要我來贅述了。除了做好安全備份外，我們首先要做的是做好我們數據庫的權限控制，儘量保護我們的數據庫不被******。本文主要講的是mysql數據庫的權限管理 ,在當前網絡環境中互聯網公司中的關係型數據庫大多采用的是m
2018-09-11 02:08:14
原创 python 簡單監控內存/硬盤空間/以及oracle表空間使用情況
由於使用的是內網環境，所以使用用戶名密碼驗證，建議使用密鑰認證check.py import paramiko #獲取ssh連接並執行shellcomand返回正確的結果 def doshell(hostname,port,username
2018-09-11 02:08:14
原创 Linux redhat 7 nginx 優化 配置
nginx基本配置 nginx （engine x） 是一款由俄羅斯人開發的一款開源的web服務器軟件，nginx可以作web服務器支持html和php，nginx還可以做反向代理、負載均衡nginx 採用源碼包安裝 nginx-1.8.1
2018-09-11 02:08:14
原创 關於rsync共享服務的幾個常見錯誤
一直覺得rsync是個配置很簡單的服務軟件，今天需要搭建一個rsync服務出現了一些小問題，特意寫下接下來的內容首先在服務器上搭建rsync`#yum -y install rsync``修改配置文件 /etc/rsyncd.conf 在尾
2018-09-11 02:08:14
原创 python 3.x 分析日誌的模塊（正則匹配）
#導入正則模塊 import re auth="no_shutdown_" ''' 分析日誌的模塊，查找日誌中標誌性信息產生的次數 ''' #定義你需要查找的對象的正則表達式wordcheck #需要分析的日誌的路徑filesource d
2018-09-11 02:08:14
原创 mysql中的鍵和索引
一、主鍵 索引 關係 1.主鍵：主鍵的唯一作用就是唯一標識表中的某一行數據。分爲單一主鍵和聯合主鍵：單一主鍵：只用一列就能唯一標識一行。聯合主鍵：當使用一列已經不能唯一標示一行的時候，就要採用多列唯一標識一行，就是聯合主鍵。聯合主健多個字段
2018-09-11 02:08:14