原创 centos kafka單包單機部署

kafka下載地址http://kafka.apache.org/downloads.html在這裏下載kafka_2.11-0.10.0.0.tgz,kafka和zookeeper都用同一個包裏的安裝和配置jdk(略過)JAVA_HOME

原创 filebeat+kafka+ELK5.4安裝與部署

用ELK打造強大的日誌分析平臺,具體拓撲結構如下:在這裏我們將進行kafka+filebeat+ELK5.4的部署各軟件版本jdk-8u131-linux-i586.tar.gz filebeat-5.4.0-linux-x86_64.ta

原创 Filebeat 關鍵字多行匹配日誌採集(multiline與include_lines)

很多同事認爲filebeat採集日誌不能做到多行處理,今天這裏討論下filebeat的multiline與include_lines。 先來個案例,以下日誌,我們只要求採集error的字段,2017/06/22 11:26:30 [erro

原创 FastDFS單點在 CentOS 安裝部署

關於分佈式文件系統FastDFS,在這裏不做過多介紹,我們直接開始安裝1.安裝 libfastcommon [root@TEST-01 softwares]# yum -y install wget pcre pcre-devel make

原创 gitlab+jenkins+maven+docker持續集成(一)——Jenkins安裝配置

jenkins安裝與配置下載jenkins最新版本http://mirrors.jenkins.io/war/ 配置jdk環境,建議1.8以上安裝tomcat, 建議8以上將下載後的jenkinsh上傳到tomcat/webapps下,先配

原创 gitlab+jenkins+maven+docker持續集成(八)——jenkins用戶組權限對應不同視圖

首先安裝插件Role-based Authorization Strategy安裝後在Configure Global Security選擇然後進行系統管理1、Manage Roles我這裏創建Test_Group這個組,注意Project

原创 gitlab+jenkins+maven+docker持續集成(四)——Extended E-mail Notification配置

構建後進行郵件通知,這裏我們用Extended E-mail Notification系統管理-->Extended E-mail Notification在這裏subject、content爲defalut 模板,我們暫不做配置,我這裏按

原创 gitlab+jenkins+maven+docker持續集成(七)——.Jenkins Pipeline持續集成

Pipeline的幾個基本概念:Stage: 階段,一個Pipeline可以劃分爲若干個Stage,每個Stage代表一組操作。注意,Stage是一個邏輯分組的概念,可以跨多個Node。Node: 節點,一個Node就是一個Jenkins節

原创 gitlab+jenkins+maven+docker持續集成(六)——.Jenkins獲取git tags代碼進行持續集成

GitFlow的工作流如上圖所示,在開發工作中,不同的代碼分支對應着項目或產品的不同形態,圍繞特定形態的人力投入也不相同。隨着時間的推進,我們在 開發分支 中合併產品的功能實現,產品的功能逐步完善。當產品功能完善到一定階段,可以交付給測試團

原创 Filebeat 關鍵字多行匹配日誌採集(multiline與include_lines)

很多同事認爲filebeat採集日誌不能做到多行處理,今天這裏討論下filebeat的multiline與include_lines。 先來個案例,以下日誌,我們只要求採集error的字段,2017/06/22 11:26:30 [erro

原创 GitLab CE服務器安裝配置備份恢復升級注意項總結

GitLab CE安裝安裝比較簡單,rpm直接在不同平臺安裝https://about.gitlab.com/installation/直接下載源包地址https://about.gitlab.com/downloads/archives/

原创 Nginx 配置 fastdfs-nginx-module 模塊

上篇介紹了FastDFS的安裝,這裏主要是給NG安裝fastdfs-nginx-module 模塊,來完成FastDFS的上傳與下載安裝 Nginx 和 fastdfs-nginx-module[root@EST-01 softwares]

原创 gitlab+jenkins+maven+docker持續集成(九)——centos7 ansible安裝及問題彙總

centos7最小化安裝ansibles1、error: cffi 1.6.0 is installed but cffi>=1.7 is required by set(['cryptography'])yum remove -y pyt

原创 gitlab+jenkins+maven+docker持續集成(二)——maven安裝配置

建議安裝3.3.9版本,最新版本貌似有點問題下載地址:#wget http://apache.fayea.com/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz解壓# t

原创 docker學習筆記(四)——Dockerfile創建自定義鏡像

用Dockerfile創建docker,注意下,建議在空文件夾下創建本篇我們將完成:1、用Dockerfile創建docker2、端口映射3、卷掛載,即docker目錄掛載到宿主機1、用Dockerfile創建docker在/opt/cen