原创 keepalived實現高可用集羣方案
一、keepalived和VRRP協議介紹 keepalived是基於vrrp協議實現的一個高可用集羣解決方案，可以利用keepalived來解決單點故障問題，使用keepalived實現的高可用集羣方案中，一般有兩臺服務器，
2019-02-22 14:01:45
原创 azkaban2.5安裝
安裝包： azkaban-executor-server-2.5.0.tar.gz azkaban-web-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz azkaban-jobtyp
2018-09-12 06:50:59
原创 linux下nfs共享文件
測試環境： 192.168.145.210（NFS server）、 192.168.145.209（NFS Client） 操作系統問：centos7在server端安裝NFS，執行命令：yum -y install nfs-
2018-09-12 06:37:51
原创 linux創建分區、文件系統、掛載操作
創建分區：分別輸入n（創建分區）、p（主分區）或e(擴展分區)、設置大小，最後w保存退出。使用kpartx -af /dev/sdb 或partx -a /dev/sdb，讓內核重讀設備分區表。創建文件系統：mkfs -t ext4 /de
2018-09-12 06:34:58
原创 使用自籤的證書配置nginx的https
1、生成根證書密鑰 #] openssl genrsa -des3 -out ca.key 20482、自簽證書 #] openssl req -new -x509 -days 7305 -key ca.key -out ca.crt
2018-09-12 06:32:13
原创 corosync + pacemaker + nfs 構建高可用mysql集羣
環境： 192.168.145.208（mariadb節點1） 192.168.145.209（mariadb節點2） 192.168.145.210（NFS節點） 操作系統:Centos7mysql安裝，測試使用的版本是mariadb5.
2018-09-12 06:20:52
原创 spark優化（一）：合理分配資源
分配更多資源：性能調優的王道，就是增加和分配更多的資源，性能和速度上的提升，是顯而易見的；基本上，在一定範圍之內，增加資源與性能的提升，是成正比的；寫完了一個複雜的spark作業之後，進行性能調優的時候，首先第一步，我覺得，就是要來調節最優
2018-09-12 06:13:20
2
原创 spark調優（三）：RDD重構和持久化
第一，RDD架構重構與優化儘量去複用RDD，差不多的RDD，可以抽取稱爲一個共同的RDD，供後面的RDD計算時，反覆使用。第二，公共RDD一定要實現持久化對於要多次計算和使用的公共RDD，一定要進行持久化。持久化，也就是說，將RDD的數據緩
2018-09-12 06:07:47
原创 LVS負載均衡技術介紹
一、LVS集羣介紹 LVS集羣採用IP負載均衡技術和基於內容請求分發技術，因爲所有的操作都是在Linux操作系統核心空間中將完成的，它的調度開銷很小，所以調度器具有很好的吞吐率，將請求均衡地轉移到不同的服務器上執行，且調度器自動屏蔽掉服 務
2018-09-12 06:07:47
原创 corosync + pacemaker實現httpd服務高可用集羣
實驗環境： 服務器： 192.168.145.208（集羣節點一） 192.168.145.209（集羣節點二） 192.168.145.210（NFS server） 操作系統：三臺都爲centos7配置步驟：
2018-09-12 06:06:16
原创 內網部署支持ssl的docker registry
首先需要使用域名或主機名製作證書，自簽證書在內網可以使用，因爲內網可排除信任問題，自簽證書流程可以參考使用自籤的證書配置nginx的https。證書製作完成我們開始部署registry,當前registry v2版已經發布，所以我們使用v2
2018-09-12 05:57:24
原创 spark調優（二）：調節並行度
並行度：其實就是指的是，Spark作業中，各個stage的task數量，也就代表了Spark作業的在各個階段（stage）的並行度。如果不調節並行度，導致並行度過低，會怎麼樣？假設，現在已經在spark-submit腳本里面，給我們的spa
2018-09-12 05:55:17