原创 爲kafka開啓kerberos

主節點安裝 yum -y install krb5-server krb5-libs krb5-auth-dialog krb5-workstation cat /etc/krb5.conf Configuration snippets

原创 在centos7.4環境下安裝用cm5.16安裝CDH

修改ip 然後重啓/etc/init.d/netwrok restart PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=

原创 非kerberos環境下,flume採集日誌到kafka

kafkaflume.conf agent.sources = s1 agent.channels = c1 agent.sinks = k1 agent.sources.s1.type=exec agent.sources.s1.com

原创 查看kafka消息隊列的積壓情況

創建topic kafka-topics --create --zookeeper master:2181/kafka2 --replication-factor 2 --partitions 3 --topic mydemo5 列出top

原创 安裝nginx

nginx 不僅可以做反向代理,也可以做正向代理(代理上網)http://nginx.org/en/download.html./configure --prefix=/home/nginx --with-pcre --with-http_

原创 mysql + keepalvied

2.1.增加配置 master auto-increment-increment = 2 auto-increment-offset = 1 auto-increment-increment = 2 auto-inc

原创 redis 配置

yum install -y gcc epel-release; yum install -y jemalloc-devel make 如果出錯,運行如下命令: (cd deps; make hiredis lua jemalloc

原创 iptables 的兩個小任務

使用小鍵盤  vt模式 設置爲普通/etc/sysconfig/iptables 重啓的時候調用規則iptables小案例 vi /usr/local/sbin/iptables.sh //加入如下內容#! /bin/bashipt="/u

原创 mysql主從

1.更改配置文件 ############主########## server_id = 1 binlog-do-db=tx binlog-ignore-db = mysql binlog_checksum = crc32 max_binl

原创 mysql優化

1.硬件優化 a.cpu 一臺機器8-16顆8-16G 2-4顆 b.內存 96G-128G 3-4個實例 32-64G 跑2個實例 c.disk數量越多越好,性能:ssd (高併發)> sas(普通業務線上) >

原创 redis 配置

yum install -y gcc epel-release; yum install -y jemalloc-devel make 如果出錯,運行如下命令: (cd deps; make hiredis lua jemalloc

原创 lvs + keepalived + nginx 實現高可用

1.目的 lvs是四層的負載均衡,keepalived爲lvs提供高可用服務,同時檢查後端nginx的健康狀態,nginx主要用來做七層的負載均衡 2.拓撲圖 服務器 IP地址 說明 Director主節點 192.168.3.1

原创 rsync + inotify 文件同步

rpm -e rsync-3.1.2-4.el7.x86_64 --nodeps rpm -ivh rsync-3.1.2-4.el7.x86_64.rpm 115 服務端,接收文件的地方 echo "web:123" > /usr/lo

原创 安裝ftp

安裝ftp useradd -s /sbin/nologin -d /rcb01/upload/test rcb01 yum -y install vsftpd sudo cat /etc/vsftpd/vsftpd.conf anony

原创 使用git拉文件

使用git拉文件 yum install git git config --global user.name "xxx" git config --global user.email "[email protected]" 生成祕鑰對 ssh-ke