原创 CDH部署時的依賴包

centos7下最小化安裝 yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi

原创 Linux命令每日一學

查看linux命令的解釋 Linux命令大全 待更新… (lsof -i:80) 查看端口被佔用的情況,lsof 這個命令功能比較多,很有意思 lsof -i:22 sshd 1304 root 4u IPv

原创 Kafka集羣Leader選舉原理

Kafka集羣Leader選舉原理 我們知道Zookeeper集羣中也有選舉機制,是通過Paxos算法,通過不同節點向其他節點發送信息來投票選舉出leader,但是Kafka的leader的選舉就沒有這麼複雜了。 Kafka的Le

原创 企業數據倉庫的一些思考

數據倉庫是一個用數據支持企業決策制定,爲各部門提供系統的數據支持的集合,可以幫助企業改進業務流程、控制成本、提高產品質量等。

原创 Shell流程控制

if 語句 if [ 條件判斷式 ];then 程序 fi 或者 if [ 條件判斷式 ] then 程序 fi ---------------------------- #!/bin/bash i

原创 Lede 配置ddns解析(koolddns for openwrt)

準備工作 本次採用的軟路由,版本是kooolshareLede 2.32,其他的機器支持ddns都行 koolddns for openwrt - 0.6.1 ,版本不一設置有較大區別 家中有公網地址,這個是必須的,沒有公網可以

原创 LEDE的一些你懂的的插件下載

LEDE的一些你懂的的插件的備份,適用於離線安裝,基本都是最新版。 https://github.com/isxiaojian/Koolshar_x86_KeXueChaJian

原创 linux批量修改root密碼腳本

#!/bin/bash remote_cmd="echo new_passwd@000 | passwd --stdin root" #new_passwd@000 替換成你自己的密碼 ip_array=( 10.0.1.

原创 frp內網穿透服務端搭建

原文鏈接:http://koolshare.cn/thread-65379-1-1.html Frp項目主頁 https://github.com/fatedier/frp/blob/m

原创 GCP配置root賬戶連接

GCP默認的系統爲Debian獲取root賬戶流程如下 sudo -i //切換到root賬戶 vi /etc/ssh/sshd_config //編輯配置文件 修改如下配置 PermitRootLogin yes //默認

原创 Spark面試題庫

1. Spark消費 Kafka,分佈式的情況下,如何保證消息的順序 Kafka 分佈式的單位是 Partition。如何保證消息有序,需要分幾個情況討論。 同一個 Partition 用一個 write ahead log (W

原创 flume的一個錯誤

flume報錯 (PollableSourceRunner-TaildirSource-s1) [WARN - org.apache.flume.source.taildir.TaildirSource.tailFileProc

原创 Proxy SwitchyOmega 使用教程

1.安裝好chrome瀏覽器 2.安裝好Proxy SwitchyOmega 插件 可以給這個默人的代理改個名字如 代理 我的代理軟件的一些參數 根據你的代理軟件配置相應的參數 切換到代理 某網站可以直接秒開 放一

原创 ES6.6.0集羣部署(centos6.8)

ES從6.5開始後不允許直接使用root用戶運行 –待補充–太忙了

原创 幾個常用的Linux命令

1.查看cpu個數: cat /proc/cpuinfo | grep processor 2.查看磁盤:df -h (查看磁盤使用率) df -i (查看iNode使用) fdisk -l (查看磁盤整體) iostat