原创 數據倉庫介紹
Hadoop數據倉庫實踐 第一章： 1.什麼是數據倉庫 數據倉庫試圖提供一種從操作系統到決策支持環境的數據流架構模型。爲了解決和這個數據流相關的各種問題，主要是解決多重數據複製帶來的高成本問題。 2.數據倉庫的定義 Bill I
2020-03-10 09:17:56
原创 kafka集羣監控-kafka-manager
1.安裝 1.下載 2.修改 application.conf中的 3.運行 ./kafka-manager -Dconfig.file=…/conf/application.conf -Dhttp.port=8080 &
2020-03-07 11:38:07
原创 淺談Streaming的窗口操作
Streaming的窗口操作 任何窗口操作需要兩個參數： 窗口長度：上圖爲3個時間單位 滑動間隔：上圖爲2個時間單位 窗口長度 和 滑動間隔 都必須是 批處理間隔 的 整數倍。一般 滑動間隔 = 批處理間隔 一般應用場景：求
2020-03-06 02:45:07
原创 spark的廣播變量
廣播變量：頻繁使用 而且數據大 分發到每一個excutor節點 每個task從本地拿取使用 當在excutor端使用了Driver變量，不使用廣播變量，在每個excutor中有多少的task就有多少個Driver端變量副本 導致
2020-02-29 15:02:06
原创 kafka常用命令
啓動Kafka： /export/servers/zookeeper/bin/zkServer.sh start nohup /usr/local/kafka/bin/kafka-server-start.sh /usr/loca
2020-02-28 12:58:19
原创 centos7進入緊急模式解決辦法
問題描述：enter emergency mode 查看日誌：failed to mount /sysroot 解決辦法： 命令： xfs_repair -v -L /dev/dm-0 reboot 完
2020-02-28 12:58:19
原创 kafka面試題總結
kafka面試題總結 1.Kafka的特點： - 高吞吐量，低延遲 每秒可以處理幾十萬條數據 延遲級別在毫秒級 每個topic中可以分多個partition,consumer group對partiiton進行消費操作 -
2020-02-25 23:23:56
原创 lua語言小知識點學習
關於lua語法的注意的點： . . 表示 字符連接符 for循環遍歷table有兩種 ipairs(無狀態）和 pairs(有狀態) 個人理解的狀態代表的就是key值有沒有明確指定 #可以獲取字符串|table的長度。例 #
2020-02-25 23:23:56
原创 Fabric實戰（四）-多機部署fabric網絡-solo
####多機部署fabric(solo模式） 本案例爲： 一個orderer節點 兩個peer節點 三臺物理機： orderer：192.168.2.148 peer0org
2020-02-22 11:44:15
原创 Fabric環境部署（二）
Fabric及環境部署 fabric源碼安裝 ：需要將源碼目錄放置到 $GOPATH 路徑下 cd $GOPATH mkdir -p /opt/gopath/src/github.com/hyperle
2020-02-22 11:44:15
原创 zookeeper一鍵啓動基礎版
#!/bin/bash zkServer.sh stop echo master stop! ssh slave1> /dev/null 2>&1 << eeooff zkServer.sh stop exit eeooff ec
2020-02-22 11:44:15
原创 redis集羣常用命令
開啓集羣腳本 cd redis01 ./bin/redis-server ./bin/redis.conf cd … cd redis02 ./bin/redis-server ./bin/redis.conf cd … cd r
2020-02-22 11:44:15
原创 mybatis-generator
<plugin> <groupId>org.mybatis.generator</groupId> <artifactId>mybatis-generator-ma
2020-02-22 11:44:15
原创 linux忘記密碼解決方案
linux 忘記密碼 重置root管理員密碼 重啓 Linux 系統主機並出現引導界面時，按下鍵盤上的 e 鍵進入內核編輯界面 在 linux16 參數這行的最後面追加“rd.break”參數，然後按下 Ctrl + X 組合鍵
2020-02-22 11:44:15