原创 SQOOP 部署及導入數據到 Hive 的實際應用

目錄 寫在最前: 1、核心的功能有兩個 2、sqoop 版本說明 一、部署 1、安裝前準備 2、創建用戶和組 3、解壓到指定目錄 4、添加系統環境變量 5、創建 sqoop-env.sh 文件 5.1 創建 5.2 編輯 sqoop-en

原创 SQOOP 從 MySQL 導入到 Hive 之 Python 腳本

目錄 1、當前業務數據收集詳情 2、腳本部署樹形圖 3、同步 sqoop + python的 管理腳本到 inf 環境

原创 Python 日誌處理 METL 系統

目錄 一、新日誌收集系統 1、一圖瞭解 HIGO 新的日誌收集系統 2、日誌源(NGINX)機器 Scribe cient

原创 第十話 SaltStack 項目實戰

一、salt-master(參考 10.20.1.57 或 10.20.1.52) 1、首先Salt-Master 使用 saltstack repo 進行安裝 將以下文件保存到 /etc/yum.repos.d/saltstack.re

原创 第九話 SaltStack 高級話題

目   錄 第1章  開始使用Salt 1.1  Salt部署的基本架構 1.2  安裝Salt 1.2.1  軟件包安裝方式 1.2.2  腳本安裝方式 1.2.3  源碼方式安裝 1.2.4  其他發行版Linux系統安裝Salt

原创 第八話 SaltStack 架構擴展

目錄 一、Salt 的多 master 高可用架構 環境準備: 1、Salt 多 master 的原理 2、具體搭建過程 2.1 首先根據第一話的 master 安裝過程安裝 Salt-master 2.2 然後同步之前的 master

原创 Redis Cluster 踩坑案例之內存佔用飆升

一、現象 Redis Cluster 某個分片(10.20.2.53:7101)內存飆升,明顯比其它高跟多,而且持續增長並達到了峯值。並且主從的內存使用量不一致。 IP 監聽端口 主/從 實例狀態 內存使用 對象數 連接數 命中率 10.

原创 第六話 用 highstate 複合主機狀態

環境準備:   master 服務端 minion 客戶端01 minion 客戶端02 IP 10.20.2.94 10.20.0.30 10.20.5.71 查看系統版本 # cat /etc/redhat-release Ce

原创 第七話 SaltStack 配置文件

寫在最前: SaltStack 的配置項衆多,通常應用默認值就可以解決絕大部分問題,Salt 的配置分爲 master 端和 minion 端的配置,配置文件的位置分別是 /etc/salt/master 和 /etc/salt/mini

原创 第五話 番外篇(更新 minion_id 及連接新的 master)

目錄 一、更新 minion_id 爲 IP 形式 1、正常情況下 minion_id 爲機器 hostname 2、手動更新(適合少量機器) 2.1 更新minion_id內容爲 IP 2.2 當修改 minion_id 操作不當時,會

原创 Flume NG 配置參數說明

目錄 一、Flume 的可恢復性 二、Flume 架構 1、Client 2、Event 3、Agent 4、Source 4.1 avro source 4.2 exec source 5、Channel 5.1 memory chan

原创 分佈式日誌收集框架 Flume NG 實戰案例

目錄 寫在最前之應用場景: 一、Flume 架構和核心組件 1、Event 的概念 2、Flume 架構 3、Flume 的運行機制 4、Flume 的廣義用法 二、Flume 環境搭建 1、前置條件 2、搭建 (1)下載 flume-n

原创 分佈式日誌收集

目錄 寫在最前:爲什麼做日誌收集系統❓ 一、多種日誌收集工具比較 1、背景介紹 2、Facebook 的 Scribe 3、Apache 的 Chukwa 4、LinkedIn 的 Kafka 5、Cloudera 的 Flume OG

原创 身份證到期異地辦理(北京)

身份證到期異地辦理(北京),百度、谷歌神馬的都是浮雲不要再搜再信了,不需要辦理有效期內的北京居住證或居住登記卡,也不需要提供房主房產證複印件+房主本人身份證複印件,更不需要近期正面免冠一寸白底彩色相片。 只需帶現有身份證和 20 元現金就

原创 第四話 通過 Jinja2 模板以及 Grain 和 Pillar 擴展主機狀態

目錄 一、Jinja2 模板語言基礎 1、Jinja2 變量 2、流程控制語句 二、Grain 和 Pillar 的概念及設置 1、Grain 的概念 2、Grain 相關的基本命令 3、設置 Grains 數據 3.1 命令行方式 3.