原创 Docker 跨主機容器間相互訪問
第一步：創建自定義網絡 docker network create --subnet=172.18.0.0/24 docker-br0 備註：這裏選取了172.18.0.0網段，也可以指定其他任意空閒的網段，docker-br0爲自定義
2020-04-19 17:28:38
原创 Docker 容器使用問題彙總
1、問題1：尚未使用systemd作爲初始化系統（PID 1）引導系統 System has not been booted with systemd as init system (PID 1). Can't operate. Fail
2020-04-19 17:28:38
4
原创 centos8安裝配置docker
1. 安裝／升級Docker客戶端 Docker 要求 CentOS 系統的內核版本高於 3.10 ，查看本頁面的前提條件來驗證你的CentOS 版本是否支持 Docker [root@hfdy ~]# uname -a Linux h
2020-04-19 17:28:38
1
原创 hive排序：distribute by 、sort by 、cluster by 、order by 區別
1). order by 只有一個reduce負責對所有的數據進行排序，若大數據量，則需要較長的時間。建議在小的數據集中使用order by 進行排序。 2). order by 可以通過設置hive.mapred.mode參數控制執行方
2020-02-23 17:06:51
原创 mysqlbinlog日誌上傳集羣HDFS
#!/bin/bash # # echo "執行節點"`hostname` # 正 時 ip=$1 portc=4044 if [ $# -eq 4 ] ; then portc=$2 yearId=${3} dateId=$
2020-02-23 17:06:41
原创 Hive基於SQL創建漏斗模型
爲了突出重點，總結就寫在最前面了。從拿到需求開始，我們經歷了以下步驟來完成工作： 需求分析 設計測試數據集及測試用例 數據清洗 需要實現 測試 其中數據清洗主要是做了兩個工作： 去掉用戶每一次訪問中重複的頁面記錄，只保留每個頁面的最後一次
2020-02-23 17:06:41
原创 flume 介紹
1、flume背景： flume是由cloudera軟件公司產出的可分佈式日誌收集系統，後與2009年被捐贈了apache軟件基金會，爲hadoop相關組件之一。尤其近幾年隨着flume的不斷被完善以及升級版本的逐一推出
2019-01-25 18:58:12
原创 使用mysqlbinlog提取二進制日誌
MySQL binlog日誌記錄了MySQL數據庫從啓用日誌以來所有對當前數據庫的變更。binlog日誌屬於二進制文件，我們可以從binlog提取出來生成可閱讀的SQL語句來重建當前數據庫以及根據需要實現時點恢復或不完全恢復。本文
2018-10-20 03:56:01
原创 Linux 命令之 set
set命令可以用來定製shell環境，使用選項“o”來打開或者關閉選項。例如打開選項：set -o 選項，關閉選項目：set +o 選項。 例如要打開vi交互式命令行編輯，則如下： [bigdata@master bin]$ se
2018-10-20 03:56:01
原创 HIVE數據倉庫發的理解
數據倉庫 英文名稱爲Data warehouse，可簡寫爲DW或DWH。數據倉庫的目的是構建面向分析的集成化數據環境，爲企業提供決策支持（Decision Support）。它出於分析性報告和決策支持目的而創建。 數據倉庫本身並不“生
2018-10-20 03:56:01
1
原创 IntelliJ IDEA 插件的安裝及使用方法
溫馨提示：IntelliJ IDEA 支持非常多的插件，熟練的使用插件，能夠有效提高我們的開發效率以及用戶體驗。 正文 首先，進入插件安裝界面： Mac：IntelliJ IDEA -> Preferences -> Plugin
2018-10-20 03:56:01
原创 Linux 系統 IP設置
設置靜態IP 配置網絡需要的文件 ifcfg-eth0文件 路徑：etc/sysconfig/network-scripts/ifcfg-eth0 TYPE=Ethernet DEVICE=eth0 BOOTPROTO=non
2018-10-20 03:56:01
原创 數據庫切片
一、 概述隨着業務的擴大，數據量呈指數級增長。對於一些不便使用nosql的場景，關係型數據庫難以滿足快速查詢和插入數據的需求。這就需要做數據庫集羣，將一個數據庫中的數據分散到不同的數據庫存儲，這種分散數據庫負載的技術是數據庫分片
2018-10-20 03:56:01
原创 HIVE 的數據類型
數據類型 hive支持兩類數據類型：一類叫原子數據類型，一類叫複雜數據類型。 原子數據類型包括：數值型、布爾型、浮點型、字符竄類型 Hive數據類型 概觀 數字類型 日期/時間類型 字符串類型 雜項類型 複雜類型
2018-10-20 03:56:01
原创 使用Hue創建Spark2的Oozie工作流
1.Oozie共享庫添加Spark21.查看當前Oozie的share-lib共享庫HDFS目錄oozie admin -oozie http://lefincluster-rt1:11000/oozie -sharelibupd
2018-10-20 03:56:01