原创 Oozie工作流之理論篇
Oozie工作流之理論篇 簡介 Apache Oozie 是一個面向Hadoop平臺的工作流引擎框架。 它能夠提供對Hadoop Mapreduce、Pig Jobs、Spark、Sqoop、Hive的任務調度與協調。 Oozie
2020-06-20 09:55:12
原创 Hadoop 2.x Maven開發環境搭建
最近在新公司儲備大數據分析相關的知識，因爲後續有一些項目是需要分佈式數據分析的。剛好組裏的也讓我先學學這方面的東西。算了，廢話不多說，直接貼配置。 環境 maven 3.3.9 hadoop 2.6.5 jdk8 POM 一般
2020-06-20 08:50:27
原创 數據採集之Web端導入日誌文件到Hadoop HDFS
前言 接上一篇《數據採集之Web端導入DB數據到Hadoop HDFS》，這一篇簡單的記錄一下如何在Web端控制導入日誌文件到HDFS中，主要用到的技術就是Flume了。網上大多數教程都是寫的配置文件，但是現在有需求要通過web來
2020-06-20 07:40:18
原创 MySQL ssl連接錯誤解決
項目mysql服務器開啓了ssl連接，如果通過命令行直接-uroot -p是不能連接的。 報錯如下： mysql: [Warning] Using a password on the command line interface
2020-06-06 23:31:54
原创 容器使用規範
以下是公司內部整理的規範： 1、環境變量命名必須匹配c標準，matching regex [A-Za-z_][A-Za-z0-9_]* ，建議環境變量統一使用大寫字母。 2、測試到生產應使用同一鏡像。 3、容器應無狀態完全自理，容
2020-06-06 23:31:54
2
原创 解決Win10家庭版無法使用TeamViewer 13
前言 現在用Win 10的越來越多了，前段時間新入手了一臺HP筆記本，自帶的就是Win10家庭版系統。 剛開始還使用的好好的，舊版本的Teamviewer也能用，結果升級到新版本後用不了了。。 問題 後來網上搜索後才得知，Win
2020-06-06 23:31:54
原创 基於k8s 1.10集羣環境Helm安裝
簡介 Helm 是 Kubernetes 官方支持的包管理工具，可以方便地發現、共享和使用爲Kubernetes構建的應用。 能夠很便捷的對k8s應用進行版本管理控制。 安裝 這裏使用目前最新的版本2.9.0，可以直接通過官方地
2020-06-06 23:31:54
原创 使用Nginx反向代理Jenkins
備忘： location / { proxy_pass http://127.0.0.1:8080; proxy_redirect off; proxy_set_header Host $host; proxy_s
2020-02-21 20:31:20
原创 數據採集之Web端導入DB數據到Hadoop HDFS
前言 接上一篇數據採集之Web端上傳文件到Hadoop HDFS，總共需求有3個，這篇記錄如何通過Web端將MySQL表數據導入到HDFS中，主要是通過Sqoop2這個工具，之前已經寫了一篇 Sqoop2 從MySQL導入數據到H
2020-02-21 20:31:20
原创 數據採集之Web端上傳文件到Hadoop HDFS
前言 最近在公司接到一個任務，是關於數據採集方面的。 需求主要有3個： 通過web端上傳文件到HDFS; 通過日誌採集的方式導入到HDFS; 將數據庫DB的表數據導入到HDFS。 正好最近都有在這方面做知識儲備。正所謂養兵千
2020-02-21 20:31:20
原创 logback xml配置命名空間
添加xml命名約束，這樣會有許多的代碼補全和錯誤提示，便於配置屬性。 <configuration xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNames
2020-02-21 20:31:20
原创 SpringBoot properties通用屬性配置大全
前言 最近在公司使用SpringBoot進行服務的開發，但是坑的是公司不能訪問外網就算了，eclipse還沒有這個屬性提示，稍不注意就要敲錯了。而且配置那麼多根本就記不住啊。這裏從官方文檔中拷貝一份出來，方便在公司查看。 # ==
2020-02-21 20:31:20
原创 SpringBoot 通過AOP代理簡單打印日誌
前言 剛加入新公司，一來項目組長就讓我帶3個實習生，也是鴨梨山大啊。今天在旁邊看他們寫代碼，感覺基礎的能力還是可以的，不過技術上面還是有不少欠缺的啊。 比如：項目組長讓他們把Service層，每個方法都要加上日誌打印，執行該方法
2020-02-21 20:31:20
原创 HDP 2.5安裝搭建部署
前言 HDP 全稱Hortonworks Data Platform (HDP)，是Hortomworks公司提供的一個大數據平臺，它整合了開源hadoop生態圈的大部分組件，能夠很簡單便捷的幫助我們搭建起Hadoop大數據集羣環
2020-02-21 20:31:20
原创 自定義Maven SpringBoot Web項目骨架
前言 最近很喜歡配置一些項目骨架，發現比以前真的是方便很多了。以前每次想寫個Demo都要先創建基本Maven項目，然後做一大堆的基礎配置，如：jar包依賴、數據庫連接配置、簡單日誌打印配置等等。 一次次的配置或者複製實在是太打擊
2020-02-21 20:31:20