原创 CDH之Hue的安裝並使用hive
CDH之Hue的安裝並使用hive 介紹： 一， 要想安裝Hue，必須先安裝oozie 0，下載ext-2.2.zip mv ext-2.2.zip /var/lib/oozie/ cd /var/lib/oozie unzi
2020-06-28 21:52:47
原创 ESXI6.0的安裝
裸機安裝ESXI6.0 之前一直用windows 安裝wmware 安裝虛擬機，但是覺得太沒必要，還必須得安裝操作系統，但是安裝了這個不需要 安裝操作系統，可以直接將整體硬件虛擬化出來，使用起來更加方便。 首先下載ESXI6.0-
2020-06-28 21:52:47
1
原创 javaweb項目與 birt 集成
準備工作（eclipse自己裝）--非maven項目，普通的javaweb項目 1，下載birt-runtime-4_2_0.zip包。 鏈接：https://pan.baidu.com/s/11kiwlw9w77lRg1Pd6E_fj
2020-06-28 21:52:47
原创 CDH的安裝
CDH的安裝 啥也別說了，開始 需要先安裝Linux、 和 mysql 安裝包的下載 Cloudera Manager下載地址： http://archive.cloudera.com/cm5/cm/5/cloudera-mana
2020-06-28 21:52:47
原创 yarn的作業提交一個過程
yarn的作業提交一個過程 首先yarn是什麼東西，在hadoop1.x的時候並沒有yarn。mr即使計算框架也是資源調度框架，而複雜的框架造成資源分配不合理，經常浪費資源或者無法很好利用資源，所以在hadoop2.x之後呢，加入
2020-06-28 21:52:47
原创 The server time zone value '�й���ʱ��'
使用msql 的時候出現。 改成 spring.datasource.url=jdbc:mysql://localhost:3306/mogujie?characterEncoding=UTF-8&serverTimezone=UTC
2020-06-28 21:52:47
原创 sparkStreaming+kafka簡單例子
flume採集（安裝flume，這塊就不多做贅述了,安裝也只是測試，沒用，提供一個下載鏈接） 首先自定義source [sink->kafka->sparkstreaming] #啓動kafka服務後臺永久啓動 nohup ka
2020-06-28 21:52:47
原创 flink的簡單安裝
flink的優點確實是挺強的，不過公司業務用不到，都是離線的，所以說拿出來研究研究，希望以後有機會能夠用到 Flink on yarn 安裝 下載flink 網址:http://mirror.bit.edu.cn/apache/
2020-06-28 21:52:47
原创 python爬取boss直聘爬取具體信息
Python原生態代碼爬取boss直聘 首先看一下思路 首先通過這個頁面拿取到所有的詳細頁面的url，需要判斷是否存在下一頁 拿到所有的url之後呢，再對每一個詳細頁面的進行抓取重要的信息。 但是在這個過程中間，ip有可能就會
2020-06-28 21:52:47
原创 Spakr 與 hadoopmr 超級簡單的一個小比較
Spakr 與 hadoopmr 的速度比較 基於安裝的spark 和mr 速度 spark 基於內存 而 mr 基於磁盤 具體的區別執行流程先不進行說明 spark_wordcount import java.util.Da
2020-06-28 21:52:47
原创 KvBuffer
KvBuffer hadoop的環形緩衝區 Shuffle過程是MapReduce的核心，也被稱爲奇蹟發生的地方。要想理解MapReduce， Shuffle是必須要瞭解的。從這周開始,開始學習shuffle的整個過程,今天帶來的
2020-06-28 21:52:47
1
原创 CDH之spark2的安裝
CDH之spark2的安裝 就之前我是cdh-5.16.1，那我們添加服務來看一下有沒有spark2的安裝 沒有吧，那我接下就開始讓他出現吧 spark2的安裝 spark2的安裝包的下載 1，首先下載 on_yarn的jar包
2020-06-28 21:52:47
原创 簡單寫的小日誌提交系統（適合初級初級學者）
Log日誌提交系統（僅適用於新手，練練手的東西） 主要是爲了提交每天工作和學習的情況，後臺需要手機可以直接下載訪問。 實現流程圖 1，採用SSM框架搭建，主要涉及到兩個表，一個是類別表。一個提交過來的信息表 2，需要使用下載功能
2020-06-28 21:52:47
原创 windows之ssh_dispatch_run_fatal
我在mac和linux試了沒有發生這種情況，就出現在windows上很是無語,原因是連接不上git，加上dns解析 打開 C:\Windows\System32\drivers\etc\hosts 192.30.255.112
2020-06-28 21:52:47
1
原创 SSM+echarts+js實現數據展示
SSM+echarts 實現數據展示 做一個數據展示的東西，利用echarts 可以直接實現，比較方便。首先呢，搭建ssm (spring+springmvc+mybatis)框架+js+echars 調用就可以使用了。 視頻展示
2020-06-28 21:52:47