原创 MyJobLink鏈接MapReduce作業案例，新舊API比較
hadoop基礎部分的學習告一段落,休息了幾天，現在滿血復活了。。。哈哈，讓我們一起來學習學習hadoop的第一個鏈接MapReduce作業的案例吧。 在高階數據處理中，會經常發現無法將整個流程寫在單個MapReduce作業中，Hadoo
2020-07-03 08:10:08
原创 MapReduce的處理流程（一）
1、流程 代碼編寫 =》 作業配置 =》 作業提交 =》 Map任務的分配和執行 =》 處理中間結果 =》 Reduce任務的分配和執行 =》 作業完成 在每個任務的執行過程中，又包含輸入準備 =》 任務執行 =》 輸出結果 Map
2020-07-03 08:10:08
原创 再看看maven--手動創建項目與自動創建項目
maven是一個管理和構建工具 windows------->cmd----->mvn help:system 下載插件包到倉庫I:\maven\r
2020-07-03 08:10:08
1
原创 oracle監聽啓不了或在服務項中沒有監聽，或者是連接時，適配器錯誤
這幾天一直都在幫別人解決類似的問題，oracle安裝時很容易出問題，實在是有點難搞，動不動就重裝不上，需要重裝系統了，oh no，裝系統，實在是麻煩，其他軟件都得重來，太不好了， 接下來，我們就來看看，類似的問題怎麼解決吧……
2020-07-03 08:10:08
原创 Hadoop開發環境的配置（安裝eclipse）
1. 下載eclipse 因爲安裝了64位的jdk，所以eclipse版本也爲64位：eclipse-jee-mars-R-linux-gtk-x86_64.tar.gz 2. 解壓縮文件到/opt目錄下 sud
2020-07-03 08:10:08
原创 struts2--基礎
一、技術改進 Struts2以webwork爲核心，採用攔截器的機制來處理用戶的請求，使得業務邏輯控制器能夠與ServletAPI完全脫離開。Struts2爲傳統的struts1注入了webwork的先進的設計理念，統一了struts1和
2020-07-03 08:10:08
原创 Java MapReduce新舊API的比較
Hadoop的版本0.20.0包含有一個新的 Java MapReduce API，有時也稱爲"上下文對象"(context object)，旨在使API在今後更容易擴展，新的API 在類型上不兼容先前的API。 (1)新的API 傾向
2020-07-03 08:10:08
原创 運行hadoop自帶的案例—wordcount
主要有四個步驟： 一、 在hdfs分佈式文件系統 中創建兩個文件夾，分別存放輸入、輸出數據 1、 bin/hadoop fs –mkdir –p/data/wordcount 創建的輸入數據目錄 2、
2020-02-25 04:42:38
原创 HDFS文件操作
HDFS文件操作 一、概念 HDFS是一種文件系統，它存儲着Hadoop應用將要處理的數據，專爲MapReduce這類框架下的大規模分佈式數據處理而設計。爲解決傳統問題中文件存儲的問題—海量數據的存儲。 二、HDFS設計目標： 1、ver
2020-02-25 04:42:38
原创 一、 Reduce側聯結
1、Reduce側聯結的數據流 Reduce側聯結采用與數據庫技術中相同的命名，故也被稱爲repartitioned join（重分區聯結）,或者repartitionedsort-merge join（重分區排序-合併聯結）。雖然並非最
2020-02-25 04:42:38
原创 hadoop僞分佈環境搭建
1.創建hadoop用戶 （1）sudo useradd -m hadoop -s /bin/bash （2）爲hadoop 用戶增加管理員權限 sudo adduser hadoop sudo （3）打開配置文件sudoers
2020-02-25 04:42:38
原创 Mapper與Reducer淺析（一）
一、 Mapper Mapper接口負責數據處理階段，它採用的形式爲Mapper<K1,V1,K2,V2>Java泛型，這裏鍵類和值類分別實現WritableComparable和Writable接口。 Mapper只有一個方法
2020-02-25 04:42:38
原创 Oracle回顧--觸發器
昨天看完了觸發器，今天再來寫寫博客，這樣，我又可以複習一下啦……挺好的…… 觸發器是建立在某個具體的表上的，且觸發器在某些事件發生時，由Oracle自動執行，觸發器的執行對應用來說是透明的。 一、事件主要有以下幾種類型： 1、在指定表/
2018-08-31 10:51:53
3
原创 Oracle回顧--序列、事務、鎖、表空間、角色、概要文件、備份
這兩天受傷了……好心塞，還是來寫點博客緩緩吧…… 一、序列 對於已經創建的序列，應該首先使用序列名稱.nextval,然後，才能使用序列名稱.currval。 序列可以被多個用戶共享，但序列中的序號是不能共享的。 對序列中序號的操作是作爲
2018-08-31 10:51:53
原创 PLSQL遠端連接oracle數據庫
好不容易安裝成功的oracle數據庫和PLSQL，卻發現不能連接到想連接的數據庫，還不能應用配置管理工具建庫，建監聽，太憂傷。 我們看看怎麼解決吧： 1、有可能你安裝的只是一個客戶端； 2、連接遠端數據庫，其實很簡單： （1）找到orac
2018-08-31 10:51:53