原创 HBase入門詳解（三）
個人博客原文鏈接 環境：centos7+hadoop3.0.3+hbase2.0.1+jdk8 HBase的MapReduce操作 注意事項： * Map繼承TableMapper * Reduce繼承TableReducer * 最
2018-09-26 07:36:01
2
原创 HBase入門詳解（二）
個人博客原文鏈接 環境：centos7+hadoop3.0.3+hbase2.0.1+jdk8 HBase開發 測試代碼準備 Configuration conf = null; ExecutorService poo
2018-09-26 07:36:01
4
原创 Hive入門詳解（二）
個人博客原文鏈接 Hive的DDL操作 創建表（四種表） 內部表 創建產品表 create table t_product(id int,name string,price double,category string) row
2018-09-20 09:07:17
原创 HBase入門詳解（一）
個人博客原文鏈接 簡介 什麼是HBase HBASE是一個高可靠性、高性能、面向列、可伸縮的分佈式存儲系統，利用HBASE技術可在廉價PC Server上搭建起大規模結構化存儲集羣。 HBASE的目標是存儲並處理大型的數據，更具體來說
2018-09-20 09:07:17
原创 Hive入門詳解（三）
個人博客原文鏈接 內置函數UDF和內置運算符 取隨機數rand() select rand() from t_product; 求a的階乘 factorial(INT a) select factorial(10) from
2018-09-20 09:07:17
原创 Hive入門詳解
個人博客原文鏈接 簡介 Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射爲一張數據庫表，並提供類SQL查詢功能 安裝Hive 將hive安裝到hadoop的同級目錄下 tar -zxvf apache-hiv
2018-09-18 23:08:45
原创 MapReduce入門詳解（三）
個人博客原文鏈接 join操作 左外連接(map)-JoinMapSideMR 問題描述： 將兩個文件中每行的內容拼接到一個文件中 思路分析： 準備好兩個map，firstMapper和joinMapper，firstMapper負
2018-09-07 22:48:27
原创 MapReduce入門詳解（二）
個人博客原文鏈接 MapReduce實踐攻略 超詳細入門級-WordCount 問題描述： 統計一個文件中，各種單詞出現的次數 思路分析： 1. 在map階段，對每行數據調用一次map方法，對讀取到的每行數據按空格進行切割，將分割得
2018-09-06 20:18:05
原创 HDFS入門詳解（二）
個人博客原文鏈接 HDFS的java-API操作 簡介 hdfs在生產應用中主要是客戶端的開發，其核心步驟是從hdfs提供的api中構造一個hdfs的訪問客戶端對象，然後通過該客戶端對象操作（增刪改查）hdfs上的文件。 導入依賴包（ma
2018-09-03 12:03:10
5
原创 hadoop3.0全分佈式集羣搭建
個人博客原文鏈接 hadoop3.0的全分佈式搭建折騰了好久，因爲網上基本上都是2.x的搭建教程，期間有好幾個坑比較難弄，不過最後還是都解決了，下面簡要記錄筆者的搭建過程，以及遇到的坑。 搭建環境：CentOS7+hadoop3.0.3+
2018-09-03 12:03:10
原创 HDFS入門詳解（一）
個人博客原文鏈接 HDFS簡介 HDFS(HadoopDistributedFileSystem)即hadoop分佈式文件存儲系統。 1. 原理 將大文件、大批量文件，分佈式存儲在大量服務器上，以便採取分而治之的方式對海量數據進行分析
2018-09-03 12:03:09
2
原创 Oracle入門學習詳解
個人博客原文鏈接 斷斷續續花了半個月多月的時間才較爲詳細的過了一遍Oracle的知識點，以下爲學習過程中我所記錄的知識點和練習的例題。Oracle整個學下來，我感覺相比較SQLServer和MYSQL根本不是同一層次的東西，在Oracle
2018-09-03 12:03:09
原创 zookeeper入門學習
個人博客原文鏈接 學習環境：CentOS7+zookeeper-3.4.5 簡介 Zookeeper是一個分佈式協調服務，就是爲用戶的分佈式應用程序提供協調服務。 * zookeeper是爲別的分佈式程序服務的 * zookeeper
2018-09-03 12:03:09
原创 設計模式-代理模式
個人博客原文鏈接 簡介 給目標對象(被代理對象)提供一個代理對象，並由代理對象控制對目標對象(被代理對象)的引用，代理對象相當於一箇中介。 通過引入代理對象的方式來間接訪問目標對象，防止直接訪問對象給系統帶來不必要的複雜性。 相當於，代
2018-09-03 12:03:09
原创 爲什麼hadoop沒有slaves配置文件？
這個問題我昨天折騰了一晚上，上網也沒查到什麼，最後發現原來是hadoop3.0以後slaves更名爲workers。。。。。，直接在workers填寫子節點的主機名或ip地址即可。Duang~的一下，搞了一晚上的全分佈式集羣就跑起來了。。
2018-09-03 12:03:09