原创 HIVE的安裝部署(不推薦）
HIVE的安裝部署 我們在此處選擇第三臺機器作爲我們hive的安裝機器 安裝 derby版hive直接使用： 1、解壓hive cd /export/softwares tar -zxvf hive-1.1.0-cdh5.14.0
2020-07-03 12:40:11
原创 大數據 MapReduce框架基本案例演示（計算數據中每個單詞出現的次數）
MapReduce框架處理數據的基本流程 WordCount計算 需求：計算每個單詞出現的次數 原始數據 zhangsan,lisi,wangwu zhaoliu,maqi zhangsan,zhaoliu,wangwu lis
2020-07-03 12:40:11
原创 Hive 外部表和內部表
外部表： 外部表說明： 外部表因爲是指定其他的hdfs路徑的數據加載到表當中來，所以hive表會認爲自己不完全獨佔這份數據，所以刪除hive表的時候，數據仍然存放在hdfs當中，不會刪掉 管理表和外部表的使用場景： 每天將收集到的
2020-07-03 12:40:11
原创 Hbase常用shell操作
1、進入HBase客戶端命令操作界面 $ bin/hbase shell 2、查看幫助命令 hbase(main):001:0> help 3、查看當前數據庫中有哪些表 hbase(main):002:0> list 4、創
2020-07-03 12:40:00
原创 HBase基本介紹
簡介 hbase是bigtable的開源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存儲、可伸縮、實時讀寫nosql的數據庫系統。 它介於nosql和RDBMS之間，僅能通過主鍵(row key)和主鍵的range
2020-02-25 19:52:18
原创 如何加快Hadoop集羣二次啓動的速度（SecondaryNamenode工作原理）
前提：不使用SNN,日誌文件會很大，日誌大會導致集羣恢復到上次關機前的狀態花費很長時間，這個時候集羣處於 安全模式，集羣不可用。長時間處於安全模式。 目標：加快集羣二次啓動的速度。（減少集羣二次啓動的時間） SecondaryNa
2020-02-25 19:52:08
原创 Hadoop的文件系統介紹
Hadoop組成 Hadoop HDFS：一個高可靠、高吞吐量的分佈式文件系統，對海量數據的存儲。 Hadoop MapReduce：一個分佈式的資源調度和離線並行計算框架。 Hadoop Yarn：基於HDFS,用於作業調
2020-02-25 19:52:07
1
原创 大數據 MapReduce框架核心思想
什麼是計算框架 是指實現某項任務或某項工作從開始到結束的計算過程或流的結構。 MapReduce計算框架 什麼是並行計算框架 一個大的任務拆分成多個小任務，將多個小任務分發到多個節點上。每個節點同時執行計算。 Hadoop爲什
2020-02-25 19:52:07
原创 Hive的使用方式（三種交互方式）
第一種交互方式：Hive交互shell cd /export/servers/hive-1.1.0-cdh5.14.0 bin/hive 查看所有的數據庫 hive (default)> show databases; 創建一
2020-02-25 19:52:07
原创 如何看待網傳阿里巴巴蔣凡要求儘快實現P8全員35週歲以內？
今天我想探討一個問題，爲何程序員作爲技術工種，卻和流水線工人一樣受到年齡歧視。 審查程序員所需要的技能和這些技能的培養過程,顯然寫程序不應該是體力勞動爲了培養一個程序員,至少從小學開始,就需要比較好的數學功底,然後是不差的英語水平
2020-02-25 19:52:07
原创 HBase特徵簡要
1）海量存儲 Hbase適合存儲PB級別的海量數據，在PB級別的數據以及採用廉價PC存儲的情況下，能在幾十到百毫秒內返回數據。這與Hbase的極易擴展性息息相關。正式因爲Hbase良好的擴展性，才爲海量數據的存儲提供了便利。 2）
2020-02-25 19:52:07
原创 HBase的常用API
HBase的java代碼開發 熟練掌握通過使用java代碼實現HBase數據庫當中的數據增刪改查的操作，特別是各種查詢，熟練運用 第一步：創建maven工程，導入jar包 <repositories> <repos
2020-02-25 19:52:07
原创 HDFS文件讀寫流程
DateNode作用 1.執行數據的讀寫（響應的是客戶端） 2.週期性向NameNode做彙報（數據塊的信息，校驗和） 若datanode10分鐘沒有向NameNode做彙報，表示已丟失（已宕機） 心跳週期 3秒 3.執行流水線的
2020-02-25 19:52:07
原创 Apache Flume簡介
1．概述 Flume是Cloudera提供的一個高可用的，高可靠的，分佈式的海量日誌採集、聚合和傳輸的軟件。 Flume的核心是把數據從數據源(source)收集過來，再將收集到的數據送到指定的目的地(sink)。爲了保證輸送的過
2020-02-25 19:52:07
原创 Hbase的API（重點）
開發javaAPI操作HBase表數據 1、創建表myuser public static void createTable() throws IOException { Configuration conf =ne
2020-02-25 19:52:07