原创 Hbase知識、shell、api
產生背景 標題 最早以前各大公司都使用hadoop作爲大數據存儲，並使用MapReduce做存儲，它擅長存儲各種龐大的數據，任意結構的數據都能存儲。 Hadoop的限制 hadoop只能批量處理數據，且只能順序訪問數據。即搜索一個
2020-02-24 03:11:46
原创 Hbase相關知識及操作！
# 產生背景 最早以前各大公司都使用hadoop作爲大數據存儲，並使用MapReduce做存儲，它擅長存儲各種龐大的數據，任意結構的數據都能存儲。 ##Hadoop的限制 hadoop只能批量處理數據，且只能順序訪問數據。即搜索一
2020-02-24 03:11:46
原创 ElasticSearch API操作隨筆
連接到集羣的方式就不寫了 CRUD操作 GetResponse response = client .prepareGet（" "，" "，" "） .setFields(" "," ") .execute().actionGet
2019-06-11 12:41:48
原创 Presto
Presto安裝配置（初學） 一、Presto簡介 1、PRESTO是什麼？ Presto是一個開源的分佈式SQL查詢引擎，適用於交互式分析查詢，數據量支持GB到PB字節。 Presto的設計和編寫完全是爲了解決像Facebook這樣
2019-04-02 05:24:11
原创 yarn
YARN(Yet Another Resource Negotiator) yarn是一個資源調度平臺，負責爲運算程序提供服務器運算，相當於一個分佈式操作系統平臺，而MapReduce等運算程序則相當於運行於操作系統之上的應用程序 y
2019-02-20 17:47:27
原创 HDFS
架構： 主從架構，一主多從 主節點：namenode(負責處理客戶端的讀寫請求，客戶端讀寫先去找namenode) 1)存儲元數據信息 元數據:管理datanode數據的數據 包括3部分： 1）抽象目錄樹 對於hdfs來說 目錄樹不代
2019-02-20 17:47:27
原创 Hadoop、Hive、Hbase總結
hadoop hive hbase總結 Hadoop Hadoop 只能執行批量處理，並且只以順序方式訪問數據。這意味着必須搜索整個數據集，即使是最簡單的搜索工作。當處理結果在另一個龐大的數據集，也是按順序處理一個巨大的數據集。在
2018-12-23 17:56:14
1
原创 hive的分桶和分區
hive的分桶和分區 分桶 概念：對分區的進一步的 更細粒度的劃分。 分區類似 創建分桶表 create table stu_duck(id int,name strint) //創建表名字段 clustered by(id)
2018-12-23 17:56:14
原创 MapReduce知識點梳理
1. MapReduce定義 MapReduce是一個分佈式運算程序的編程框架，是用戶開發“基於hadoop的數據分析應用”的核心框架 MapReduce核心功能是將用戶編寫的業務邏輯代碼和自帶默認組件整合成一個完整的分佈式運算程序，
2018-12-23 17:56:14
原创 hive常用命令大全
1、建庫 create database mydb; create database if no exists mydb; create database if no exists mydb location “/aa/bb”; 2、
2018-12-23 17:56:14
原创 hive小結
1.what is hive? Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件轉換成一張表，並提供類sql查詢功能。 本質是：將HSQL轉換成mapreduce的過程！ 1） hive處理的數據在hdfs上 2）
2018-12-23 17:56:14