原创 Hive自身數據導出的方式
根據導出的位置不一樣，將這些方式分爲三種： 1、導出到本地文件系統； 2、導出到HDFS中； 3、導出到Hive的另一個表中。一、導出到本地文件系統及HDFS中 INSERT OVERWRITE LOCAL DIRECTORY '/hom
2020-06-30 15:26:43
原创 Hive與傳統數據庫對比
學習前的思考 1.Hive的數據存儲在什麼地方？2.Hive的數據格式什麼？3.Hive用戶定義數據格式需要什麼標準？4.Hive爲什麼數據加載比傳統數據塊快？5.Hive的數據是否經常被修改？6.Hive在什麼情況下，比傳統數據塊延遲高
2020-02-24 22:37:12
原创 大數據環境部署7：SparkSQL配置使用
1、SparkSQL配置 將$HIVE_HOME/conf/hive-site.xml配置文件拷貝到$SPARK_HOME/conf目錄下。 將$HADOOP_HOME/etc/hadoop/hdfs-site.xml配置文件
2020-02-24 22:37:12
原创 文思海輝賈丕星：大數據時代對傳統數據倉庫的五點思考
在文思海輝金融商業智能解決方案研討會上文思海輝副總裁賈丕星表示，文思海輝的商業智能團隊已經發展到452人的規模，並且隨着國內銀行商業智能領域發展，還在逐步完善解決方案和擴大團隊。 賈丕星指出，現階段銀行商業體系是基石，把數據做有效的存儲，
2020-02-24 22:37:12
原创 大數據環境部署3：Hadoop環境部署
一、安裝Hadoop 0、下載安裝包 Wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz 1、解壓t
2020-02-24 22:37:01
原创 數據倉庫基礎術語名詞一覽
冰山查詢――iceberg query 在數據倉庫領域有一個概念叫Iceberg query，中文一般翻譯爲“冰山查詢”。冰山查詢在一個屬性或屬性集上計算一個聚集函數，以找出大於某個指定閾值的聚集值。 以銷售數據爲例，你想產生這樣的一個
2020-02-24 22:37:01
6
原创 大數據環境部署1：環境及介質說明
一、安裝介質與版本 OS安裝介質：[紅帽企業Linux.6.4.服務器版].rhel-server-6.4-x86_64-dvd[ED2000.COM].iso 版本：Linux version 2.6.32-358.el6.
2020-02-24 22:37:01
原创 linux主機名的修改
查看主機名信息： [root@Master ~]# uname -n Master [root@Master ~]# hostname Master 1、通過hostname命令修改 命令格式：hostname newhostname
2020-02-24 22:37:01
原创 PDM與Excel利用VB腳本進行互導
1、基礎樣例表和數據 Excel數據表，樣例中有兩個sheet。樣表及數據如下： sheet1=> 主題域 表註釋 表英文名稱 表中文名稱 列名 列中文名稱 列註釋 數據類型 主鍵 是否爲空 默認值 協議 order_info 訂
2020-02-24 22:37:01
原创 維度模型數據倉庫基礎對象概念一覽
一、度量、指標、指標器 度量和維度構成OLAP的主要概念，對於在事實表或者一個多維立方體裏面存放的數值型的、連續的字段，就是度量。這符合上面的意思，有標準，一個度量字段肯定是統一單位，例如元、戶數。如果一個度量字段，其中的度量值可能是歐元
2020-02-24 22:37:01
原创 關於命名規範、維度明細層及集市彙總層設計的思考
在SN做倉庫項目，根據自己負責的內容及SN的一些規範等，將這一階段的模型工作進行一個思考和總結。 一、倉庫字段、表等命名的規範 數據倉庫建設目的，其中重要的一個方面就是建立統一的全局視圖；表、字段等的規範命名就是倉庫全局視圖一個方面的體現
2020-02-24 22:37:01
原创 大數據環境部署2：ssh免密碼驗證配置
進行免密碼驗證配置之前，要保證機器可以正常通信。 1、首先在MASTER機器配置 進去.ssh文件夾: [spark@MASTER sbin]$ cd~/.ssh/ 生成祕鑰 ssh-keygen : ssh-keygen
2020-02-24 22:37:01
原创 Hive自身數據導入的方式
Hive幾種常見的數據導入方式，總結爲四種： 1、從本地文件系統中導入數據到Hive表； 2、從HDFS上導入數據到Hive表； 3、從別的表中查詢出相應的數據並導入到Hive表中； 4、在創建表的時候通過從別的表中查詢出相
2020-02-24 22:37:01
原创 大數據環境部署8：Sqoop1部署安裝
一、Sqoop的安裝 1、下載sqoop並解壓: 也可用wge命令下載 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 對應hadoop 2.x http://psg.mtu.ed
2020-02-24 22:37:01
原创 大數據環境部署5：Hive安裝部署
1、下載hive:wget http://archive.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz。 2、解壓hive安裝文件 tar -zvxf
2020-02-24 22:37:01