原创 apache tez0.8編譯
一,先準備環境,首先確保能上網,然後如下環境 lsb_release -a LSB Version: :core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-n
原创 Kylin中的cube構建
前言 在使用Kylin的時候,最重要的一步就是創建cube的模型定義,即指定度量和維度以及一些附加信息,然後對cube進行build,當然我們也可以根據原始表中的某一個string字段(這個字段的格式必須是日期格式,表示日期的含義
原创 hue編譯
執行:make desktop 期間如果報錯則需要安裝: linux 6.5確實需要做這些操作 /opt/hue-3.6.0-cdh5.1.0/Makefile.vars:42: *** "Error: must have pyt
原创 django 環境搭建
一、版本選擇 1、python版本 2.7.13 2、django 1.6.5 3、linux 版本 Description: Red Hat Enterprise Linux Server release 6.5 (Sant
原创 redhat下pyspider安裝
1、軟件環境 python 2.7.1 pip已安裝 linux redhat 6.5企業版 2、安裝依賴 yum install libxml2 libxml2-dev libxslt-devel 3、安裝lxml 下載http:
原创 Cloudera Manager 5和CDH5離線安裝
一、相關軟件準備及規劃 1、相關軟件及下載地址: Cloudera Manager:http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.9.0_
原创 基於 Kylin 的推薦系統效果評價系統
OLAP(聯機分析處理)是數據倉庫的主要應用之一,通過設計維度、度量,我們可以構建星型模型或雪花模型,生成數據多維立方體Cube,基於Cube可以做鑽取、切片、旋轉等多維分析操作。早在十年前,SQL Server、Oracle 等數據庫
原创 hive中join操作
籠統的說,Hive中的Join可分爲Common Join(Reduce階段完成join)和Map Join(Map階段完成join)。本文簡單介紹一下兩種join的原理和機制。 如果不指定MapJoin或者不符合Ma
原创 編譯安裝Ambari2.5.0
1.需要安裝的工具 1.1 安裝JDK 推薦1.8 1.2 安裝Apache Maven 3.3.9 設置環境變量 # vi /etc/profile export MAVEN_HOME="/opt/maven"
原创 hadoop2.7.1下httpfs命令整理
支持httfs前提,增加配置 <property> <name>hadoop.proxyuser.yarn.hosts</name> <value>*</value> </property>
原创 redis漏洞
聽到朋友說接到阿里雲的報障,提示黑客把他的服務器當肉雞了,當時有點怕怕,繼而官方的網絡帶寬也爆了進而系統處於癱瘓,當時我需要幫他處理這個問題 1 在沒有查到殺手之前我是先把帶寬&端口用iptables 做了限制這樣能保證我能遠程操作
原创 pentaho7.0將數據庫移植成mysql
Pentaho 內置數據是 hsql. 數據庫。那我們如何換掉移植成 mysql ? 思想: 移植的條件: 1. 首先要有一個 mysql 數據。 2. 將 pentaho 的啓動配置連接到 mysql 上。 我現在做一個將
原创 Avro在訊飛大數據開放平臺的應用
編者按:Hadoop於2006年1月28日誕生,至今已有10年,它改變了企業對數據的存儲、處理和分析的過程,加速了大數據的發展,形成了自己的極其火爆的技術生態圈,並受到非常廣泛的應用。在2016年Hadoop十歲生日之際,InfoQ策劃
原创 大數據分析界的“神獸”Apache Kylin有多牛?
本文是5月23日大數據雜談羣分享的內容。 關注“大數據雜談”公衆號,點擊“加羣學習”,更多大牛一手技術分享等着你。 實習編輯:Melody 大家好,我是今天做微信分享的李棟,來自Kyligence公司,也是Apache Kyl
原创 apache tez
你可能聽說過Apache Tez,它是一個針對Hadoop數據處理應用程序的新分佈式執行框架。但是它到底是什麼呢?它的工作原理是什麼?哪些人應該使用它,爲什麼?如果你有這些疑問,那麼可以看一下Bikas Saha和Arun Murth