原创 數倉hive的增量表和全量表
數據倉庫即Data Warehouse，簡稱DW，主要研究和解決從數據中獲取信息的問題，爲企業所有級別的決策制定過程，提供所有類型數據支持的戰略集合。 一般在工作當中，使用的都是數倉，尤其使用hive的次數最多。在日常開發中，會遇到
2019-01-08 15:11:13
原创 Hbase的熱點問題
在使用hbase中，不免會出現熱點問題。那麼什麼叫做熱點問題呢？就是某些region的數據量比較大，某些region的數據量比較小，就導致了某幾個的region server的負載量較大。 當我們採用默認的配置時，它會默認使用一個r
2019-01-03 03:53:28
原创 安裝python環境之Anaconda3
對於初學者來說，安裝python環境的方式有兩種，一種是安裝原生的python，另一種就是今天我要介紹的安裝Anaconda3。 Anaconda相當於一個python的整合包，是一個開源的python發行版本，裏面有各種科學包和依
2018-12-29 04:32:26
原创 python基礎之安裝Anaconda3
對於初學者來說，安裝python環境的方式有兩種，一種是安裝原生的python，另一種就是今天我要介紹的安裝Anaconda3。 Anaconda相當於一個python的整合包，是一個開源的python發行版本，裏面有各種科學包和依
2018-12-27 13:21:35
原创 使用fastjson解析json字符串
在日常的工作中，json是一種非常常見的數據格式，它可以被理解爲鍵值對存儲的。由於最近分析業務的時候，又處理了兩種json字符串，今天我就將怎麼處理的給大家分享一下，希望能夠給學習這方面的朋友一些幫助。再給大家安利個網站https:/
2018-12-20 13:15:49
原创 Hive常用內部函數
1.取隨機數 rand()可以取到0-1之間的隨機數，裏面也可以隨便設立一個種子，如rand(10)，這時無論你輸入多少次rand(10)都會到的一個穩定的0-1的隨機數序列。 2.分割字符串 這個和java中的分割一樣，是split
2018-12-20 13:15:49
原创 IDEA將依賴的第三方jar包打入jar包
昨天有人問我：使用Idea編譯器，用自定義UDF在hive中清洗數據、處理數據，這時，使用的一些第三方jar包，在服務器上沒有，打出來的udf的jar包也只有幾k，不包含所依賴的jar包。所以運行時會報錯，這時該怎麼處理呢？ 在pom
2018-12-19 14:09:08
原创 sqoop導入hive遇到的錯誤
ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set com.mysql.jdbc.Ro
2018-12-18 00:48:31
原创 Hive（數據倉庫）與數據庫的區別
數據庫和數據倉庫，雖然名字只有一點點不同，但是性質卻有很大的區別。數據倉庫是什麼？數據倉庫是爲企業制定各個級別的決策，可以提供各種數據類型支持的戰略集合。 它們兩種之間的區別，就由我來給大家介紹一下吧。 1. 存儲數據位置 衆所周
2018-12-06 13:31:15
原创 Idea怎麼連接Gitee
對於程序員來說，github帶來了極多的便利，而且提供了一個開源的環境供大家學習。現在開源中國旗下的碼雲也開始流行了起來，原因是因爲它的操作和github類似，主要的是它是中文的，方便國人的使用。而Idea插件中就自帶了github
2018-12-06 13:31:15
原创 Flume讀取文件傳輸到Kafka全流程
前期工作 先部署Kafka集羣和Flume。 Flume在解壓後只需要在flume-env.sh中修改jdk路徑就行了。 而Kafka集羣相比較下就有點複雜了，步驟如下： 解壓kafka的壓縮包。 vi /config/serve
2018-12-06 13:31:15
原创 僅用一次MapReduce就可以找共同好友！
pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="h
2018-12-06 13:31:15
2
原创 Linux裝CentOS7最詳細步驟
之前寫了一篇關於安裝CentOS6.5mini版的全步驟攻略。後來一想對於學習者來說，學使用CentOS7的更爲重要，因爲企業裏用CentOS7的比6.5的要多，這次我就講解一下安裝CentOS7的全步驟。6.5的超鏈接=>Cent
2018-12-06 13:31:15
原创 /etc/rc5.d/s99local : line 25 : eject : command not found 解決方案
在使用VMware裝CentOS6.5mini的時候，會出現如下圖這種情況，解決方案有兩種：一、這時按CTRL+ALT+F4能進入。二、也可以先創建虛擬機，然後再添加操作系統，我這次就向大家介紹一下如何使用第二種方案解決問題。 安裝
2018-11-28 13:38:49
原创 The remote SSH server rejected X11 forwarding request
在使用Xshell連接Linux虛擬機上會出現 Warning：The remote SSH server rejected X11 forwarding request 這時只需要安裝一個安裝包就可以了，使用如下命令 yum -y
2018-11-28 13:38:49