原创 Kafka 之 入門
一、入門1. 簡介Kafka is a distributed, partitioned, replicated commit log service。它提供了類似於JMS的特性，但是在設計實現上完全不同，此外它並不是JMS規範的實現
2018-09-11 05:29:14
原创 Hive UDF自動增長列
1.導入Eclipse中相應的jar包： hadoop-auth.jar hadoop-common.jar hive-exec-0.13.0.2.1.3.0-563.jar2.編寫代碼import org.apache.
2018-09-11 05:29:14
原创 Hive UDF自動增長列
1.導入Eclipse編碼jar包 hadoop-auth-2.4.0.2.1.3.0-563.jar hadoop-common-2.4.0.2.1.3.0-563.jar hive-exec-0.13.0.2.1.3.
2018-09-11 05:29:14
原创 建立mysql可遠程連接root權限用戶
大家在遠程連接mysql的時候應該碰到過，root用戶的mysql，只可以本地連，對外拒絕連接。我們需要建立一個允許遠程登錄的數據庫帳戶，這樣你可以方便進行在本地遠程操作數據庫了。方法如下：1.確認登陸權限默認情況下Linux內的mysql
2018-09-11 05:29:14
原创 淺析Java中print、printf、println的區別
以下是對Java中print、printf、println的區別進行了詳細的分析介紹，需要的朋友可以過來參考下printf主要是繼承了C語言的printf的一些特性，可以進行格式化輸出print就是一般的標準輸出，但是不換行println和
2018-09-11 05:29:14
1
原创 海量數據處理面試題
前言 一般而言，標題含有“秒殺”，“99%”，“史上最全/最強”等詞彙的往往都脫不了譁衆取寵之嫌，但進一步來講，如果讀者讀罷此文，卻無任何收穫，那麼，我也甘願揹負這樣的罪名，:-)，同時，此文可以看做是對這篇文章：十道海量數據處理面試題
2018-09-11 05:29:00
原创 如何在windows下的Python開發工具IDLE裏安裝其他模塊？
以安裝Httplib2模塊爲例1 下載模塊 到 https://github.com/jcgregorio/httplib2下載一款適合你的壓縮包httplib2-master2 解壓下載的壓縮包httplib2-master到某目錄下
2018-09-11 05:29:00
原创 解決連接MySQL出現1045錯誤
用MySQL-Front連接遠端的MYSQL出現1045錯誤："Access denied for user [email protected],請檢查用戶名和口令"。根據網上的介紹，通過命令mysql> use mysql;mysql>
2018-09-11 05:29:00
原创 通過Bigtop編譯Hadoop組件的rpm包
我安裝所使用的系統是CentOS6，也可以是red5、6都可以。Bigtop官方網上有Ubuntu系統安裝的具體過程。1. 安裝系統依賴1.1 系統更新並安裝新的包Building Bigtop requires the foll
2018-09-11 05:28:58
原创 十七道海量數據處理面試題與Bit-map詳解
前言 本博客內曾經整理過有關海量數據處理的10道面試題（十道海量數據處理面試題與十個方法大總結），此次除了重複了之前的10道面試題之後，重新多整理了7道。僅作各位參考，不作它用。 同時，程序員編程藝術系列將重新開始創作，第十一章
2018-09-11 05:28:58
原创 數據導入HBase最常用的三種方式及實踐分析
要使用Hadoop，數據合併至關重要，HBase應用甚廣。一般而言，需要針對不同情景模式將現有的各種類型的數據庫或數據文件中的數據轉入至HBase中。 常見方式爲：1.使用HBase的API中的Put方法；
2018-09-11 05:28:57
原创 海量數據處理之Bloom Filter詳解
前言 本博客內曾已經整理過十道海量數據處理面試題與十個方法大總結。接下來，本博客內會重點分析那些海量數據處理的方法，並重寫十道海量數據處理的面試題。如果有任何問題，歡迎不吝指正。謝謝。一、什麼是Bloom Filter Bloo
2018-09-11 05:28:57
1
原创 海量數據處理：十道面試題與十個海量數據處理方法總結
第一部分、十道海量數據處理面試題1、海量日誌數據，提取出某日訪問百度次數最多的那個IP。 首先是這一天，並且是訪問百度的日誌中的IP取出來，逐個寫入到一個大文件中。注意到IP是32位的，最多有個2^32個IP。同樣可以採用映射
2018-09-11 05:28:56
3
原创 Hadoop 運維（1）NoRouteToHostException: No route to host
當用戶上傳數據到HDFS上時經常會出現這個錯誤hdfs.DFSClient:Exception in createBlockOutputStream java.net.NoRouteToHostException:No route to h
2018-09-11 05:28:56
1
原创 Linux下mysql的root密碼忘記解決方
1．首先確認服務器出於安全的狀態，也就是沒有人能夠任意地連接MySQL數據庫。 因爲在重新設置MySQL的root密碼的期間，MySQL數據庫完全出於沒有密碼保護的 狀態下，其他的用戶也可以任意地登錄和修改MySQL的信息。可以採用
2018-09-11 05:28:56