原创 TopK 問題
問題：海量日誌數據，提取出某日訪問百度次數最多的那個IP 分析：百度作爲國內第一大搜索引擎，每天訪問它的IP數量巨大，如果想一次性把所有IP數據裝進內存處理，則內存容量明顯不夠，故針對數據太大，內存受限的情況，可以把大文件轉化成（取模映射
2020-02-20 14:53:45
原创 《Kafka權威指南》知識梳理
第1章 初識Kafka 消息：Kafka數據單元 批次：一組消息 主題：Kafka通過主題進行分類，由於一個主題包含幾個分區，因此無法保證整個主題範圍內消息的順序，但可以保證消息在單個分區內的順序 生產者、消費者：消費者把每個分區最後讀
2019-10-25 13:23:59
原创 Hive壓縮文件格式轉換方案
執行與測試過程： 1. 創建lzo相關表：（驗證過程，可忽略） create external table test_lzo( id int )partitioned by(`date_par` string) ROW FORMAT S
2019-09-15 13:21:51
原创 計算機網絡知識梳理
IP地址 訪問一個網頁的過程： IP獲取DNS解析（本地/更高層次的DNS服務器） 建立TCP連接 OSPF找出最佳路徑 ARP協議負責求下一個節點Mac地址 返回渲染 三次握手： TIME_WAIT意義： 1、解決有足夠時
2019-09-15 13:21:51
原创 Java基礎知識易忘點梳理
List ArrayList、Vector、LinkedList Map HashMap、HashTable、LinkedHashMap、TreeMap、WeakHashMap LinkedHashMap acc
2019-09-15 13:21:51
原创 Maven編譯報錯：Cannot run program "bash" ：CreateProcess error=2，系統找不到指定的文件
運行報錯： Caused by: java.io.IOException: Cannot run program "bash" (in directory "F:\IdeaProjects\hive-1.1.0-cdh5.7.0\com
2019-09-10 02:24:05
1
原创 仿“知乎”網站項目梳理
GitHub地址：https://github.com/vicotorz/zhangdizhihu SQL 建表語句： 評論：comment id int(11), content text
2019-07-31 13:21:23
原创 Hadoop Delegation Tokens詳解
轉載自：《Hadoop Delegation Tokens詳解》 https://www.jianshu.com/p/617fa722e057 本文是cloudera公司的一篇技術博客，原文地址：Hadoop Delegation Tok
2019-07-31 13:21:23
24
原创 《Hive實戰》梳理
ASF是一個支持多種軟件開發項目的組織 Hive不是數據庫，而是一個友好且爲我們熟悉的接口，可以查詢存儲在HDFS上的底層數據文件 SerDe：序列化、反序列化 HCatlog促進了各種Hadoop組件之間實現模式共享，HCatlog的作
2019-07-31 13:21:23
原创 DB2安裝與卸載
uname -a 查看linux系統位數 DB2的安裝包獲取：http://blog.sina.com.cn/s/blog_8ea8e9d50102w2s6.html step1：安裝包解壓後執行： ./db2_install -p
2019-07-05 01:51:44
原创 Intellij IDEA 快捷鍵整理
快捷鍵 說明 Alt + Enter 提示 Alt + 上（下） 擴大/縮小區域 Ctrl + D 複製 Ctrl + X 剪切 Ctrl + Alt + 回車 上面插行 Ctrl + 回車 後面插行 Ctrl + Shift + 回
2019-07-05 01:51:44
原创 Netty知識梳理
Netty 是一款異步的事件驅動的網絡應用程序框架，支持快速地開發可維護的高性能的面向協議的服務器和客戶端。擁有比Java核心API更高的吞吐量以及更低的延遲。 阻塞IO缺點： （1）大量線程處於休眠狀態 （2）需要爲每個線程的調
2019-06-10 13:34:54
原创 Linux安裝MYSQL
安裝步驟 1. 軟件包下載 wget http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz 或 wget http
2019-06-10 13:34:54
原创 hadoop hdfs 讀寫錯誤解決：java.io.IOException: Filesystem closed
報錯信息：java.io.IOException: Filesystem closed 參考：https://blog.csdn.net/posa88/article/details/41018031?utm_source=blogxg
2019-06-10 13:34:54
1
原创 Git Patch
Git 如何打patch參考： https://blog.csdn.net/liuhaomatou/article/details/54410361 https://juejin.im/post/5b5851976fb9a04f844ad
2019-06-10 13:34:54