原创 hive-0.9.0的安裝
1. 下載hive-0.9.0，解壓； 2. 進入conf目錄，把4個文件都cp一份，去掉template，hive-default.xml改default爲site: 3. 配置環境變量$HIVE_HOME和$HADOOP_HOME以及
2020-02-24 00:16:53
原创 ubuntu下安裝mysql遇到的問題
使用ubuntu自帶工具裝的： sudo apt-get install mysql-server 安裝後發現無論如何都等不進去，總是報錯如下： ERROR 1045 (28000): Access denied for user 'he
2020-02-24 00:16:53
原创 編譯hadoop-eclipse-plugin-1.1.2.jar插件
hadoop自0.20.x版本後不再提供現成的hadoop-eclipse插件而是給出了源碼自行編譯。 使用任意一個workspace打開你的eclipse 把Hadoop程序目錄的src/contrib的eclipse-plug
2020-02-24 00:16:53
原创 Hibernate簡易BaseDao演示單例模式和線程池
package com.dao;import java.util.List;import org.hibernate.HibernateException;import org.hibernate.Session;import org.h
2020-02-24 00:16:53
原创 讀bigtablel論文筆記——結構部分
bigtable是結構化數據的分佈式存儲系統。 1. 數據結構： 1.1 行 通過字典書序排序。用戶可以根據需要選擇合適的行命名，儘量使相關行挨着牌，就可以在查詢類似數據時進行快速查詢。比如論文中給的maps.google.com，就可
2020-02-24 00:16:53
原创 vi編輯器問題、ubuntu問題
VI部分 1. 上下左右總是出ABCD，還佔行，特難用。這種情況出現在ubuntu13的桌面版。 運行 sudo apt-get install vim。就好了，據說是版本太舊的原因。 2. 使用/查找，回車後查找第一個，摁N查找下一個。
2020-02-24 00:16:53
原创 hadoop機架感知
背景 分佈式的集羣通常包含非常多的機器，由於受到機架槽位和交換機網口的限制，通常大型的分佈式集羣都會跨好幾個機架，由多個機架上的機器共同組成一個分佈式集羣。機架內的機器之間的網絡速度通常都會高於跨機架機器之間的網絡速度，並且機
2020-02-24 00:16:43
原创 vmware下虛擬機自動換ip的解決辦法
最近學習hadoop的過程中，頻繁出現vmware自動換vm的ip的問題，導致原來已經配好的SSH互信不能成功運行。 1. 首先在vmware中設定網段：Edit-》visual network editor -》NAT（一般是最後一個
2020-02-24 00:16:43
原创 java面試中單例問題
public class SingltonTest { private SingltonTest() { }; private static SingltonTest st; public static SingltonTes
2018-08-24 22:05:09
原创 pig的官方安裝
自己按照官網裝的，順便把官網的文檔給翻譯了。如果錯誤，敬請提示！有部分問題，煩勞大神解壓。 安裝pig： 1. 下載安裝hadoop1.1.2 2. 下載安裝JDK1.6 3. 下載pig，解壓到指定目錄。pig的命令在bin目錄中，配置
2018-08-24 22:04:49
原创 hadoop2.2.0-64位 苦逼歷程
1. 安裝環境決定了我的苦逼路程： [root@dev-47 hadoop]# cat /etc/issue CentOS release 6.4 (Final) Kernel \r on an \m[root@dev-4
2018-08-24 22:04:46
原创 hadoop中關於mapreduce的單元測試
這個功能好像是CDH那邊開發的。。。 1. 首先下載jar包：hadoop-0.21.0-mrunit.jar。（經測試，這個jar包是關聯舊API的。請自己根據情況決定） 2. 在eclipse的build path中加入此jar包
2018-08-24 22:04:46
原创 MapReduce: 提高MapReduce性能的七點建議[譯]
Cloudera提供給客戶的服務內容之一就是調整和優化MapReduce job執行性能。MapReduce和HDFS組成一個複雜的分佈式系統，並且它們運行着各式各樣用戶的代碼，這樣導致沒有一個快速有效的規則來實現優化代碼性能的目的。在
2018-08-24 22:04:46
原创 抽象zookeeper中的功能及實現原理
因爲hadoop生態系統中的各個組件都會跟zookeeper打交道，邊邊角角之後，又綜合的研習了一遍zookeeper的基本功能和實現原理。 沒有敢說剖析更難能，在這裏只是總結一下zookeeper中的主導思想： 1. 建立類似文件系統的
2018-08-24 22:04:45