原创 hadoop 2.2.0 詳細配置

機器準備 假設現在有五臺機器 192.168.8.10 192.168.8.11 192.168.8.12 192.168.8.13 192.168.8.14環境配置 用戶創建 在所有機器上輸入下列命令 useradd -d /home/

原创 CentOS 安裝mediawiki完整攻略

環境介紹 系統版本:CentOS release 6.5 安裝要求:需要有root或sudo權限 準備工作 軟件包的安裝 首先,需要安裝apache, php, mysql-server, mysql-client等相關軟件包 yum

原创 HashMap和ConcurrentHashMap

衆所周知HashMap是線程不安全的,當多個線程同時向一個HashMap寫入數據時,可能會出現異常 爲了解決這個問題可以改用ConcurrentHashMap 下面這篇文章針對通過查對ava源代碼進行分析,詳述了HashMap線程不安全的

原创 mac OSX 安裝 vtk-python

brew update brew upgrade brew tap homebrew/science brew tap homebrew/versions brew install vtk --tcl --qt --python --py

原创 Java按行讀取文本文件和寫文件

有時候我們需要按行讀取文本文件,可以用BufferedReader import java.io.*; public class Test { public static void main(String[] args) throw

原创 ubuntu掛載nfs出錯:mount: wrong fs type, bad option, bad superblock

NFS客戶機需要portmap服務 安裝nfs-common即可 sudo apt-get install nfs-common 此外,NFS掛載的命令詳細說明可參考如下網址: http://network.51cto.com/art/

原创 Ubuntu中命令行打開文件和文件夾

在使用Ubuntu時,如果在命令行中工作又想要以圖形化界面的方式打開相應的文件(如pdf等)和文件夾,可以使用如下命令 xdg-open xxx

原创 主線程等待多個線程執行完畢

我們經常會需要創建多線程,並且有時候也需要等待多線程執行完畢才能繼續執行 下面這篇文章挺經典的,值得一看 http://www.iteye.com/topic/581476

原创 讓Mac中的TexShop支持中文

我在latex裏面寫文檔大部分時間是用的英文,但偶爾也需要撰寫中文文檔。 爲了讓Mac中的TexShop支持中文,我們需要一些配置。 1. 首先,打開TexShop,按住Command鍵,同時點開左上角TexShop中的“偏好設置”,找到

原创 Hadoop 2.6 Resource Manager和DataNode Manager無法啓動

貌似hadoop到了某個版本以後,resource manager需要到設定的節點手動啓動,而不能直接使用start-all.sh 因此遇到這種情況,首先停掉所有的實例: ./stop-all.sh 然後刪除namenode和datano

原创 使用spark streaming報錯ERROR DFSClient: Failed to close inode xxxx

好幾個spark streaming的程序同時運行,發現spark報出瞭如下錯誤: ERROR DFSClient: Failed to close inode 23828 org.apache.hadoop.ipc.RemoteExce

原创 df與dh顯示的磁盤空間結果不一致

今天因爲把ceph的log level調到了最高,導致產生了大量的log塞滿了/var所在的磁盤 而後將log悉數刪除,du -sh顯示log文件夾裏的空間已經減少了,但df -l顯示/var所在磁盤使用率仍然是100%,ceph也因空間

原创 ceph啓動時啓動no module named rados

執行下列操作cp /usr/local/lib/python2.6/site-packages/* /usr/lib64/python2.6/ echo /usr/local/lib > /etc/ld.

原创 ceph啓動時遇到osd.0 authentication error (1) Operation not permitted

scp /etc/ceph/keyring node1:/etc/ceph/ /etc/init.d/ceph -a stop /etc/init.d/ceph -a start