原创 storm學習-Storm消息機制【轉】

轉自:http://www.51studyit.com/html/notes/20140329/46.html  messaging semantics for most computations. Read more abo

原创 hadoop6-常見壓縮算法

常見的數據壓縮算法 Deflate gzip bzip2 LZO LZ4 Snappy LZO和LZ4算法已經不再hadoop1.x 1)DEFLATW是同時使用LZ77算法和哈夫曼編碼的一個無損數據壓縮算法,源代碼可以在zlib庫中找到

原创 Storm學習1-環境安裝

學習storm安裝過程 1.首先安裝jdk配置jdk環境 rpm -ivh jdk1.7.0_71.rpm 配置環境變量 JAVA_HOME=/usr/java/jdk1.7.0_71 PATH=$PATH:$JAVA_HOME/bin

原创 hadoop學習5-HDFS API學習

複習上一次課總結 1)HDFS讀過程 DistributedFileSystem =>FSDataInputStream =>DFSClient.open(RPC通信機制)=>NN.open 2)HDFS寫過程 Distribut

原创 python學習1-基礎

Tab鍵補全設置: 使用ubuntu12.03中的python2.7 在/usr/lib/python.27/dist-packages/ 下新建 vi tab.py root@meng-VirtualBox:/usr/lib/pytho

原创 JVM性能調優監控工具jps、jstack、jmap、jhat、jstat、hprof使用詳解

現實企業級Java開發中,有時候我們會碰到下面這些問題: OutOfMemoryError,內存不足 內存泄露 線程死鎖 鎖爭用(Lock Contention) Java進程消耗CPU過高 ..

原创 Zookeeper分佈式鎖(多進程競爭)實現的代碼示例分享

轉自:http://blog.csdn.net/yangbutao/article/details/11669609 zookeeper分佈式鎖在實際的場景中應用很多,比如集羣中多個節點的leader選舉,數據庫master-slav

原创 mongodb學習1-安裝、部署、shell

1.下載mongodb  wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.6.7.tgz?_ga=1.61439151.2035670845.1415171196

原创 Redis學習2--散列hash

定義 散列的基本操作 HSET key field value 在散列中key關聯給定的域值對field 和value 果果field之前沒有關聯值,那麼返回1,如果已經有那麼直接覆蓋舊值,並返回0 獲取域關聯的值 HGET key

原创 Redis學習7--HyperLogLog

HyperLogLog

原创 Zookeeper Client簡介

轉自:http://jm-blog.aliapp.com/?p=1047 直接使用zk的api實現業務功能比較繁瑣。因爲要處理session loss,session expire等異常,在發生這些異常後進行重連。又因爲ZK的wat

原创 Java性能優化學習-操作系統性能監控

關鍵:         找到性能極限的關鍵在於知道應該監控哪些數據、監控軟件棧的哪些部分以及使用哪些工具.找到性能問題的第一步就是監控應用的行爲。通過監控提供的線索,對性能問題進行歸類。 改善性能設計到3中不同的活動: 1.性能監控。 以

原创 ZooKeeper典型應用場景一覽

轉自:http://jm-blog.aliapp.com/?p=1232 查看PDF版本 ZooKeeper是一個高可用的分佈式數據管理與系統協調框架。基於對Paxos算法的實現,使該框架保證了分佈式環境中數據的強一致性,也正是基於這

原创 ZooKeeper權限控制

轉自:http://jm-blog.aliapp.com/?p=1241 目前在公司內部使用ZooKeeper的地方越來越多,應用大多喜歡自己部署一套ZK集羣來使用。考慮到ZK的高可用,並且一套ZK集羣至少3臺機器, 那麼每個應用,尤

原创 Redis學習8-數據庫管理

數據庫管理 數據庫操作命令 處理數據庫單個鍵命令 Type 命令返回類型 none              表示key不存在 string             表示字符串或者HyperLoglog(HLL二進制文件) hash