原创 mfs vs fastdfs
MooseFS MooseFS是一個運行於多臺物理機上的網絡分佈式文件系統，特性如下：Unix-alike， 支持層級目錄結構 支持POSIX文件屬性（rwx，訪問時間） 支持塊設備文件，管道文件和套接口文件等特殊文件類型 支持文件的軟連接
2019-07-19 15:14:43
原创 Spark：一個高效的分佈式計算系統
什麼是SparkSpark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用的並行計算框架，Spark基於map reduce算法實現的分佈式計算，擁有Hadoop MapReduce所具有的優點；但不
2019-02-22 18:52:48
原创 hadoop-ha QJM 架構部署
公司之前老的hadoop集羣namenode有單點風險，最近學習此鏈接http://www.binospace.com/index.php/hdfs-ha-quorum-journal-manager/ 牛人上的hadoop高可用部
2019-02-22 18:52:48
原创 我的友情鏈接
51CTO博客開發峯雲，就她了。燦哥的saltstack小蝸牛Vamei-pythondjango-comments實現葉落花開python 分詞處理Genius-python分詞旁觀者-鄭昀Python編程hadoop-ha qjm實踐檢
2019-02-22 18:52:30
原创 flume-ng+Kafka+Storm+HDFS 實時系統搭建
轉自：http://www.tuicool.com/articles/mMrQnu7一直以來都想接觸Storm實時計算這塊的東西，最近在羣裏看到上海一哥們羅寶寫的Flume+Kafka+Storm的實時日誌流系統的搭建文檔，自己也跟着整了一
2019-02-22 18:52:30
原创 flume-ng+Kafka+Storm+HDFS 實時系統搭建
轉自：http://www.tuicool.com/articles/mMrQnu7一直以來都想接觸Storm實時計算這塊的東西，最近在羣裏看到上海一哥們羅寶寫的Flume+Kafka+Storm的實時日誌流系統的搭建文檔，自己也跟着整了一
2018-09-11 06:59:32
原创 Spark：一個高效的分佈式計算系統
什麼是SparkSpark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用的並行計算框架，Spark基於map reduce算法實現的分佈式計算，擁有Hadoop MapReduce所具有的優點；但不
2018-09-11 06:59:31
原创 告別51cto blog了,
看到很多朋友都有了自己博客,我就跟風了,哈哈, 以後技術文檔都會更新到 http://shantu.gitcafe.com/ 有需要的朋友,可以去看看,參考一下,哈哈
2018-09-11 06:59:31
原创 fabric 安裝方法
在我的github https://github.com/wangganyu188 上fork了別人的fabric 安裝包， 我的測試虛擬機是centos 6.2 64位的，安裝過程如下：
2018-09-11 06:59:31
原创 網絡服務器架構模型與比較
事件驅動爲廣大的程序員所熟悉，其最爲人津津樂道的是在圖形化界面編程中的應用；事實上，在網絡編程中事件驅動也被廣泛使用，並大規模部署在高連接數高吞吐量的服務器程序中，如 http 服務器程序、ftp 服務器程序等。相比於傳統的
2018-09-11 06:59:30
3
原创 不同應用環境相對適合的python框架
以下是15個最受歡迎的Python開源框架。這些框架包括事件I/O，OLAP，Web開發，高性能網絡通信，測試，爬蟲等。Django: Python Web應用開發框架Django 應該是最出名的Python框架，GAE甚至
2018-09-11 06:59:30
原创 四種開源日誌系統：scribe、chukwa、kafka、flume 比較
1. 背景介紹許多公司的平臺每天會產生大量的日誌（一般爲流式數據，如，搜索引擎的pv，查詢等），處理這些日誌需要特定的日誌系統，一般 而言，這些系統需要具有以下特徵：（1） 構建應用系統和分析系統的橋樑，並將它們之間的關聯解耦；（2） 支持
2018-09-11 06:59:30
原创 2014年努力的學習
2014年過去大半了，發現自己還有好多東西需要學習，着急啊，雖然一部分已經完成，部分還在努力中，貼出下圖，好好警示一下自己，記得有人說過： 如果不對自己狠一點，永遠不知道自己有多牛逼，哈哈，
2018-09-11 06:59:30
原创 python 函數庫妙用 range xrange
range 和 xrange 使用區別range 函數說明：range([start,] stop[, step])，根據start與stop指定的範圍以及step設定的步長，生成一個序列。range示例: >>> range(5)
2018-09-11 06:59:30
原创 python 遠程執行命令、發佈文件
最近有個需求，想獲取部分服務器上運行了那些應用服務，一臺臺去看，太費勁了，參考牛人寫了此腳本，後期再加上一個前端頁面做一些簡單的運維維護的工作，湊合着先用着，待完善，注：此腳本依懶於安裝fabric ，安裝過程參考： http:
2018-09-11 06:59:30