原创 3月14日圓周率日—使用並行計算求圓周率π

關於圓周率大家再熟悉不過了:我們從課本上學習到早在一千多年前,祖沖之將圓周率計算到3.1415926到3.1415927之間…計算機誕生後,計算圓周率被用來檢測計算機的硬件性能,晝夜燃燒cpu看會不會出問題

原创 淘寶分佈式框架Fourinone2.0正式版發佈

淘寶Fourinone2.0提供了一個4合1分佈式框架和簡單易用的編程api,實現對多臺計算機cpu,內存,硬盤的統一利用,從而獲取到強大計算能力去解決複雜問題。Fourinone框架提供了一系列並行計算模

原创 淘寶Fourinone和Hadoop的完整對比

  fourinone-1.11.09 hadoop-0.21.0 體積 82K 71M 依賴關係 就一個jar,沒有依賴 約12項jar包依賴 配置 就一個配置文件 較多配

原创 淘寶分佈式框架Fourinone2.0正式版發佈

淘寶Fourinone2.0提供了一個4合1分佈式框架和簡單易用的編程api,實現對多臺計算機cpu,內存,硬盤的統一利用,從而獲取到強大計算能力去解決複雜問題。Fourinone框架提供了一系列並行計算模式(農民工/包工頭/職介紹/手工倉

原创 分佈式計算自動部署

對於一個分佈式計算的應用,如果不需要自動部署,將工頭工人程序文件分別部署到相應機器運行即可,不需要過多配置。 fourinone2.0可以支持自動化class和jar包部署,class和jar包只需放在工頭機器上, 各工人機器會自動獲取並執

原创 操作分佈式文件之五:如何讀寫遠程文件

FttpAdapter是通過FttpReadAdapter來直接讀取遠程文件內容 FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/log/1.log"); Fttp

原创 淘寶Fourinone分佈式計算框架性能、壓力、容災測試報告

Fourinone在去年11月在淘寶內部通過了壓測,上億排序和wordcount等經典指標均優於hadoop,這是一份長達10多頁的詳細測試報告: http://down.51cto.com/data/337250 (下載無須積分)

原创 操作分佈式文件之四:如何進行集羣內文件複製和並行複製

集羣文件複製是經常面臨的需求,比如備份容災,文件遷移,同步數據等等 FttpAdapter提供了簡單高效的文件複製方法,支持遠程文件的集羣內複製 FttpAdapter fromfile = new FttpAdapter("fttp:

原创 操作分佈式文件之一:如何搭建配置FttpAdapter環境

FttpAdapter的使用很簡單,在每臺計算機上啓動一個FttpServer即可,另外需要啓動一個ParkServer負責協同。ParkServer也可以和其中一個FttpServer放在相同計算機上 1、啓動ParkServerDemo

原创 我的友情鏈接

51CTO博客開發

原创 Fourinone-4.15.08(四不像)新版本發佈

4.15.08升級版主要增強了CoolHash以下功能:爲了方便在Tomcat等多線程服務器內調用,開通了CoolHash的多線程客戶端支持(4.05版由於jvm安全隔離性考慮只支持多進程客戶端),提升數據庫引擎對單條數據讀寫的高併發低延

原创 淘寶Fourinone四合一分佈式計算框架整體介紹

FourInOne(中文名字“四不像”)是一個四合一分佈式計算框架,在寫這個框架之前,我對分佈式計算進行了長時間的思考,也看了老外寫的其他開源框架,當我們把複雜的hadoop當作一門學科學習時,似乎忘記了我們想解決問題的初衷:我們僅僅是想

原创 分佈式計算多機部署與配置

在分佈式計算上手demo指南,分佈式計算sayhello,分佈式計算完整demo中, 對於工人(worker)、工頭(ctor),parkserver在多臺計算機上的部署和配置:每臺計算機放置實現類,fourinone.jar,confi

原创 操作分佈式文件之三:如何訪問和操作遠程文件

FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/qianfeng.py/fttp/tmp/1.log"); 上面實例化一個FttpAdapter類,並輸入一個fttp

原创 Fourinone2.0對分佈式文件的簡化操作

Fourinone2.0裏通過FttpAdapter和FileAdapter實現文件io的支持。其中,FttpAdapter提供對遠程文件的操作,FileAdapter提供對本地文件的操作,兩者api和使用相似,這裏主要說明FttpAda