原创 我的友情鏈接

51CTO博客開發

原创 Storm數據流模型的分析及討論

Storm基本概念Storm是一個開源的實時計算系統,它提供了一系列的基本元素用於進行計算:Topology、Stream、Spout、Bolt等等。在Storm中,一個實時應用的計算任務被打包作爲Topology發佈,這同Hadoop的M

原创 流式大數據處理的三種框架:Storm,Spark和Samza

Apache Storm在Storm中,先要設計一個用於實時計算的圖狀結構,我們稱之爲拓撲(topology)。這個拓撲將會被提交給集羣,由集羣中的主控節點(master node)分發代碼,將任務分配給工作節點(worker node)執

原创 linux EPOLL Edge-Triggered Mode

什麼是epollepoll是什麼?按照man手冊的說法:是爲處理大批量句柄而作了改進的poll。當然,這不是2.6內核纔有的,它是在2.5.44內核中被引進的(epoll(4) is a new API introduced in Linu

原创 Storm - 事務管理

Storm0.7.0實現了一個新特性——事務性拓撲,這一特性使消息在語義上確保你可以安全的方式重發消息,並保證它們只會被處理一次。在不支持事務性拓撲的情況下,你無法在準確性,可擴展性,以空錯性上得到保證的前提下完成計算。 NOTE:事務性拓

原创 Storm數據流模型的分析及討論

Storm基本概念Storm是一個開源的實時計算系統,它提供了一系列的基本元素用於進行計算:Topology、Stream、Spout、Bolt等等。在Storm中,一個實時應用的計算任務被打包作爲Topology發佈,這同Hadoop的M

原创 流式處理storm介紹

Hadoop(大數據分析領域無可爭辯的王者)專注於批處理。這種模型對許多情形(比如爲網頁建立索引)已經足夠,但還存在其他一些使用模型,它們需要來自高度動態的來源的實時信息。爲了解決這個問題,就得藉助 Nathan Marz 推出的 Stor

原创 WEB開發技術框架利器之一 -- Beetl使用筆記

A、介紹Beetl,是Bee Template Language的縮寫,它絕不是簡單的另外一種模板引擎,而是新一代的模板引擎,它功能強大,性能良好。 B、優勢    對於web應用來說,必須通過controller才能渲染模板,beetl也

原创 WEB開發技術框架利器之一 -- JFinal使用筆記

 介紹JFinal是基於 Java 語言的極速 WEB + ORM 框架,其核心設計目標是開發迅速、代碼量少、學習簡單、功能強大、輕量級、易擴展、Restful。 在擁有Java語言所有優勢的同時再擁有ruby、python、php等動態語

原创 什麼是緩存及其算法介紹記錄

什麼是緩存?       緩存是“存貯數據(使用頻繁的數據)的臨時地方,因爲取原始數據的代價太大了,所以我可以取得快一些。”  緩存可以認爲是數據的池,這些數據是從數據庫裏的真實數據複製出來的,並且爲了能別取回,被標上了標籤(鍵 ID)。命

原创 WEB開發技術框架利器之一 -- Spring MVC

A、介紹:Spring Web MVC是一種基於Java的實現了Web MVC設計模式的請求驅動類型的輕量級Web框架,即使用了MVC架構模式的思想,將web層進行職責解耦,基於請求驅動指的就是使用請求-響應模型,框架的目的就是幫助我們簡化

原创 流式大數據處理的三種框架:Storm,Spark和Samza

Apache Storm在Storm中,先要設計一個用於實時計算的圖狀結構,我們稱之爲拓撲(topology)。這個拓撲將會被提交給集羣,由集羣中的主控節點(master node)分發代碼,將任務分配給工作節點(worker node)執

原创 Infinispan-Redis配置使用

最近在項目中需要用到infinispan和redis兩個框架,參照官方配置指導infinispan-redis配置,在eclipse中進行配置設置總是提示錯誤信息(不知道是哪裏寫錯了,還是怎麼的);後面經過多次改寫測試,如下配置就不會提示錯

原创 hadoop、Storm該選哪一個?

1.hadoop、Storm各是什麼運算2.Storm爲什麼被稱之爲流式計算系統3.hadoop適合什麼場景,什麼情況下使用hadoop 4.什麼是吞吐量 首先整體認識:Hadoop是磁盤級計算,進行計算時,數據在磁盤上,需要讀寫磁盤;St

原创 我的友情鏈接

51CTO博客開發