原创 storm學習2-storm生命周以及相關配置詳解
Storm中的生命週期 瞭解Spout和bolt方法調用 Sqout方法調用順序: 1.declareOutputFields() //聲明發送字段信息，提交前執行 2.open() //提交集羣后第一個執行 3.activate()
2020-07-06 15:29:08
1
原创 Twitter Storm的新利器Pluggable Scheduler 【轉】
轉自:http://www.51studyit.com/html/notes/20140403/51.html 版本： storm0.9.1 kafka0.8.1 可插拔式的任務分配器(Pluggable Sched
2020-07-06 15:29:06
1
原创 storm學習 相關API介紹（轉）
轉自：http://www.51studyit.com/html/notes/20140329/44.html Streams, 流 流作爲storm的核心概念, 定義爲無限的tuple序列. 什麼是tuple?
2020-07-06 15:29:06
3
原创 Storm 實現滑動窗口計數和TopN排序 【轉】
轉自:http://www.51studyit.com/html/notes/20140329/49.html 計算top N words的topology, 用於比如trending topics or trending imag
2020-07-06 15:29:06
1
原创 storm學習-Storm DRPC實戰 【轉】
轉自:http://www.51studyit.com/html/notes/20140329/47.html DRPC ,Distributed Remote Procedure Call RPC本身是個成熟和古老的概
2020-07-06 15:29:04
3
原创 Redis學習1--字符串學習
Redis存儲數據格式有6中，首先來學習字符串String 1.字符串存儲 爲字符串鍵設置值 SET key value 將字符串鍵key的值設置爲value，命令返回ok設置成功 如果字符串鍵key已經存在，那麼將會覆蓋原來的舊值
2020-07-06 15:29:04
原创 Redis學習3--列表鍵List
列表list 一個列表可以包含一個或多個數量的項item。每個項按照他們被push到列表的位置來排列 每個列表項所在的位置決定了這個像的索引值index，索引從0開始，從列表的左端到右端一次遞增， 位於列表最左端表頭位置的項的索引爲0，
2020-07-06 15:29:04
原创 Storm starter - SingleJoinExample 【轉】
轉自:http://www.51studyit.com/html/notes/20140403/52.html Topology 1.定義兩個spout, 分別是genderSpout, ageSpout Fiel
2020-02-23 00:48:12
原创 hadoop學習7-
總結: 1）常見的數據壓縮算法 DEFLATE bzip2 gzip snappy 2）使用native壓縮庫算法 snappy 安裝 libsnappy.so libhadoop.so gzip deflate 安裝zlib libh
2020-02-23 00:48:12
原创 HDFS簡介
http://www.cnblogs.com/forfuture1978/archive/2010/03/14/1685351.html 1.1、數據塊(block) HDFS(Hadoop Distributed File Sys
2020-02-23 00:48:12
原创 SequenceFile與MapFile
public static String uri ="hdfs://192.168.1.201:9100"; public static String []data ={ "one, two",
2020-02-23 00:48:12
原创 Hadoop學習4-HDFS詳解1(SNN、副本放置策略)
總結上一次學習: 1)搭建hdfs集羣可能會出現namenode 、datanode進程會掛掉？ 需要查看logs的異常信息在來看 如果namenode沒有正常啓動，原因可能是沒有正確的格式化 如果datanode沒有啓動，原因可能是na
2020-02-23 00:48:12
原创 hadoop8-序列化
序列化 1)序列化和反序列化的概念 序列化是將結構化對象轉換成爲字節流以便於進行網絡傳輸或寫入持久存儲的過錯 反序列化是將字節流轉換成爲一系列結構化對象的過程 序列化的用途 1)作爲一種數據持久化格式 2)作爲一種通信的數據格式 3)作爲
2020-02-23 00:48:12
原创 storm學習-Storm Topology的併發度（轉）
轉自:http://www.51studyit.com/html/notes/20140329/45.html 概念 一個Topology可以包含一個或多個worker(並行的跑在不同的machine上), 所以work
2020-02-23 00:48:12
原创 Hadoop HDFS之SequenceFile和MapFile
來源:http://blog.csdn.net/keda8997110/article/details/8514908 Hadoop的HDFS和MapReduce子框架主要是針對大數據文件來設計的，在小文件的處理上不但效率低下，而
2020-02-23 00:48:12