原创 理解Ceph的存儲設計

轉載: 理解Ceph的存儲設計 http://www.fireflies.me/tag/rados/ ceph 在大部分中心化存儲系統中(如GFS)中,通常有一箇中心節點管理整個系統元數據的更新、協調節點之間的數據複製,檢測

原创 解析Ceph: 恢復與數據一致性

作爲一個面向大規模的分佈式存儲系統,故障處理是作爲一個常態異常處理。Ceph 爲了細化和保證故障發生和故障恢復的集羣高可用性和一致性,在設計上將故障分爲兩類: 臨時性故障: 主機升級維護,重啓,掉電等等在一定時間內可以重新上線 O

原创 容器 STL

容器 STL vector list deque 雙端隊列 stack 棧 queue 隊列 priority_queue 優先級隊列 底層默認使用向量實現 map 映射 有序,提

原创 ceph openstack聯繫

The OpenStack Ceph Galaxy Picture of our galaxy :). This picture describes the state of the integration of Ceph in

原创 翻譯 CRUSH: Controlled, Scalable,Decentralized Placement of Replicated Data

CRUSH: Controlled, Scalable,Decentralized Placement of Replicated Data CEPH 的 CRUSH 算法原理 概要 新興的的大規模分佈式存儲系統面臨着在數十甚至

原创 Storm分佈式實時計算模式

Storm分佈式實時計算模式 1分佈式單詞計數 並行度 worker 一個workder屬於特定的topology。 進程啓動一個或多個executor。 executor 一個 executor 是由 worker 進程生成的一個線程

原创 ceph系統原理 細節 benchmark 不完全說明

ceph系統原理 細節 benchmark 不完全說明 轉載請說明出處: http://blog.csdn.net/XingKong_678/article/details/51473988 1 流程說明 1.1 應用 1)

原创 1MySql學習

MySql 學習 < 重要設置 關閉 safe update mode SET SQL_SAFE_UPDATES = 0; 存儲引擎選擇 查看數據庫支持的存儲引擎 show engines; 更改存儲引擎 Alter table

原创 Storm實戰_構建大數據實時計算

Storm實戰 構建大數據實時計算 ZeroMQ sudo yum install maven 1簡介 使用場景 實時分析 在線機器學習 持續計算 分佈式RPC ETL 保證每個消息都得到處理,速度快每個節點每秒百萬次消息. 實體

原创 storm知識點

storm知識點 關於Storm與JStorm的調度算法的討論 Storm 性能優化 例子 圖書 Storm技術內幕與大數據實踐 192頁 Storm:大數據流式計算及應用實踐 storm1.0.0性能提升 Storm 1.0.0說性

原创 CEPH CRUSH 算法源碼分析 原文CEPH CRUSH algorithm source code analysis

原文地址 CEPH CRUSH algorithm source code analysis http://www.shalandis.com/original/2016/05/19/CEPH-CRUSH-algorithm-sour

原创 Storm and Heron

storm learn 原文地址 github原文 Jstorm storm java 實現 JStorm 比Storm更穩定,更強大,更快, Storm上跑的程序,一行代碼不變可以運行在JStorm上。 Jstorm github 封

原创 cookbook

ceph cookbook 可靠性 糾刪碼 緩存 rbd接口 塊設備 每一個塊設備分佈在多個ceph節點上. librbd庫,RBD原生支持Linux內核. 特性 1) 可靠性,性能 2) 完整和增量快照 3) 自動精簡配置

原创 maven使用

Storm編譯運行 1maven依賴下載 Maven教程 - 更換鏡像 ubuntu eclipse 安裝maven插件 更換 Maven 鏡像Maven 的官方鏡像比較慢,建議使用其他網站提供的鏡像,速度比較快 國內訪問repo1.m

原创 從零開始學Storm

從零開始學Storm Storm簡介 學習 1基本知識 應用方向: 流處理 連續計算 分佈式RPC storm-state 管理大量的內存狀態 0.8 版本引入State 2拓撲詳解 TopologyBuilder 3組件詳解 M