原创 RocksDB簡介

RocksDB是FaceBook起初作爲實驗性質開發的,旨在充分實現快存上存儲數據的服務能力。由Facebook的Dhruba Borthakur於2012年4月創建的LevelDB的分支,最初的目標是提高服務工作負載的性能,最大

原创 Redis 和Memcached比較

我個人認爲最本質的不同是Redis在很多方面具備數據庫的特徵,或者說就是一個內存數據庫系統,而Memcached只是簡單的K/V緩存,mongodb本質上是一個物理數據庫。 區別: 性能(網絡IO模型) Memcached是多

原创 hadoop集中式緩存管理

簡介 hdfs中的集中式緩存管理是一種顯式緩存機制,允許用戶指定hdfs要緩存的路徑。namenode將與磁盤上具有所需塊的數據節點通信,並指示它們將塊緩存在堆外緩存中。 hdfs中的集中式緩存管理具有許多顯著的優點。 顯式固定

原创 Kqueue與epoll機制

原文鏈接:https://www.cnblogs.com/FG123/p/5256553.html 首先介紹阻塞與非阻塞: 阻塞是個什麼概念呢?比如某個時候你在等快遞,但是你不知道快遞什

原创 select、poll、epoll之間的區別總結

原文鏈接:https://www.cnblogs.com/Anker/p/3265058.html select,poll,epoll都是IO多路複用的機制。I/O多路複用就通過一種機制

原创 Intel Optane DC Persistent Memory Module (PMM)持久內存

英特爾已經公開討論了一年多的Optane DC Persistent Memory Module(PMM),體現了一種新的以數據爲中心的體系結構,在這個體系結構中,PMM位於DRAM和Optane DC SSD之間,再往下依次是速

原创 跟小白介紹集線器、交換機與路由器的區別

(注:本文旨在簡單的說明集線器、交換機與路由器的區別,因而忽略了很多細節。三者實際的發展過程和工作原理並非文中所寫的這麼簡單。如果你看完本文能大概瞭解到三者的異同,本文的目的就達到了。至於更具體的技術問題,歡迎在留言中探討。) 以

原创 主流分佈式存儲技術的對比分析與應用

摘 要: 隨着數字化轉型的深入,海量數據對存儲提出了新的要求。傳統存儲雖然有技術成熟、性能良好、可用性高等優點,但面對海量數據,其缺點也越來越明顯:如擴展性差、成本高等。爲了克服上述缺點,滿足海量數據的存儲需求,市場上出現了分佈式

原创 OSI七層協議大白話解讀

互聯網的本質就是一系列的網絡協議,這個協議就叫OSI協議(一系列協議),按照功能不同,分工不同,人爲的分層七層。實際上這個七層是不存在的。沒有這七層的概念,只是人爲的劃分而已。區分出來的目的只是讓你明白哪一層是幹什麼用的。 每一層

原创 不是技術也能看懂雲計算,大數據,人工智能

我今天要講這三個話題,一個是雲計算,一個大數據,一個人工智能,我爲什麼要講這三個東西呢?因爲這三個東西現在非常非常的火,它們之間好像互相有關係,一般談雲計算的時候也會提到大數據,談人工智能的時候也會提大數據,談人工智能的時候也會提雲計

原创 Hadoop與Spark比較

https://www.zhihu.com/question/26568496/answer/41608400?utm_source=qq&utm_medium=social&utm_oi=795263310156161024

原创 計算機緩存Cache以及Cache Line詳解

1.計算機存儲體系簡介 存儲器是分層次的,離CPU越近的存儲器,速度越快,每字節的成本越高,同時容量也因此越小。寄存器速度最快,離CPU最近,成本最高,所以個數容量有限,其次是高速緩存(緩存也是分級,有L1,L2等緩存),再次是主存(

原创 spark內存管理

一、概述 Spark 作爲一個基於內存的分佈式計算引擎,其內存管理模塊在整個系統中扮演着非常重要的角色。理解 Spark 內存管理的基本原理,有助於更好地開發 Spark 應用程序和進行性能調優。本文旨在梳理出 Spark 內存管理的

原创 ceph fileStore與 blueStore邏輯架構對比

ceph 消息處理邏輯架構圖 ceph後端支持多種存儲引擎,以插件化的形式來進行管理使用,目前支持filestore,kvstore,memstore以及bluestore,目前默認使用的是filestore,但是目前bluesto

原创 Linux內存中的Cache真的能被回收麼?

在Linux系統中,我們經常用free命令來查看系統內存的使用狀態。在一個RHEL6的系統上,free命令的顯示內容大概是這樣一個狀態: [root@tencent64 ~]# free total