原创 一週一論文（翻譯）——[SIGMOD 2016] RDMA over Commodity Ethernet at Scale
本文主要解決的問題是在RoCEv2體系中，基於VLAN的PFC的擁塞控制是逐跳工作的，源和目的服務器之間可能有多跳，如果有持續的網絡擁塞，PFC暫停幀會從阻塞點傳播並返回到源，這就會導致諸如unfairness和victim flow的問
2020-03-04 09:06:17
17
原创 Kafka：Kafka核心概念
1 消息系統簡介 1.1 爲什麼要用消息系統 ？ 解耦 各位系統之間通過消息系統這個統一的接口交換數據，無須瞭解彼此的存在； 冗餘 部分消息系統具有消息持久化能力，可規避消息處理前丟失的風險； 靈活性和消除峯值 在訪問量劇增的情況
2020-02-24 05:11:16
原创 Kafka：Zero-Copy零拷貝
1. 前言 前一段時間研究了大規模日誌流高吞吐並行存儲，通過深入研究Kafka的底層存儲機制。我們發現Kafka的Zero-Copy零拷貝技術採用的是Java底層FileTransferTo方法，後期我們嘗試了對TransferT
2020-02-24 05:11:16
原创 Kafka：分佈式消息隊列的抽象模型
最基礎的分佈式隊列編程抽象模型是點對點模型，其他抽象構架模型居於改基本模型上各角色的數量和交互變化所導致的不同拓撲圖。具體而言，不同數量的發送者、分佈式隊列以及接收者組合形成了不同的分佈式隊列編程模型。消息中間件的主要功能是**消
2020-02-24 05:11:16
原创 高階數據結構：SSTable
1. 前言 最近在組會上面通過小組討論論文時，發現了SSTable這個數據結構。課後爲了深入分析和學習這個數據結構，我做了一些資料查閱。在查詢相關分佈式的書籍後，找到了SSTable的數據結構，現將其作爲筆記記錄下來。之前整理的B
2020-02-24 05:11:16
原创 一週一論文（翻譯）——[VLDB 18] Chi:分佈式流處理系統下可擴展的、可編程的控制計劃模塊
Abstract 流處理工作負載和現代共享集羣環境表現出高度的可變性和不可預測性。 結合大量參數空間和各種用戶SLO，這使得現代流處理系統非常難以靜態配置和調整。 爲了解決這些問題，在本文中，我們研究了一種新穎的控制平面設計Chi，它支持
2019-09-17 05:17:23
1
原创 Cloud Programming Simplifie : A Berkeley View on Serverless Computing
Abstract 無服務器雲計算幾乎處理所有系統管理操作，使程序員更容易使用雲。 它提供了一個極大簡化雲編程的接口，代表了從彙編語言到高級編程語言的過渡。 本文簡要介紹了雲計算的歷史，包括對2009年伯克利雲計算視圖的預測進行了說
2019-07-03 05:59:27
1
原创 雲計算的三種服務模式：IaaS，PaaS，SaaS
1. 簡介 IaaS, PaaS和SaaS是雲計算的三種服務模式。“雲”其實是互聯網的一個隱喻，“雲計算”其實就是使用互聯網來接入存儲或者運行在遠程服務器端的應用，數據，或者服務。 任何一個在互聯網上提供其服務的公司都可以叫做雲計
2019-07-03 05:59:27
原创 Spark詳解（十四）：Spark SQL的Join實現
1. 簡介 Join是SQL語句中的常用操作，良好的表結構能夠將數據分散在不同的表中，使其符合某種範式，減少表冗餘、更新容錯等。而建立表和表之間關係的最佳方式就是Join操作。Join連接是大數據處理的重要手段，它基於表之間的共同
2019-06-18 06:49:26
6
原创 計算機網絡：WebSocket協議詳解
1. 概述 一直以來，網絡在很大程度上都是圍繞着HTTP的請求/響應模式而構建的。所有的HTTP通信都是由客戶端控制的，這就需要用戶進行互動或者定期輪詢，以便從服務器加載數據。長期以來存在着各種技術讓服務器得知有新數據可用時，立即
2019-06-11 13:17:13
原创 Netty詳解（六）：Netty 編解碼技術
1. 概述 基於Java提供的對象輸入/輸出流ObjectInputStream和ObjectOutputStream，可以直接把Java對象作爲可村粗的字節數組寫入文件，也可以傳輸到網絡上去。Java序列化的目的主要有兩個：
2019-06-11 13:17:13
原创 NIO詳解（五）：Buffer詳解
1. 概述 Java NIO中的Buffer用於和NIO通道進行交互。如你所知，數據是從通道讀入緩衝區，從緩衝區寫入到通道中的。緩衝區本質上是一塊可以寫入數據，然後可以從中讀取數據的內存。這塊內存被包裝成NIO Buffer對象，
2019-06-11 13:17:13
原创 NIO詳解（十二）：AsynchronousFileChannel詳解
1. 概述 Java NIO中的FileChannel是一個連接到文件的通道。可以通過文件通道讀寫文件。FileChannel無法設置爲非阻塞模式，他總是運行在阻塞模式下。在Java 7中，AsynchronousFileChan
2019-06-11 13:17:13
原创 Netty詳解（三）：Netty 入門應用
1. Netty服務端開發 TimeServer.java package com.basic.netty.bio; import io.netty.bootstrap.ServerBootstrap; import io.ne
2019-06-11 13:17:13
原创 計算機網絡：詳解HTTP協議
1. 概述 HTTP（超文本傳輸協議）是建立在TCP傳輸協議之上的應用層協議。HTTP是一個基於TCP/IP通信協議來傳遞數據（HTML 文件, 圖片文件, 查詢結果等）。HTTP是一個屬於應用層的面向對象的協議，由於其簡捷、快速
2019-06-11 13:17:13
1