原创 【系列】Matei Zaharia(Spark系統作者)博士論文-0 摘要

隨着處理器提升速度下降和數據量的不斷增長,很多公司和組織(既有互聯網公司也有傳統的企業還有一些研究機構)都要求他們的應用能夠Scale out到更大的分佈式系統上(比如整個數據中心)。這些應用又分爲以下幾種類型: 機器學習類型的應用(m

原创 51Talk-Level 7 Unit 2 L1

今日主題:工作面試 高頻口語句型(想到中文但是不能馬上聯想到英文的): 1. job applicant 職位申請者 2. on account of 由於 3. become familiar with 對...熟悉 4.

原创 Patterson關於好的研究中心是怎樣煉成的

David Patterson是計算機體系結構的當前最有影響力的人之一,在7月份的《計算機學會通訊》上有一篇其關於好的研究中心的建立準則,大致有以下10條: 研究中心要打破學科藩籬。這從Patterson教授本人身上也能看到,因爲他現在

原创 Scale Up和Scale Out的區別

Scale Out是指Application可以在水平方向上擴展。一般對數據中心的應用而言,Scale out指的是當添加更多的機器時,應用仍然可以很好的利用這些機器的資源來提升自己的效率從而達到很好的擴展性。 Scale Up是指Ap

原创 計算機體系結構的鐵律(iron law)

計算機體系結構的鐵律可由以下公式來描述: 從Programmer的角度來看,處理器的性能就是執行程序的耗費的時間,所以用Time/Program來刻畫處理器性能。而這個簡單的公式背後是有非常豐富的內涵的,具體地說,就是該公式又可以展開爲

原创 微處理器之Victim Cache

Victim Cache的提出主要就是綜合直接映射的高速度和集相關的低衝突率(高命中率)這兩方面好處。經過一系列統計研究發現,在直接映射中,剛剛被擠出去的數據是最常被訪問的。既然這樣,解決辦法就來了,就給每個塊再單獨配一個小緩衝區(4~3

原创 微處理器之Trace Cache淺析

問題背景是這樣的:隨着處理器內流水線越來越長,主頻越來越高,分支問題帶來的性能損失就越來越明顯了。根據統計,分支指令佔指令總數的10%(靜態),15%(動態)。也就是說平均每處理6~7條指令就出現一條條件轉移指令。比如流水線的深度爲25,

原创 51Talk-Level 7 Unit 4 L1

今日主題:投訴旅行社(Talking about your working experience) 高頻口語句型(想到中文但是不能馬上聯想到英文的): 1. fit in 適合 2. focus on 集中注意力 3. eve

原创 51Talk-Level 7 Unit 3 L3

今日主題:旅途觀光(Describing your holiday) 高頻口語句型(想到中文但是不能馬上聯想到英文的): 1. I want to have a look with my own eyes. 我想親眼去看看  2

原创 Hadoop中解決跨split問題

Split是邏輯分塊,通過RecorderReader的進行key-value化輸入到Mapper的Map函數。邏輯上,Map由於拆分數據粒度的原因可能會造成需要的數據跨塊或者跨Split。遇到這種問題,可以在RecordReader中解

原创 常成員函數:Const類限定的成員函數

常成員函數是使用const關鍵字說明的函數。常成員函數表示這個函數不會對這個類對象的數據成員作任何改變.常量(const)對象可以調用const修飾的函數,不能調用非const修飾的函數.對成員變量只讀的函數應該儘量設計成常成員函數.只

原创 51Talk-Level 7 Unit 3 L2

今日主題:旅途觀光(A sightseeing trip) 高頻口語句型(想到中文但是不能馬上聯想到英文的): 1. provide somebody with something 給某人提供某物 2. be involved

原创 【系列】Matei Zaharia(Spark系統作者)博士論文-1 引言

由於單臺機器的計算能力和I/O能力已經無法滿足不斷增長的數據處理需求,越來越多的組織需要將應用擴展到更大規模的集羣上。但在集羣環境中,可編程性方面將遇到以下幾個挑戰:  並行編程問題;爲了將應用並行化,需要並行編程模型的支撐。容錯和慢節

原创 51Talk-Level 7 Unit 2 L2

今日主題:職業發展 高頻口語句型(想到中文但是不能馬上聯想到英文的): 1. set about to 着手做 2. wander about 徘徊 3. beg for 祈求 4. pust ... aside 把什麼...放

原创 51Talk-Level 7 Unit 2 L3

今日主題:面試應聘者 高頻口語句型(想到中文但是不能馬上聯想到英文的): 1. carry out 實現,完成; Make sure he is competent enough to carry out the job. 2.