原创 google論文mapreduce

MapReduce:超大機羣上的簡單數據處理                                             摘要 MapReduce是一個編程模型,和處理、產生大數據集的相關實現。用戶指定一個map函數處理一個

原创 Http1.0和http1.1

一個WEB站點每天可能要接收到上百萬的用戶請求,爲了提高系統的效率,HTTP 1.0規定瀏覽器與服務器只保持短暫的連接,瀏覽器的每次請求都需要與服務器建立一個TCP連接,服務器完成請求處理後立即斷開TCP連接,服務器不跟蹤每個客戶也不記錄

原创 hadoop的負載均衡

http://www.docin.com/p-983264922.html http://blog.csdn.net/xhh198781/article/details/7046389 http://www.thebigdata.

原创 linux java 命令行引用jar包的方法 的整理

一般情況下:如果java 文件和jar 包在同一目錄poi-3.0-alpha3-20061212.jar testTwo.java編譯:javac

原创 什麼是掛載?mount的用處在哪?

轉自:https://blog.csdn.net/qq_39521554/article/details/79501714 掛載是將磁盤的分區, 和操作系統的目錄聯繫起來, 也就是說的掛載到一起. linux下的操作是用mount   比

原创 進程間的調度問題

一、先來先服務和短作業(進程)優先調度算法 1.先來先服務調度算法 先來先服務(FCFS)調度算法是一種最簡單的調度算法,該算法既可用於作業調度,也可用於進程調度。當在作業調度中採用該算法時,每次調度都是從後備作業隊列中選擇一個或多

原创 rpc的簡單介紹

簡介 RPC(Remote Procedure Call,遠程過程調用)是建立在Socket之上的,出於一種類比的願望,在一臺機器上運行的主程序,可以調用另一臺機器上準備好的子程序,就像LPC(本地過程調用).越底層,代碼越複雜、靈活

原创 大話存儲——計算機IO

計算機的IO連接計算機的各個組成。 計算機內部有三種IO總線,分別是控制總線、地址總線和數據總線。 CPU、內存和硬盤之間是如何通過網絡進行通信的: CPU如果從硬盤中讀取數據,要向磁盤控制器發出信號,這個信號分爲三部分(1、控制信號(

原创 gdb帶參數調試

一般來說GDB主要調試的是C/C++的程序。要調試C/C++的程序,首先在編譯時,我們必須要  把調試信息加到可執行文件中。使用編譯 器(cc/gcc/g++)的 -g 參數可以做到這一點。如:  > cc -g hello.c -o

原创 linux命令:rm ls touch cat

rm rm -r :刪除整個目錄 rm  -i : 刪除的時候顯示提示,詢問是否刪除 rm  -f : 不詢問,進行刪除   ls ls -l  : 顯示整個目錄的詳細信息 ls -t  :按照時間順序顯示 touch 更改文件的時間戳

原创 分佈式文件系統:原理、問題與方法

轉載:http://blog.csdn.net/it_yuan/article/details/8980849 本地文件系統如ext3,reiserfs等(這裏不討論基於內存的文件系統),它們管理本地的磁盤存儲資源、提供文件到存儲位置

原创 awk使用

1、awk腳本的結構 awk 'BEGIN{ print "start" } pattern{ commands } END{ print "end" }' file 2、awk的執行流程 (1)首先執行BEGIN中的內容 (2)執行完

原创 操作系統——進程

在操作系統中,操作系統將內存,網絡,文件系統抽象爲資源的統一抽象表示。 1、什麼是進程 進程就是進入內存中正在執行的程序。把進程當做一組元素組成的實體。進程包括兩個部分,一部分是代碼部分,另一部分是代碼相關的數據集合。 進程控制塊:

原创 分佈式通信方式-----分佈式消息傳遞

背景: 隨着社會的發展,經濟的飛躍,傳統的單系統模式(webApp+DB)已經很難滿足業務場景的需要。企業系統開始不斷演化成多個子系統並存協作的局面。大大降低了系統間的耦合性,更重要的便於子系統的擴展、升級、維護等。 談到系統間

原创 hadoop中mapreduce的執行過程

http://my.oschina.net/itblog/blog/275294