原创 hadoop起步之環境安裝

平臺: windows 7 1、安裝jdk 2、安裝cygwin,模擬linux環境,在安裝的selectpackage階段,需要選擇openSSh和openSSl這兩個選項 3、如果cygwin的中文顯示亂碼,cygwin界面右鍵-->

原创 hadoop起步之HDFS基本概念

1、適用範圍 (1)、適用於一次寫入,多次讀取的大文件存儲方案 (2)、不適用於低延遲的需求方案,可以考慮Hbase (3)、不適用於海量小文件存儲(metaData會膨脹) 2、兩個角色 (1)、NameNode,主要管理文件目錄樹,文

原创 hadoop起步之mapReduce

1、map function, input : pairs, output : pairs 氣象局的example,最終目的是計算出每年的最高溫度。 input: (0, 0067011990999991950051507004...99

原创 hadoop起步之環境安裝2

平臺:window7 由於環境安裝1 中介紹的cygwin安裝遇到很多坑,所以更換了方案,使用虛擬機來配置hadoop,簡單描述下流程 1、使用vmware 2、虛擬機爲centos 3、現在vmware上安裝centos 4、yum u

原创 cRuntime函數之(rename)

rename( const char * oldname, const char * newname ) 1、重命名一個文件,但其實它的作用還包含了移動一個文件 2、oldname和newname是完整路徑,可以是文件也可以是文件夾,如

原创 cRuntime函數之(getenv_s)

errno_t getenv_s( size_t *pReturnValue, char* buffer, size_t sizeInBytes, const char *varname ); errno_t

原创 winAPI之MoveFileEx

MoveFileEx(__in LPCSTR lpExistingFileName, __in LPCSTR lpNewFileName, __in DWORD dwFlags) 1、本意爲移動文件到指定位置 2、MOVEFILE_RE

原创 winAPI之遍歷文件夾

WIN32_FIND_DATA wfd; HANDLE hFind = ::FindFirstFile(strDir + _T("*.*"), &w

原创 CString之GetBuffer

1、LPTSTR GetBuffer(int nMinBufferLength)可以讓程序員直接操作CString內部的buffer指針,nMinBufferLength讓CString至少分配這個長度的字符數 2、GetBuffer調用

原创 cRuntime函數之(strtol/wcstol)

功能:轉換字符串爲長整形數字 頭文件:<stdlib.h> long strtol( const char *nptr, char **endptr, int base ); long wcstol( con

原创 VisualStudio之Run-Time Library選項

Multi-threaded (/MT) Multi-threaded (/MD) 1、都是支持多線程的c runtime 2、MT指編譯的程序帶上靜態的運行時庫 LIBCMT.LIB 3、MD指使用運行時庫的動態庫版本,鏈接時帶上的是M

原创 windbg的symfix命令

windbg的符號文件: 1、.sympath path,path爲符號所在路徑,可以是url、unc、ftp之類的。該命令會覆蓋之前的符號路徑。 2、.sympath+ path,在原符號基礎上添加新的路徑。 符號服務器的路徑寫法:S

原创 windbg的符號文件查找

如果指定模塊的pdb文件,但reload還是失敗,可以嘗試指定模塊的image文件,也就是dll或exe,再進行reload

原创 windbg堆棧破壞之寄存器分析

ebp:作爲函數調用的基址地址,指向函數在棧的起始位置esp:指向當前執行函數的棧頂指針eip:指向下一個將要執行的cpu指令在內存中的位置如果懷疑一個dump爲堆棧溢出,可以通過觀察這幾個指針所指向的內存值,判斷是否爲堆棧溢出。指令:r

原创 windbg的dump命令

在xp環境下,任務管理器無法對當前進程進行轉儲,這個時候用windbg的dump命令,能解決問題。 .dump /ma D:\\test.dmp,輸出帶有完備信息的minidump .dump /m D:\\test.dmp,輸出標準的m