原创 MapReduce作業shuffle分析
1、流程圖 2、流程概要 2.1 map輸出內存 2.2 內存到硬盤之前，hash分區、每個分區中內排序、有combiner則運行 2.3 硬盤數據合併merge 2.4 reduce數據fetch map的輸出文件 2.5 複製
2020-06-22 18:40:50
原创 谷歌搜索小技巧
site:www.sohu.com 指定站點內部的搜索~遠 遠的近義詞搜索“test source” 組合關鍵詞搜索，不能拆開2008..2010 時間範圍搜索filetype:pdf/txt 指定文檔類型的搜索intitle:
2020-06-22 18:40:50
原创 Hadoop mapreduce原理學習
最近整了很長一段時間才瞭解了map reduce的工作原理，shuffle是mapreduce的心臟，瞭解了這個過程，有助於編寫效率更高的mapreduce程序和hadoop調優。自己畫了一幅流程圖（點擊查看全圖）：
2020-02-22 03:58:50
原创 重新學習事務的隔離級別和數據庫問題
經過一輪面試，發現自己的很多知識是混沌狀態，處於一種感性的狀態，沒有深究。也可能是當時沒有看懂，就掠過了。現在重讀，溫故知新。 1、髒讀。 就是讀到了髒數據。（dirty，髒的，不對的。） step Session A Ses
2020-02-22 03:58:50
原创 從程序員到項目經理（三）：認識項目經理
來源：西西吹雪 （閱讀提示：本文比較長，如趕時間，可直接跳到第二節的第四點，即“西西吹雪的六種能力模型”） 在希臘德爾斐的阿波羅神廟上，刻得着一句神祕的箴言：“認識你自己”。從某種程度上來說，我們都是自己的“最熟悉的陌生人”
2020-02-22 03:58:50
原创 ANSI,ASCII,Unicode的區別與聯繫
通俗易懂的文章，轉一下。 很久很久以前，有一羣人，他們決定用8個可以開合的晶體管來組合成不同的狀態，以表示世界上的萬物。他們看到8個開關狀態是好的，於是他們把這稱爲"字節"。 再後來，他們又做了一些可以處理這些字節的機器，
2020-02-22 03:58:50
原创 西西吹雪：從程序員到項目經理（二）
來源：西西吹雪 被任命爲項目經理，是職業生涯的第一次飛躍，既驚喜又緊張。從現在開始，你要思考怎樣才能勝任項目管理的工作，否則等着你的，很可能是一場悲劇。 一．升職之辨 1. 爲什麼是我 不是每個人都能當項目經理，程序員中只有一小部分能成
2020-02-22 03:58:50
原创 HDFS理論分析
1.1設計前提和目標：１）硬件錯誤是常態而不是異常。錯誤檢測並快速自動恢復是HDFS的最核心設計目標２）流式數據訪問。運行在HDFS上的應用主要是以流式讀爲主，做批量處理；更注重數據訪問的高吞吐量。３）超大規模數據集。HDFS的一般企業級
2020-02-22 03:58:50
原创 Mysql問題排查文檔
1. Mysql問題歸類 1.1 SQL類問題 這類問題通常是由用戶習慣不好導致的問題，比如大表沒有索引，SQL語句不規範等。查找到錯誤的sql，修改處理。 1.2 配置類問題 這類問題屬於mysql數據庫的配置不合理的問題，導致數據庫操
2020-02-22 03:58:50
原创 MapReduce作業運行機制
1、mapreduce的體系結構 2、mapreduce作業運行機制 2.1運行圖 2.2運行解析 2.2.1作業的提交 1)此方法調用submit(). 在Submit()方法裏面連接JobTracker，即生成一個內部Job
2020-02-22 03:58:50
原创 西西吹雪：從程序員到項目經理（一）
來源：西西吹雪 “從程序員到項目經理”，這個標題讓我想起了很久以前一本書的名字《從Javascript到Java》。然而，從Javascript到Java充其量只是工具的更新，而從程序員到項目經理，卻是一個脫胎換骨的過程。從Java
2020-02-22 03:58:50
原创 MySQL選擇合適的字段
1. 總體原則 1. 使用合適的數據類型，滿足要求，提高效率 2. 優先使用數字類型的字段，mysql處理數字類型字段較快 1.1 三大
2020-02-22 03:58:50
原创 MySQL數據庫維護手冊
一、每天做的 （一）確保mysql啓動並運行。 查看mysql進程是否運行正常，具體命令是ps -ef|grep mysql；top檢查mysql的運行。以下是一個例子： （二）檢查管理員錯誤日誌和慢查詢日誌。 管理員錯誤日誌爲DBA準備
2020-02-22 03:58:50
原创 UML類圖與類的關係詳解-UML
在畫類圖的時候，理清類和類之間的關係是重點。類的關係有泛化(Generalization)、實現（Realization）、依賴(Dependency)和關聯(Association)。其中關聯又分爲一般關聯關係和聚合關係(Aggreg
2020-02-22 03:58:50
原创 11步教你選擇最穩定的MySQL版本
http://www.csdn.net/article/2012-04-05/313922 MySQL開源數據庫有多個重要分支，目前擁有的分支分別爲：MySQL Cluster、MySQL 5.1、MySQL 5.5、MySQL 6.
2020-02-22 03:58:50