原创 SSH無密碼登錄
在這裏提到的不僅僅是爲了hadoop的配置，而是更一般的情況，你可以利用它登錄在其他任意服務器的帳戶，而免去每次輸入密碼的煩惱。由於當初記錄時使用的英文，描述很簡單，這裏就不翻譯了。1. Connect to host via ssh wi
2019-02-22 20:21:41
原创 vim多窗口操作
記錄下vim的多窗口操作以免忘記。Multi-windows in vimsplit windows in horizontal: :split/:new/:sp divide windows into two sub-wi
2019-02-22 20:21:35
原创 AWS之快速配置
AWS已在中國落地！詳情請猛擊此處。本文以boto（python sdk for AWS）和cli（AWS command line）爲例，簡單介紹aws開發的配置。假設你已經註冊好aws帳戶，並創建好了aws access key和aws
2018-09-11 08:31:49
1
原创 python文件在不同系統拷貝後的IndentationError(unexpected indent)問題
由於在不同服務器之間開發，有時需要將python代碼文件進行傳輸，這時候就出現了由於編輯器不同產生的IndentationError異常，報出unexpected indent的問題。這是因爲python對indent敏感，而不同的編輯器對
2018-09-11 08:31:49
原创 Git前世今生-版本控制軟件的發展
版本控制軟件發展至今已有40多年的歷史。 最早的版本控制軟件是1972年由Marc J. Rochkind開發的SCCS (Source Code Control System)，通過將不同版本下的文件單獨保存
2018-09-11 08:31:49
3
原创 Quick configuration about the hadoop
Some problems I came across when I deployed hadoop.Java: 1) Install jdk: openjdk-7-jdk 2) To find the path of j
2018-09-11 08:31:49
原创 hadoop streaming方式下的參數傳遞
In hadoop streaming, when run a map/reduce job, we may want to get some running parameter to known the statues of job. M
2018-09-11 08:31:48
1
原创 yara配置簡介
Yara是一個規則匹配的工具，由於其可以進行文本、二進制文件的匹配，被用在基於特徵值的惡意代碼檢測中，其官方網站在這裏。在國內還沒見到有太多人使用，在這裏先簡單介紹一下相關的配置，並列出了其需要的相關工具。1. gccgcc has not
2018-09-11 08:31:48
原创 vim多窗口操作
記錄下vim的多窗口操作以免忘記。Multi-windows in vimsplit windows in horizontal: :split/:new/:sp divide windows into two sub-wi
2018-09-11 08:31:48
2
原创 Check the state of child process./thread in java
To run a child process/thread, you always need to check whether the process/thread is timeout or not.Two ways to determi
2018-09-11 08:31:48
1
原创 SSH無密碼登錄
在這裏提到的不僅僅是爲了hadoop的配置，而是更一般的情況，你可以利用它登錄在其他任意服務器的帳戶，而免去每次輸入密碼的煩惱。由於當初記錄時使用的英文，描述很簡單，這裏就不翻譯了。1. Connect to host via ssh wi
2018-09-11 08:31:41
2
原创 Attempt time threshold of job running in hadoop
Attempt time threshold is a good feature to avoid time out or too slowly running of the job. However, you may need to ru
2018-09-11 08:31:41
原创 Hadoop中的Speculative Task
Speculative Task稱爲推測式任務，是Map/Reduce框架中的重要優化算法，是爲了解決某些運行速度較慢的task，影響整個job的執行進度的問題。在分佈式集羣環境下，因爲程序bug、負載不均衡、資源分佈不均、sla
2018-09-11 08:31:40
1