原创 MINA學習

工作中遇到了MINA,以前沒接觸過,所以就想搞搞明白這東西幹嘛的,怎麼玩起來的。最近花了幾天時間去學習,這裏做個小結以整理知識加深理解。     Apache MINA是一個網絡應用框架框架,用來幫助用戶簡單地開發高性能和高可靠性的網絡應

原创 JMS和ActiveMQ學習筆記

[1] 在介紹ActiveMQ之前,首先簡要介紹一下JMS規範。 JMS的簡介: (1) JMS(Java Message Service,Java

原创 hadoop三個配置文件的參數含義說明

1       獲取默認配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個配置文件,默認下來,這些配置文件都是空的,所以很難知道這些配置文件有哪些配置可以生效,

原创 hadoop 裏執行 MapReduce 任務的幾種常見方式

說明: 測試文件: 1 echo -e "aa\tbb \tcc\nbb\tcc\tdd" > 3.txt 1 hadoop fs -put 3.txt /tmp/3.txt 全文的例子均以該文件做測

原创 SSH 原理與運用

SSH 是每一臺 Linux 電腦的標準配置。   隨着 Linux 設備從電腦逐漸擴展到手機、外設和家用電器,SSH 的使用範圍也越來越廣。不僅程序員離不開它,很多普通用戶也每天使用。   SSH 具備

原创 ActiveMQ詳細筆記(一)

ActiveMQ的安裝 安裝要求: 部署需要jdk1.5及以上,編譯需要jdk1.5(java5)及以上 Java的環境變量(JAVA_HOME)必須設置,即jdk安裝的目錄,比如c:\Program Files\jsdk.1.6

原创 hadoop系統的端口

hadoop系統的端口 hadoop系統部署時用到不少端口。有的是Web UI所使用的,有的是內部通信所使用的,有的是監控所使用的。實際系統中可能用於防火牆的端口設計。一些內部通信用的端口可能也需要外部能訪問。如兩個集羣的數據對拷。 1.

原创 Hadoop MapReduceV2(Yarn) 框架簡介

Hadoop MapReduceV2(Yarn) 框架簡介 原 Hadoop MapReduce 框架的問題 對於業界的大數據存儲及分佈式處理系統來說,Hadoop 是耳熟能詳的卓越開源分佈式文件存儲及處理框架,對於 Hadoop 框架的

原创 Hadoop本地庫與系統版本不一致引起的錯誤解決方法

部署Hadoop的集羣環境爲  操作系統 CentOS 5.8    hadoop版本爲cloudera   hadoop-0.20.2-cdh3u3 集羣中設置支持gzip lzo壓縮後,在對壓縮文件進行讀取或者對輸入文件壓縮的時

原创 Hadoop 2.0集羣配置詳細教程

Hadoop 2.0集羣配置詳細教程 前言 Hadoop2.0介紹 Hadoop是 apache 的開源 項目,開發的主要目的是爲了構建可靠,可拓展 scalable ,分佈式的系 統, hadoop 是一系列的子工程的 總和,其中包含

原创 hadoop編譯

在YARN自帶的軟件包中有關於編譯的說明,具體參見:BUILDING.txt。 在RetHat中編譯YARN,Jdk爲1.6.0_23. 1.下載YARN源碼包 下載地址:http://mirror.bit.edu.cn/apache/

原创 Spring與JMX集成

Spring與JMX集成,實現方式靈活而且簡單,主要體現在: 1、可以自動探測實現MBean接口的MBean對象,而且可以將一個普通的Spring Bean註冊爲MBean; 2、定製管理MBean的接口

原创 JMX 與系統監控管理

前言 在 Java 程序的運行過程中,對 JVM 和系統的監測一直是 Java 開發人員在開發過程所需要的。一直以來,Java 開發人員必須通過一些底層的 JVM API,比如 JVMPI 和 JVMTI 等,才能監測 Java 程序運行

原创 Linux procfs詳解

Linux procfs詳解 1.0 proc文件系統總覽 在類Unix系統中體現了一種良好的抽象哲學,就是幾乎所有的數據實體都被抽象成一個統一的接口--文件來看待,這樣我們就可以用一些簡單的基本工具完成

原创 GC實踐

首先感謝阿寶同學的幫助,我纔對這個gc算法的調整有了一定的認識,而不是停留在過去僅僅瞭解的階段。在讀過sun的文檔和跟阿寶討論之後,做個小小的總結。     CMS,全稱Concurrent Low Pa