原创 從Hadoop框架與MapReduce模式中談海量數據處理(淘寶技術架構)

從hadoop框架與MapReduce模式中談海量數據處理 前言     幾周前,當我最初聽到,以致後來初次接觸Hadoop與MapReduce這兩個東西,我便稍顯興奮,覺得它們很是神祕,而神祕的東西常能勾起我的興趣,在看過介

原创 分佈式Hadoop集羣安裝配置

1 前期準備,配置所有的機器的/etc/hosts 文件 # cat /etc/hosts # Do not remove the following line, or various programs # that requir

原创 Java程序內存分析:使用mat工具分析內存佔用

 在工作中可能會遇到內存溢出這種災難性的問題,那麼程序肯定是存在問題,找出問題至關重要,上一篇文章講了jmap命令的使用方法,當然用jmap導出的文件我們也看不懂啊,那就交給memory analyzer(mat)這個工具,讓他幫助我們

原创 TokuMX

       MongoDB擁有靈活的文檔型數據結構和方便的操作語法,在新興的互聯網應用中得到了廣泛的部署,但對於其底層的存儲引擎,我一直有一些保留意 見。據我瞭解,其採用了MMAP的方式來操作數據文件,這就導致我們無法限制MongoD

原创 高性能Mysql主從架構的複製原理及配置詳解

溫習《高性能MySQL》的複製篇. 1 複製概述       Mysql內建的複製功能是構建大型,高性能應用程序的基礎。將Mysql的數據分佈到多個系統上去,這種分佈的機制,是通過將Mysql的某一臺主機的數據複製到其它主機(sla

原创 對於Netty的十一個疑問

1.Netty 是什麼?   Netty 是一個基於 JAVA NIO 類庫的異步通信框架,它的架構特點是:異步非阻塞、基於事件驅動、高性能、高可靠性和高可定製性。   2.使用 Netty 能夠做什麼? 開發異步、非阻塞的 TC

原创 jstat, jmap

jstat jstat利用JVM內建的指令對Java應用程序的資源和性能進行實時的命令行的監控,包括了對進程的classloader,compiler,gc情況;特別的,一個極強的監視內存的工具,可以用來監視VM內存內的各種堆和非堆的大

原创 Zookeeper集羣配置部署

一.服務器配置   按照zookeeper的選舉算法,zookeeper的服務器數量最好爲奇數,本文三臺機器爲例   1.關閉防火牆 ? 1 /etc/init.d/iptables stop

原创 jvisualvm遠程連接tomcat

在tomcat的catalina.sh中配置 JAVA_OPTS=’-Dcom.sun.management.jmxremote.port=1099 -Dcom.sun.management.jmxremote.ssl=false 

原创 Java教程]併發框架Disruptor淺析

1、引言   Disruptor是一個開源的Java框架,它被設計用於在生產者—消費者(producer-consumer problem,簡稱PCP)問題上獲得儘量高的吞吐量(TPS)和儘量低的延遲。Disruptor是LMAX在線

原创 阿里巴巴開源項目:分佈式數據庫同步系統otter(解決中美異地機房)

項目背景    阿里巴巴B2B公司,因爲業務的特性,賣家主要集中在國內,買家主要集中在國外,所以衍生出了杭州和美國異地機房的需求,同時爲了提升用戶體驗,整個機房的架構爲雙A,兩邊均可寫,由此誕生了otter這樣一個產品。    ot

原创 windows 下mysql忘記root密碼

1、在DOS窗口下輸入net stop mysql5 或 net stop mysql 2、開一個DOS窗口,這個需要切換到mysql的bin目錄。然後輸入        mysqld --skip-grant-tables; 3、再開一

原创 JAVA CAS原理深度分析

看了一堆文章,終於把JAVA CAS的原理深入分析清楚了。 感謝GOOGLE強大的搜索,藉此挖苦下百度,依靠百度什麼都學習不到!   參考文檔: http://www.blogjava.net/xylz/archive/2010

原创 jstack

jstack 觀察jvm中當前所有線程的運行情況和線程當前狀態。系統崩潰了?如果java程序崩潰生成core文件,jstack工具可以用來獲得core文件的java stack和native stack的信息,從而可以輕鬆地知道jav