原创 大數據的倉庫Hive原理(二)

      上次我們說到了大數據應用中的數據倉庫hive,我們知道了利用hive可以更方便的處理數據,而且它的擴展性、延展性和容錯性都比較好,但是它是如何利用Hql(類Sql語句)來實現數據處理的呢。 1、架構回顧 UI

原创 從零開始學Hadoop——淺析MapReduce(二)

      上篇博客我們介紹了MapReduce的基本概念,並且對它的運行原理做了一些解析,今天我們來通過一個實際例子來深刻體會一下它的運行過程。 三、實例       今天我們來做一個簡單的統計。對只用空格將英文單詞隔開的

原创 阿里架構之旅(一)——Dubbo初識

      最近在做項目中用的是阿里的框架Dubbo+zookeeper,可是並不知道什麼是dubbo,什麼是zookeeper,這一系列的問題,引導者我們去不斷的探索。今天我們來看看阿里的分佈式服務架構——Dubbo。 1、

原创 NoSql之初識HBase

      之前我們一直在介紹hadoop,學習了兩個核心內容HDFS和MapReduce。雖然HDFS可以存儲數據,但是我們無法快速的查看所需的數據,這就需要引入另一個非關係型數據庫HBase。 一、基本介紹 1、概念  

原创 NoSql之相逢Redis

      爲了應對海量數據的到來,出現了非關係型數據庫NoSql,爲了在互聯網中得以生存和發展,我們不得不去掌握一兩個NoSql數據庫的使用。當然我們不可能全部都掌握,只要掌握幾個有代表性的就行。這裏我們接觸一下redis,希

原创 大數據的倉庫Hive原理(三)

      上次我們簡單說了一下Hive的工作原理,今天我們來深入看一下它是如何把Hql語句轉換爲m/r來運行的。 1、編譯器 簡介       Hive編譯器將一個Hive QL轉換操作符。操作符Operator是Hive的

原创 阿里架構之旅(二)——Dubbo解析

      上次我們簡單介紹了一下Dubbo,知道了Dubbo是一個分佈式服務框架,將複雜的調用關係簡單的管理起來,不管是從設計思路,還是性能提升上,它都是一個優秀的產品。如果我們不知道它的工作原理,那麼我就相當於沒接觸過Dubbo

原创 從零開始學Hadoop——淺析MapReduce(一)

      之前,我們說過Hadoop的兩個核心爲HDFS和MapReduce,既然我們已經學習了Hadoop的HDFS,那麼我們就來看看MapReduce是什麼。當然,我們學習的順序還是先看看基本概念,再研究一下原理,最後做一些練

原创 JQuery學習—封裝,讓這個世界變得更簡單

1、編者寄語      小編認爲,JQuery就是用JavaScript封裝成的一些js方法,又將這些方法封裝在一起,稱爲JQuery。除此之外,js還有兩個庫就是Prototype、MooTools,這裏不再多做介紹。      在之前

原创 三層架構與四大天王之前傳

上篇文章我們介紹了一下三層架構的基礎知識,這次就讓我們來探尋一下他的運行機制吧。    1、實體層      (1)是什麼     實體類——實體類其實是存放數據的,我們在數據庫讀取的數據就是存放在實體層裏面的(是輔助數據庫的映射

原创 JVM——深入解析原理和運行機制(一)類加載器

      上次我們說了一下jvm中類加載的過程,大概有加載,連接(驗證,準備,解析),初始化這麼幾個步驟,當然要實現這些功能就需要有加載器,今天我們就來說說jvm中的類加載器。 一、分類       系統要想執行一個命令,就需要把

原创 多線程——併發鎖的集結號

      上次我們說了一下多線程的管理,今天我們來看一下多線程的鎖。 1、不同的加鎖方式 類鎖       在代碼中的方法上加了static和synchronized的鎖,或者synchronized(xxx.class)的代

原创 多線程爲什麼要用ConcurrentHashMap

      上次我們說了一下項目中經常會出現的死鎖問題,今天我們要說的是關於集合的問題,實際上跟鎖也有一定的關係,讓我們來一起看看吧。 一、簡介 1、是什麼       ConcurrentHashMap是Java5中新增加的一個線

原创 多線程——同步-異步-阻塞-非阻塞

    呵呵,好久沒寫博客了,今天讓我們來回顧一下多線程的一些基礎知識。 一、同步和異步 1、同步(synchronous)     所謂同步,就是在讓請求別人做一件事情時,在沒有得到最終結果之前,就需要耐心等待,不能做其他事情,直

原创 NoSql之深入淺出redis

      之前我們簡單介紹了一下redis,知道了它的一些特性以及它的作用,今天我們來看看它在實際使用中的一些簡單的命令,以及它的一些高級特性。 一、常用命令 1、String類型 (1)set key value