原创 Eclipe集成環境開發HBase程序過程詳解

 Eclipe集成環境開發HBase程序過程詳解   當前,爲了方便對TB級以上的數據進行分佈式存取,開發企業級的應用,很多公司採用HBase作爲後臺數據組織與管理平臺。HBase雖然可以存放近乎無限的數據,也可以實現在TB級以

原创 Eclips中直接調試MP程序中需要注意的問題

           下面是我在Eclipse中調試第一個MapReduce程序時遇到的問題及解決方法,這些方法都是在參考其他網友解決類似問題的基礎上結合自己的理解與實驗總結出來的,記錄在這裏希望能對其他人有所幫助。 (1)在Ecli

原创 ASP.NET使用ECharts展示後臺數據

        Baidu開源項目Echarts無論從數據的展現能力,對桌面與智能終端的友好支持,還是在使用的方便性上,慢慢成爲廣大程序員使用圖表展示數據的首選。在使用過程中,也會出現各種坑,而網上找到的大部分資料,都是人云亦云,相互抄來

原创 Hive語言手冊之五:ORC文件格式

 一、關於ORC文件格式( ORC從Hive0.11開始引入) ORC(Optimized Row Columnar)格式可以高效地存儲Hive數據,被設計用來規避其他文件格式存在的缺陷,使用ORC文件格式可以提升Hive讀、寫與

原创 HDFS容量的調整

 在Hadoop中,數據文件放在HDFS上,每個DataNode的的數據文件存放的位置通過DataNode的hdfs-site.xml的屬性dfs.data.dir設定,因此該屬性指定的目錄的空間容量決定了每個DataNode的容量

原创 Hive語言手冊之三:數據類型

   一、概述 以下是Hive支持的所有數據類型 1、數值類型 (1)TINYINT         1字節帶符號整數,取值範圍-128 to 127 (2)SMALLINT     2字節帶符號整數,取值範圍-32,

原创 Hive語言手冊之一:CLI

    博主按:近一段時間,一直在研究Hadoop及其上的應用技術,因爲之前一直做關係數據庫系統的開發與維護,在衆多基於Hadoop的技術中,Hive與Hbase的使用方法一直是自己關注的重點。爲了對Hive技術有一個準確的認識,

原创 Hive語言手冊之四:壓縮數據存貯與應用

一、壓縮數據存儲 有時候,Hive Table中的壓縮數據比不壓縮的數據在磁盤讀取與查詢性能方面都有比較好的性能。可以把使用GZip或BZip2壓縮的文本數據直接導入到Hive,並且以TextFile格式進行存儲,Hive可以識別壓縮的數

原创 ASP.NET Web Forms項目使用ASP.NET Identity 2.0時擴展註冊用戶屬性的方法

1、打開Models文件夾下的IdentityModes.cs文件,在ApplicationUser類中直接加入新增的自定義屬性Dept(見文中代碼:public string Dept { get; set; })2、打開NuGet包管

原创 Hive語言手冊之二:變量替換

       博主按:近一段時間,一直在研究Hadoop及其上的應用技術,因爲之前一直做關係數據庫系統的開發與維護,在衆多基於Hadoop的技術中,Hive與Hbase的使用方法一直是自己關注的重點。爲了對Hive技術有一個準確的認識