原创 常見hash算法的原理

散列表,它是基於快速存取的角度設計的,也是一種典型的“空間換時間”的做法。顧名思義,該數據結構可以理解爲一個線性表,但是其中的元素不是緊密排列的,而是可能存在空隙。 散列表(Hash table,也叫哈希表),是根據關鍵碼值(Key

原创 Spring MVC 中處理靜態資源

 Spring MVC 中的核心 servlet - DispatcherServlet,我們在 web.xml 文件中通常這樣定義:  Xml代碼   <servlet>    <servlet-name>mvc</serv

原创 MyEclipse10.0 採用插件方式安裝 SVN

一、到官方上下載svn1.8.3,下載後的文件名叫site-1.8.3.zip 地址:http://subclipse.tigris.org/servlets/ProjectDocumentList?folderID=2240 這裏有

原创 hive SQL優化之distribute by和sort by

轉自:http://yaoyinjie.blog.51cto.com/3189782/703873 最近在優化hiveSQL, 下面是一段排序,分組後取每組第一行記錄的SQL INSERT OVERWRITE TABLE t_wa_

原创 Hive限制

1.更新,事務,索引,不支持,是全表掃描 2.創建表的字段類型和java類型是對應的。不支持日期類型,提供轉換爲字符串類型的函數。 3.查詢語句中,不支持having,可寫嵌套的select來解決;group by後只能是表的定義列

原创 常用排序算法總結

所謂排序,就是要整理文件中的記錄,使之按關鍵字遞增(或遞減)次序排列起來。當待排序記錄的關鍵字都不相同時,排序結果是惟一的,否則排序結果不惟一。 在待排序的文件中,若存在多個關鍵字相同的記錄,經過排序後這些具有相同關鍵字的記錄之間的相對次

原创 c3p0數據庫連接池的使用

轉自:http://blog.csdn.net/eclipser1987/article/details/5181320 據說c3p0數據庫連接池是最優秀的,當然這也是我道聽途說的,沒有實際證實過。今天我抽空寫了一個c3p0的例子,藉

原创 hive分區(partition)簡介

網上有篇關於hive的partition的使用講解的比較好,轉載了: 一、背景 1、在Hive Select查詢中一般會掃描整個表內容,會消耗很多時間做沒必要的工作。有時候只需要掃描表中關心的一部分數據,因此建表時引入了partit

原创 hive中的靜態分區與動態分區

hive中創建分區表沒有什麼複雜的分區類型(範圍分區、列表分區、hash分區、混合分區等)。分區列也不是表中的一個實際的字段,而是一個或者多個僞列。意思是說在表的數據文件中實際上並不保存分區列的信息與數據。下面的語句創建了一個簡單的分區表

原创 事務隔離級別,髒讀、不可重複讀、幻讀,樂觀鎖、悲觀鎖(共享鎖、排它鎖)

    數據庫事務具有四個特徵,分別是原子性(Atomicity)、一致性(Consistency)、隔離性(Isoation)、持久性(Durability),簡稱爲事務的ACID特性。     事務的隔離性是指在併發環境中,併發的事務

原创 mysql (master/slave)複製原理及配置

1 複製概述       Mysql內建的複製功能是構建大型,高性能應用程序的基礎。將Mysql的數據分佈到多個系統上去,這種分佈的機制,是通過將Mysql的某一臺主機的數據複製到其它主機(slaves)上,並重新執行一遍來實現的。複製

原创 Hive insert into話語用法

Hive insert into語句用法   在Hive0.8開始支持Insert into語句,它的作用是在一個表格裏面追加數據。 標準語法語法如下: 1 2 3 4 5 6 7 8 9 用法一: IN

原创 HTTP 的重定向301,302,303,307(轉)

301 永久重定向,告訴客戶端以後應從新地址訪問. 302 作爲HTTP1.0的標準,以前叫做Moved Temporarily ,現在叫Found. 現在使用只是爲了兼容性的處理,包括PHP的默認Location重定向用的也是302.

原创 服務端獲取客戶端IP的方法

public static String getUserIp(HttpServletRequest request) { String ip = request.getHeader("Cdn-Src-Ip"); _log.info

原创 phpMyAdmin在Linux(CentOS7)上安裝,包括php+apache

    我司用的是阿里雲,ECS + RDS(MySQL),現在有需求給運營的同學開個查詢數據庫的功能,讓他們自己去庫裏統計他們需要的數據。我就在RDS上開了一個只讀實例,也開了只讀權限的賬號,下面就是去哪裏登錄使用了,使用阿里雲的DMS