原创 MapReduce之Recordreader組件

(1)以怎樣的方式從分片中讀取一條記錄,每讀取一條記錄都會調用RecordReader類; (2)系統默認的RecordReader是LineRecordReader,如TextInputFormat;而SequenceFileInpu

原创 MapReduce之join和sort

MapReduce的Join #http://blog.csdn.net/a4342502cld/article/details/18841673 MapReduce的Sort #http://blog.csdn.net/a4342502

原创 Python模塊之urllib和urllib2結合使用

簡介: urllib2是python的一個獲取url(Uniform Resource Locators,統一資源定址器)的模塊。它用urlopen函數的形式提供了一個非常簡潔的接口。這使得用各種各樣的協議獲取url成爲可能。它同時 也

原创 Python正則及re模塊

本文介紹了Python對於正則表達式的支持,包括正則表達式基礎以及Python正則表達式標準庫的完整介紹及使用示例。本文的內容不包括如何編寫高效的正則表達式、如何優化正則表達式,這些主題請查看其他教程。 注意:本文基於Python2.4

原创 linux用curl命令測試Post請求

POST請求   http://172.16.102.208:8089/wiapi/score?leaderboard_id=1&score=36&app_key=66   目的1:通過腳本發送post請求。  

原创 python模塊之urllib

urllib模塊提供的上層接口,使我們可以像讀取本地文件一樣讀取www和ftp上的數據。每當使用這個模塊的時候,老是會想起公司產品的客戶端,同事用C++下載Web上的圖片,那種“痛苦”的表情。我以前翻譯過libcurl教程,這是在C/C+

原创 Linux之yum命令的使用總結

yum(全稱爲 Yellow dog Updater, Modified)是一個在Fedora和RedHat以及SUSE中的Shell前端軟件包管理器。基於RPM包管理,能夠從指定的服務器自動下載RPM包並且安裝,可以自動處理依賴性關係

原创 linux之curl命令常用總結

#原文地址: http://www.thegeekstuff.com/2012/04/curl-examples/ 下載單個文件,默認將輸出打印到標準輸出中(STDOUT)中 curl http://www.centos.org

原创 Linux命令之crontab定時任務執行

基本格式 : *  *  *  *  *  command 分 時 日 月 周 命令 第1列表示分鐘1~59 每分鐘用*或者 */1表示 第2列表示小時1~23(0表示0點) 第3列表示日期1~31 第4列表示月份1~12 第5列標識號星

原创 MySQL 新增、刪除用戶和權限分配-直接修改mysql.user表

1. 新增用戶 複製代碼代碼如下: mysql>insert into mysql.user(Host,User,Password) values("localhost","lionbule",password("hello1

原创 hive學習筆記之配置MySQL數據庫

1.Hive簡介  起源自facebook由Jeff Hammerbacher領導的團隊  構建在Hadoop上的數據倉庫框架  設計目的是讓SQL技能良好,但Java技能較弱的分析師可以查詢海量數據  2008年facebo

原创 Python的函數返回值

Python的函數返回值 最近學一些Python的基本用法,看到定義函數,發現似乎只能返回一個返回值,想想matlab裏返回多個返回值多方便啊,網上查了查,看到有返回多個值的方法。 參考:http://www.cnblogs.com

原创 Python的lambda匿名函數

lambda函數也叫匿名函數,即,函數沒有具體的名稱。先來看一個最簡單例子: 參考:http://www.cnblogs.com/coderzh/archive/2010/04/30/python-cookbook-lambda.ht

原创 MySQL中char,varchar與text類型的區別和選用

關於char,varchar與text平時沒有太在意,一般來說,可能現在大家都是用varchar。但是當要存儲的內容比較大時,究竟是選擇varchar還是text呢?不知道。。。。。。 於是去查閱了一些資料,順便將這三種類型做個比較:

原创 Python模塊之urllib和urllib2之間的區別

#Ps:urllib常和urllib2結合使用 作爲一個Python菜鳥,之前一直懵懂於urllib和urllib2,以爲2是1的升級版。今天看到老外寫的一篇《Python: difference between urllib an