原创 spark 執行詭異問題

今天在centos 6.3上搭建了hadoop+hive+spark 系統,在運行/usr/local/spark-1.0.0/bin/spark-shell  出現找不到hive 相關的類,於是修改了spark-env.sh在spark_

原创 虛擬機硬盤文件丟失,通過xx-flat.vmdk恢復方法 .

在一臺R710機器上部署了esxi,上面部署了多臺虛擬機,有一天機房突然斷電了,服務器起來後,發現有一臺windows2008的虛擬機List列表都沒有了,進入到磁盤裏查看,發現vmdk文件都沒有了,只剩下-flat.vmdk文件,文件名和

原创 Python處理失敗報告腳本

環境說明:       有很多失敗報告的xml文件名存放在/root/python/xml.txt       現在要把xml.txt裏面的xml 文件處理掉:如:d3f321bc-1cf5-4447-927b-a6bfa0383c85-g

原创 Varnish 反向代理,讓後端服務器日誌記錄真實來源IP

Apache : LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" varnishcombined  

原创 python 獲取文件修改時間實例

filemt= time.localtime(os.stat(filename).st_mtime)print time.strftime("%Y-%m-%d",filemt)

原创 powershell 簡單命令

獲取運行的服務 Get-Service -computername $i beisen* | where {$_.Status -eq "Running"}|select-object name get-wmiobject -comp

原创 python 調用smtp服務器發送郵件實例

#!/usr/bin/python2.6#coding=utf-8import smtplibfrom email.mime.text import MIMETextfrom email.header import Headersubjec

原创 我的友情鏈接

SALogs旁門左道優秀博客北森運維chinaunix

原创 Python處理cassandra 升級後的回滾腳本

前幾天開發把分佈式存儲服務器cassandra 升級了,擔心升級不成功,所以寫了一個升級回滾失敗的腳本環境說明:        升級後的目錄結構爲:     Cassandra 數據文件放在/opt/cassandra/data/下    

原创 python 下載文件到本地,並顯示進度

urlretrieve方法1234567891011121314151617181920212223242526#!/usr/bin/python#encoding:utf-8importurllibimportosdefSchedule(

原创 nginx教程從入門到精通(ttlsa出品)

http://www.ttlsa.com/nginx/nginx-tutorial-from-entry-to-the-master-ttlsa/ 值得一看,相當詳細

原创 window啓動把exe做成啓動服務(以nginx for windows啓動爲例)

操作前需要安裝 .NET Framework 1  下載 winsw   連接地址爲:http://download.java.net/maven/2/com/sun/winsw/winsw/  也可以在附件裏下載 2 放到nginx 安裝

原创 關於hive hql時間函數如何使用

最近在搞oozie,通過oozie 定時調度hive hql來取數據和插入數據,其中有一個問題就是時間,如:取當前系統時間或系統日期。經過查詢函數使用如下:select from_unixtime(unix_timestamp()) fro