原创 spark 執行詭異問題
今天在centos 6.3上搭建了hadoop+hive+spark 系統,在運行/usr/local/spark-1.0.0/bin/spark-shell 出現找不到hive 相關的類,於是修改了spark-env.sh在spark_
原创 虛擬機硬盤文件丟失,通過xx-flat.vmdk恢復方法 .
在一臺R710機器上部署了esxi,上面部署了多臺虛擬機,有一天機房突然斷電了,服務器起來後,發現有一臺windows2008的虛擬機List列表都沒有了,進入到磁盤裏查看,發現vmdk文件都沒有了,只剩下-flat.vmdk文件,文件名和
原创 Python處理失敗報告腳本
環境說明: 有很多失敗報告的xml文件名存放在/root/python/xml.txt 現在要把xml.txt裏面的xml 文件處理掉:如:d3f321bc-1cf5-4447-927b-a6bfa0383c85-g
原创 Varnish 反向代理,讓後端服務器日誌記錄真實來源IP
Apache : LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" varnishcombined
原创 python 獲取文件修改時間實例
filemt= time.localtime(os.stat(filename).st_mtime)print time.strftime("%Y-%m-%d",filemt)
原创 powershell 簡單命令
獲取運行的服務 Get-Service -computername $i beisen* | where {$_.Status -eq "Running"}|select-object name get-wmiobject -comp
原创 python 調用smtp服務器發送郵件實例
#!/usr/bin/python2.6#coding=utf-8import smtplibfrom email.mime.text import MIMETextfrom email.header import Headersubjec
原创 我的友情鏈接
SALogs旁門左道優秀博客北森運維chinaunix
原创 Python處理cassandra 升級後的回滾腳本
前幾天開發把分佈式存儲服務器cassandra 升級了,擔心升級不成功,所以寫了一個升級回滾失敗的腳本環境說明: 升級後的目錄結構爲: Cassandra 數據文件放在/opt/cassandra/data/下
原创 python 下載文件到本地,並顯示進度
urlretrieve方法1234567891011121314151617181920212223242526#!/usr/bin/python#encoding:utf-8importurllibimportosdefSchedule(
原创 nginx教程從入門到精通(ttlsa出品)
http://www.ttlsa.com/nginx/nginx-tutorial-from-entry-to-the-master-ttlsa/ 值得一看,相當詳細
原创 window啓動把exe做成啓動服務(以nginx for windows啓動爲例)
操作前需要安裝 .NET Framework 1 下載 winsw 連接地址爲:http://download.java.net/maven/2/com/sun/winsw/winsw/ 也可以在附件裏下載 2 放到nginx 安裝
原创 關於hive hql時間函數如何使用
最近在搞oozie,通過oozie 定時調度hive hql來取數據和插入數據,其中有一個問題就是時間,如:取當前系統時間或系統日期。經過查詢函數使用如下:select from_unixtime(unix_timestamp()) fro