原创 網頁vnc工具NoVnc

需要準備一個服務器做http服務,其他server的vnc都將這個http服務器作爲跳板 在需要用來產生網頁vnc的服務器或虛擬機上下載novnc 解壓後./utils/launch.sh –vnc x.x.x.x:port

原创 Bosun報警語法

bosun是常用的報警系統,通過配置metrics(items)圖可以得到某一個參數在指定時間內的變化,比如設爲10s,每隔10s就會去拉這個數據並畫圖,依據這個圖可以實現對某些參數的監控,以此作爲報警的依據。 大多數公司的基礎

原创 學到的一些代碼處理的細節

最近寫的代碼,有同事和mentor review的時候給我提出了一些意見,在這裏稍微總結一下。 1. 對於同種類型的出錯記錄,比如增加metrics打點,也儘量將錯誤類型區分開。不管是來源不同,比如第三方登錄的場景,需要將微信,微

原创 python防xss注入

什麼是xss注入攻擊 可以查看這篇文章 其實主要就是轉換特定的字符,在某些接口前轉換出來或者在前端做處理轉換出來,這篇文章只是後端的轉換和恢復 轉換 quote表示是否要轉換引號 >>> import cgi >>> cg

原创 etcd和redis的比較和日常使用場景

個人觀點:etcd的紅火來源於kurbernetes用etcd做服務發現,而redis的興起則來源於memcache緩存本身的侷限性。 etcd是一種分佈式存儲,更強調的是各個節點之間的通信,同步,確保各個節點上數據和事務的一致

原创 Go依賴管理工具(四) glide

上一篇 Go依賴管理工具(三)govender 首先澄清一點,這個項目不是android裏面的glide,用於圖片加載和緩存的那個glide。而是做go package管理的glide 安裝方法 go get github

原创 最近工作中接觸的幾個好用的工具(CANAL,Swagger)

Canal https://github.com/alibaba/canal/ 阿里巴巴的一個監控mysql變化的解決方案,原理其實很簡單,Canal Client把自己模擬成mysql的slave,僞裝自己爲mysql sl

原创 用嵌套的兩個kafka實現突發性高併發consumer

今天遇到一個問題,某個kafka comsumer特別耗時,排查發現,之前把一些操作寫成串行了,但是這個comsumer屬於那種來一波消息就中斷的,改成並行的又需要大量資源(CPU/MEM),不划算。 後來同事提供了一種思路,將並

原创 Python圖像包PIL

PIL是python常用的圖像包,主要用來圖像驗證等 PIL本身已經沒有了,可以看到 https://pypi.python.org/simple/pil/裏面是空的 現在安裝要使用 pip install PILLOW

原创 gorm的一些使用技巧和遇到的一個坑

gorm是國內開發者所做的開源golang orm框架,做的比較成熟。 獲取方式: go get -u github.com/jinzhu/gorm 使用方法查看文檔即可,還是比較符合sql語句的寫法和設計方式的,當然也支持R

原创 golang strings包整理

所有語言都有字符串處理的包,今天整理下golang的strings包 完整的介紹doc上有golang strings doc Contains, ContainsAny, ContainsRune ContainsRune(

原创 python操作redis

python操作redis,用redis庫。 安裝 pip install redis 使用 建立連接池並取出連接 >>> import redis >>> pool = redis.ConnectionPool(host='lo

原创 golang防xss注入

golang裏面比python處理簡單多啦 python處理xss注入攻擊 只要用html包就可以了, html.escapeString(content) html.UnescapeString(content) 解開和

原创 Go依賴管理工具(一)godep

git地址 https://github.com/tools/godep 安裝方法 go get github.com/tools/godep 關於GOPATH設置可以參考另一篇文章 GOPATH設置和go get替換H

原创 常見qps限制方式

生產環境經常會跑一些離線任務,或者有一些異步任務在問題恢復後積壓需要放水,此時我們需要控制對下游的訪問qps,避免打掛下遊,有多種方式去實現。 當你是一個單進程/單攜程 通常是一些小的回掃任務,多用於處理臨時任務。 因爲是單個進程