原创 後臺運行SCP遠程拷貝文件
Linux scp 設置nohup後臺運行 1.正常執行scp命令 2.輸入ctrl + z 暫停任務 3.bg將其放入後臺 4.disown -h 將這個作業忽略HUP信號 5.測試會話中斷，任務繼續運行不受影響 1.正常執行scp命令
2018-12-23 18:47:28
原创 Zookeeper介紹-Paxos實現
ZooKeeper是近期比較熱門的一個類Paxos實現。也是一個逐漸得到廣泛應用的開源的分佈式鎖服務實現。被認爲是Chubby的開源版，雖然具體實現有很多差異。ZooKeeper概要的介紹可以看官方文檔：http://hadoop.ap
2018-08-28 06:11:21
原创 Swift 大文件問題
大文件問題 官方在線文檔：http://docs.openstack.org/developer/swift/overview_large_objects.html 傳輸超過5G的大文件時，需要使用-S參數，指定將大文件分塊存儲，-S
2018-08-28 06:11:20
原创 Hadoop的計算框架——shuffle流程理解要點
1. 分區partition 每個MapTask的輸出都會被分割爲多個分區，Reducer會根據JobTask維護的映射關係獲取自己應該處理的那一份。 有多少個Reducer，Mapper的輸出就應該有多少個分區。 這個分區動作叫做par
2018-08-28 06:11:20
原创 Redis乾貨集合
https://m.aliyun.com/yunqi/articles/337555?utm_content=m_40223#tt_daymode=1
2018-08-28 06:11:20
原创 Hadoop的資源管理——Yarn初探
首次接觸Hadoop是在2011年，當時主流版本是0.20.2，很多介紹hadoop的經典書籍也是基於那個經典的版本。0.20.2雖然經典，但也有很多不夠完善的地方，比如namenode的性能瓶頸，jobtracker和tasktrack
2018-08-28 06:11:20
原创 查看UNIX服務器CPU個數等硬件信息
一、如何查看服務器的CPU 今天安裝了9臺Linux服務器，型號完全不一樣（有DELL、HP和IBM服務器），又懶得去對清單，如何在Linux下cpu的個數和核數呢？另外，nginx的cpu工作模式也需要確切的知道li
2018-08-28 06:11:20
原创 在Ubuntu12.04上部署CloudFoundry-ng （一） dea_ng和warden的部署
在Ubuntu12.04上部署CloudFoundry-ng （一） dea_ng和warden的部署 相比上個部署文檔，這次的操作更規範，更快捷 環境：Ubuntu12.04LTS ，rvm -> ruby1.9.3 1. 使用rvm
2018-08-28 06:11:20
原创 在Ubuntu12.04上部署CloudFoundry-ng （二） uaa和cloud_controller_ng的部署
uaa和cloud_controller_ng的部署 1. 安裝並配置UAA（認證模塊） 安裝jdk 安裝maven： sudo apt-get install mvn 獲取uaa的最新源碼： git clone https://g
2018-08-28 06:11:20
原创 swift部署多proxy並實現負載均衡
5臺服務器 A B C D E A爲負載均衡 BCDE 既做proxy server 又做storage server 負載均衡工具的選擇： nginx：0.6.33版本後不允許POST方法訪問靜態資源，swift 只有head get
2018-08-28 06:11:20
原创 很有用的shell / python 腳本片段（記錄）
1, kill包含某關鍵字的進程。 ps aux |grep eclipse |awk '{print $2}'|xargs kill -9 2. 查看當前用easy_install 安裝的 python包(egg等)的安裝位置： 可以
2018-08-28 06:11:20
原创 好用的python庫
1. yagmail使用yagmail，發送一個帶附件的郵件，只需要2行代碼：import yagmail yag = yagmail.SMTP(user='[email protected]', password='nicai?', hos
2018-08-28 06:11:20
原创 使用cgroup限制java使用的內存量-思路
1. 對一個正在運行着的進程來說，在不到達其內存使用量邊界的情況下，擴大/縮小其cgroup分配的內存不會對它產生任何影響。 2. 在進程已經使用了一定量的內存的情況下，縮小其cgroup內存至小於已使用的內存量，
2018-08-28 06:11:20
原创 WSGI的理解（轉載）
wsgi是一個搞web開發的pythoner必須瞭解的內容，之前也零散的看過一些文章，但總感覺好多概念很模糊。這幾天抽空又把相關內容好好整理了一下，把筆記貼出來，一些隻言片語也許對某些正在研究這個的人有所幫助。 wsg
2018-08-28 06:11:20
原创 JVM深入理解（一）
一. JVM的物理結構 JVM內存結構主要包括兩個子系統和兩個組件。兩個子系統分別是Classloader子系統和Executionengine(執行引擎)子系統；兩個組件分別是Runtimedataarea(運行時數據區域/內存空
2018-08-28 06:11:20