原创 在flask中使用celery的實踐

前言 在web開發中我們經常會遇到一些耗時的操作,比如發送郵件/短信,執行各種任務等等,這時我們會採取異步的方式去執行這些任務,而celery就是這樣的一個異步的分佈式任務處理框架,官方文檔 今天,我們的主題是celery如何與flask一

原创 使用php,python做一個簡易的發版系統

一,流程圖 二,流程簡述 運維人員在瀏覽器中選擇要發版的項目,點擊發版按鈕,程序會首先檢測是否有其他進程在發佈,通過檢查lock的方法,如果lock文件存在,則返回首頁,否則將要發版執行的shell命令寫入到newfile.txt文件中,

原创 使用Jenkins Pipeline自動化構建發佈Java項目

簡介 Pipeline,簡而言之,就是一套運行於Jenkins上的工作流框架,將原本獨立運行於單個或者多個節點的任務連接起來,實現單個任務難以完成的複雜流程編排與可視化。 Pipeline是Jenkins2.X的最核心的特性,幫助Jenki

原创 zookeeper僞分佈式搭建

獲取zookeeper二進制軟件包,地址[https://www.apache.org/dyn/closer.cgi/zookeeper/](https://www.apache.org/dyn/closer.cgi/zookeeper/

原创 shell中控制多個進程併發執行的方法

shell中實現多進程實際上就是將多個任務放到後臺中執行而已,但是現在需要控制多進程併發的數量該如何實現呢?別急,我們一步一步來實現這個目標,首先從最原始的串行執行開始: #!/bin/bash start=`date +%s` for

原创 mysql5.7導入數據提示--secure-file-priv選項報錯解決

系統環境 CentOS Linux release 7.4.1708 (Core) mysql 5.7.23 錯誤描述 執行數據導入時,出現1290錯誤: mysql> load data infile '/mnt/test/2019

原创 python字典fromkeys()方法中的坑

自定操作中的fromkeys()方法接收兩個參數,第一個參數爲一個可迭代對象,作爲返回字典的key,第二個參數爲value,默認爲None,具體用法如下: li = [1,2,3] dic1 = dict.fromkeys(li) di

原创 Linux利用sed批量修改文件名

初始文件名 # ls -lh total 5.5G -rw-r--r-- 1 root root 193K Sep 28 09:38 20180908.txt drwxr-xr-x 2 root root 4.0K Mar 7 16:3

原创 awk技巧總結

1,指定多分隔符 實例: 提取文件名和大小,展示爲"test.sql.gz 100M" # du -sh /bkup/dayback/test.sql.gz 100M /bkup/dayback/test.sql.gz 命令如下:

原创 CentOS7下MySQL5.6基於二進制包方式安裝記錄

MySQL基於二進制格式安裝的優點在於,它是針對特定平臺專門優化過的,安裝的時候也不需要考慮環境的要求,直接解壓就可以,本文基於MySQL5.6.38版本,下載地址爲:https://cdn.mysql.com//Downloads/MyS

原创 windows下解決pip安裝模塊超時的問題

最近在學習flask框架,在安裝 flask-sqlalchemy的時候出現如下報錯:錯誤提示是https連接超時,由於衆所周知的原因,國內訪問pypi.python.org是很慢的。 解決方法: 1,在家目錄下創建pip配置文件 創建並編

原创 記一次服務器被挖礦程序***的解決過程

公司有臺做voip的服務器最近CPU總是跑滿,這機器自從交給廠家搭好環境後基本就沒怎麼管它,於是進去查看進程,top了下(見下圖)這個叫wnTKYg的進程很詭異,已經把CPU吃光了,上網一查,原來是中了挖礦的馬。(啊,我的天。這只是一個單核

原创 HDFS-2.8.5分佈式搭建記錄

測試環境搭建hadoop hdfs環境,記錄如下: 一,服務器規劃: 主機名 ip地址 子網掩碼 角色 vm2 172.16.100.239 255.255.255.0 Namenode vm6 172.16.100.12

原创 CentOS7安裝配置Samba服務

接到運營人員需要共享文件的需求,考慮到簡單易用的原則,這裏選用Samba來做文件共享服務。先介紹下Samba服務,Samba是SMB/CIFS 網絡協議的重新實現, 它作爲 NFS 的補充使得在 Linux 和 Windows 系統中進行文

原创 記一次由tcp_tw_recycle參數引發的血案

一,故障描述: 從昨天開始,在值班羣中陸續值班人員反映系統後臺存在卡頓問題,如下圖:而且在卡頓的同時登陸服務器也會卡好久。此現象只在一臺服務器有出現。 二,故障分析: 1,登陸服務器查看資源使用top,vmstat等命令查看了一番發現服務器