原创 eventlet在ubuntu上出現OSError protocol not found

描述 tensorflow的nvidia docker鏡像使用ubuntu16.04, ubuntu是精簡之後的，有些包可能沒有。在上面運行eventlet會出現下面問題 錯誤內容 Traceback (most recent

2020-06-21 19:15:13 20

原创 celery配合redis出現redis.exceptions.InvalidResponse Protocol Error

說明 celery+redis實現異步任務，如果涉及到頻繁的io調用，可能會出現錯誤redis.exceptions.InvalidResponse: Protocol Error 錯誤內容 redis.exceptions.In

2020-06-21 19:15:13 2

原创 celery變量共享

問題 很多情況下我們想讓task共享變量，該怎麼做? celery的併發原理 celery的併發任務池，有eventlet, gevent, prefork, thread類型 eventlet/gevent協程: 只有一個進程一

2020-06-21 19:15:13

原创 protobuf序列化numpy

說明 protobuf處理不能直接處理numpy，需要先把numpy轉爲字節 numpy轉字節 import numpy as np from io import BytesIO A = np.array([ 1,

2020-06-15 19:58:40 19

原创 基於docker搭建cephfs分佈式文件

目的 在一臺機器上, 利用多塊硬盤, 搭建一個cephfs文件系統. 具體來說就是1個mon, 1個mds, 1個mgr, 3個osd 注意 a. 使用vmware會很方便 b. 安裝過程中會遇到很多問題，我都沒有記錄, 儘量安裝

2020-06-06 12:34:39 3

原创 tensorflow資源耗淨 Resource exhausted OOM when allocating tensor with shape

描述 tensorflow跑訓練集經常會遇到錯誤Resource exhausted: OOM when allocating tensor with shape[64,33,33,2048] 錯誤內容 tensorflow.py

2020-05-02 11:17:59

原创 tesla t4的坑Unable to load the kernel module 'nvidia.ko'.ipynb

說明 安nvidia tesla T4顯卡遇到的坑, 在ubuntu16.04上安裝t4會遇到下面錯誤 錯誤內容 make[1]: Leaving directory '/usr/src/linux-headers-4.4.

2020-04-25 07:28:30 2

原创 object-detection圖片切割提示Invalid argument: Key: image/object/mask錯誤

ensorflow的object-detection切割圖片出現錯誤 tensorflow.python.framework.errors_impl.InvalidArgumentError: 2 root error(s)

2020-04-15 18:57:10 5

原创 socketio與apscheduler並用

layout: post author: “妙音” title: “socketio與apscheduler並用” date: 2019-04-08 21:51 category: flask tags: [“socketio”,

2019-04-28 12:40:01 14

原创 爲jekyll製作docker鏡像

說明 jekyll運行依賴ruby，每次重裝都會遇到版本問題，挺麻煩，乾脆做成鏡像 官方鏡像存在的問題 docker上有jekyll的官方鏡像，如果是直接運行，沒什麼問題。 如果你掛載volume就會有權限問題 jekyll 3.8.

2019-04-28 12:40:01 1

原创 docker運行gunicorn看不到控制檯輸出

項目做成了docker鏡像, 以gunicorn命令運行, print輸出爲什麼沒有寫到docker日誌? docker-compose文件如下 version: '2' services: xxx.xxx: ima

2019-04-07 01:08:58 11

原创 學習: matplotlib繪製阻尼正弦波

介紹 阻尼正弦波定義: 振幅會隨時間增長而趨向零的正弦波函數 示例圖片 應用 a.任何振動系統 b.共振 c.簡諧運動（彈簧、單擺） d.車輛避震系統 e.RLC電路 f.有阻尼的弦波 繪製方法 import matp

2019-04-07 01:08:48 11

原创 利用qq郵箱作爲個人郵件服務器發送郵件

需求描述 郵件通知很有用處。如何搭建一個郵件服務器，允許發送郵件呢？ 實現方法 一、利用開源軟件，搭建自己的郵件服務器。 二、利用qq等第三方郵件服務。 自己搭郵件服務器較麻煩，我的需求比較簡單，利用qq郵件，發送郵件即可，下面是

2019-04-07 01:08:48

原创 實現智能dns爲用戶分配最佳線路

說明 服務器放在國外，不同線路質量不一樣。如何根據訪問者的所在地、運營商，智能的分配線路呢？ 有些域名服務器上提供線路優先級，比如阿里雲，如果是國外域名服務商，一般都不會提供。 所以通常要我們自己實現自動分配線路的功能。 例如 有一

2019-03-24 23:19:13

原创 使用numba的姿勢不正確反而導致性能下降

numba能夠極大的提高python在計算方面的性能。是不是所有的python代碼上，都可以加上numba.jit裝飾器？答案是否定的。 示例 環境 python3.6 fedora pymysql 示例 很常見的例子，從

2019-01-21 17:59:42