原创 tiny-dnn庫初識
因爲最近的一個模型需要使用C++落地，平時使用的是python，在問google中，發現了tiny-dnn，於是着手去研究下這個庫。tiny-dnn是一個C++實現的輕量的深度學習庫，裏面實現了主流的模型代碼框架，如DNN、CNN、RNN
2020-06-16 01:39:17
10
原创 在unbutu上通過man查看C++標準函數庫
在職業生涯初期養成的習慣，所有不清楚的函數用法都問下度娘或者google。除了常用的unix系統的標準函數是通過man進行查詢，很少使用man函數去查詢標準函數庫的函數。今天不知爲什麼心血來潮，很長一段時間也沒有寫過C++的代碼了（最近幾
2020-06-16 01:39:17
原创 關於multiprocessing的Queue效率問題
今天大半天都在折騰着一個問題，就是從kafka消費消息後，後面的業務處理一直處理不過來，總是延後幾個小時。爲了解決這個問題，不斷去調試代碼，查找到相對耗時的位置，最終定位是Qeueue的問題。先上一段簡化版的代碼。 #!/usr/bin
2020-06-16 01:39:17
原创 IntelliJ IDEA下構建kafka環境與源碼編譯
最近希望深入研究下kafka的架構，想了解架構必須去閱讀其源碼。於是自己動手在IDE下構建一個可運行可調試的kafka環境，下面是構建kafka環境及編譯源碼。 一、安裝jdk C:\Users\Administrator>java -
2020-06-16 01:39:17
原创 關於logstash的坑，求解
這兩天出現一個小事故，是logstash讀取文件信息輸出到kafka，因爲topic沒有創建，而導致所有的topic都沒有數據。先將配置文件列出來。 input { file { path => "/data/xx/log/xs
2020-06-16 01:39:17
8
原创 使用flask實現restfulapi
今天早上想快速實現幾個臨時使用的http接口，供其他人調用，之前都是使用java去寫的，最近因爲都玩着python，第一時間想到使用flask去實現試試，也體驗下flask輕量級的框架。 在https://flask-restful.re
2020-06-16 01:39:17
原创 hadoop集羣環境動態增加datanode
一、當前環境狀況介紹 目前我的環境上總共有2個namenode和7個datanode，現在想增加更多的機器（其實就是一堆老舊殘的機器，隨時都可能有生命危險，哈哈）。 上圖是我目前的7個datanode節點，我希望有機器增加了，增加多一臺
2020-06-16 01:39:17
原创 linux64位系統編譯32位程序的問題
今天將原來一個64位的程序改編譯成32位程序，而我的linux系統是64位的，編譯時報錯了 Error:：/usr/include/features.h:324:26: fatal error: bits/predefs.h: No su
2020-02-24 08:35:36