原创 Linux 多線程 網絡編程 管道 socket等相關心得
1. IPC 信號量:ftok,semget/semctl/semop 信號:signal截取信號,可以自定義 管道:pipe,fd0,fd1,read/write,一邊關閉讀,一邊關閉寫,半雙工 消息隊列:ftok,msgget/msg
原创 flask rest
轉載於:https://www.cnblogs.com/knarfeh/p/5616515.html 環境簡介 Ubuntu 我使用的 Ubuntu 系統版本是 14.04,用過幾個 Linux 發行版,現在挑選系統的第一選擇基本就是
原创 python 的打包及安裝 distutils
命令如下: python setup.py --help-commands python setup.py sdist 創建一個源碼包發佈 python setup.py bdist 創建一個二進制包發佈 以什麼樣的格式打包z
原创 拷貝anaconda環境,替換絕對地址
find . -type f -exec sed -i 's/\/home\/tizen\/anaconda3/\/data\/aif\/common\/conda-share/g' {} \; find . -type f -exec
原创 32 位 的hadoop 編譯hadoop 2.7.1
1. 安裝jdk, 直接apt get openjdk-7-jdk 2. 安裝openssl ,直接apt get openssl 3. 安裝maven,直接apt get maven 4. 安裝protobuf tar -zxf pr
原创 c++ 準則
1. 沒有面向對象也可以使用c++,因爲c++=c+OO+template+stl,高效編程取決於使用c++的哪一部分特性 2. 儘量少用#define a)const替換常量: const double ration = 2.3;
原创 知識導航
【NLP】http://blog.csdn.net/u012560212/article/details/53405338 LabelEncoderhttp://blog.csdn.net/u013709332/article/det
原创 Spark PairRDD 行動與數據分區
package com.fei.simple_project; import java.util.ArrayList; import java.util.Arrays; import java.util.List; import jav
原创 算法考試小結
考試步驟: 1. 花15分鐘閱讀題目,題目信息量大的時候需要注意給定的condition 2. 花15分鐘解析題目,從簡單的case開始分析,分析出處理問題的步驟 3. 根據解決問題的步驟嘗試套用已有算法: @ 是否是單源最短
原创 Spark RDD 轉化
package com.fei.simple_project; import java.util.Arrays; import org.apache.spark.SparkConf; import org.apache.spark.a
原创 Spark RDD 行動
測試過程中會出現大量INFO,影響調試 修改conf下log配置文件 log4j.rootCategory=WARN, console package com.fei.simple_project; import org.apach
原创 Spark on Hadoop Yarn 部署
前提:haoop yarn已經部署完畢,關於hadoop yarn的部署已經在前面文章中說明 1. 安裝scala 下載scala-2.11.7.tgz sudo ln -s /home/tizen/share/software/sca
原创 eclipse + pydev + spark + hadoop
1. java 安裝 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html jdk我選擇linux x86版本gz 注意安裝
原创 DFS 小結
DFS從實現角度看有兩種方法: 1. 迭代寫法:自己實現一個stack,類似bfs的寫法,只不過將queue改成stack而已 2. 遞歸寫法:基本框架 dfs() { 1. 退出點,例如到達目的點 2. 剪枝點,
原创 DBUS 實現c/s 全雙工
前一篇文章主要介紹了dbus調用的流程,及簡單的單工通信,這裏記錄下雙工通信的流程,供後續參考。 定義dbus名稱,路徑,接口,方法等。 額外注意點: 1. 所有的全局資源必須加鎖 2. handle-method-call中 從g_va