原创 Linux 多線程 網絡編程 管道 socket等相關心得

1. IPC 信號量:ftok,semget/semctl/semop 信號:signal截取信號,可以自定義 管道:pipe,fd0,fd1,read/write,一邊關閉讀,一邊關閉寫,半雙工 消息隊列:ftok,msgget/msg

原创 flask rest

轉載於:https://www.cnblogs.com/knarfeh/p/5616515.html 環境簡介 Ubuntu 我使用的 Ubuntu 系統版本是 14.04,用過幾個 Linux 發行版,現在挑選系統的第一選擇基本就是

原创 python 的打包及安裝 distutils

命令如下: python setup.py --help-commands python setup.py sdist   創建一個源碼包發佈  python setup.py bdist 創建一個二進制包發佈  以什麼樣的格式打包z

原创 拷貝anaconda環境,替換絕對地址

find . -type f -exec sed -i 's/\/home\/tizen\/anaconda3/\/data\/aif\/common\/conda-share/g' {} \; find . -type f -exec

原创 32 位 的hadoop 編譯hadoop 2.7.1

1. 安裝jdk, 直接apt get openjdk-7-jdk 2. 安裝openssl ,直接apt get openssl 3. 安裝maven,直接apt get maven 4. 安裝protobuf tar -zxf pr

原创 c++ 準則

1. 沒有面向對象也可以使用c++,因爲c++=c+OO+template+stl,高效編程取決於使用c++的哪一部分特性   2. 儘量少用#define a)const替換常量: const double ration = 2.3;

原创 知識導航

  【NLP】http://blog.csdn.net/u012560212/article/details/53405338 LabelEncoderhttp://blog.csdn.net/u013709332/article/det

原创 Spark PairRDD 行動與數據分區

package com.fei.simple_project; import java.util.ArrayList; import java.util.Arrays; import java.util.List; import jav

原创 算法考試小結

考試步驟: 1. 花15分鐘閱讀題目,題目信息量大的時候需要注意給定的condition 2. 花15分鐘解析題目,從簡單的case開始分析,分析出處理問題的步驟 3. 根據解決問題的步驟嘗試套用已有算法:      @  是否是單源最短

原创 Spark RDD 轉化

package com.fei.simple_project; import java.util.Arrays; import org.apache.spark.SparkConf; import org.apache.spark.a

原创 Spark RDD 行動

測試過程中會出現大量INFO,影響調試 修改conf下log配置文件 log4j.rootCategory=WARN, console package com.fei.simple_project; import org.apach

原创 Spark on Hadoop Yarn 部署

前提:haoop yarn已經部署完畢,關於hadoop yarn的部署已經在前面文章中說明 1. 安裝scala 下載scala-2.11.7.tgz sudo ln -s /home/tizen/share/software/sca

原创 eclipse + pydev + spark + hadoop

1. java 安裝 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html jdk我選擇linux x86版本gz 注意安裝

原创 DFS 小結

DFS從實現角度看有兩種方法: 1. 迭代寫法:自己實現一個stack,類似bfs的寫法,只不過將queue改成stack而已 2. 遞歸寫法:基本框架 dfs() {     1.   退出點,例如到達目的點     2.   剪枝點,

原创 DBUS 實現c/s 全雙工

前一篇文章主要介紹了dbus調用的流程,及簡單的單工通信,這裏記錄下雙工通信的流程,供後續參考。 定義dbus名稱,路徑,接口,方法等。 額外注意點: 1. 所有的全局資源必須加鎖 2. handle-method-call中 從g_va