原创 Replace into與Insert update

Replace into replace into 跟 insert 功能類似, 不同點在於:replace into 首先嚐試插入數據到表中, 1. 如果發現表中已經有此行數據(根據主鍵或者唯一索引判斷)則先刪除此行數據,然後插入新的數

原创 Awk與Shell互相傳值

awk中使用shell中的變量 一:"'$var'" 這種寫法大家無需改變用'括起awk程序的習慣,是老外常用的寫法。如: var="test" awk 'BEGIN{print "'$var'"}' 這種寫法其實際是雙括號變爲單括號的常

原创 MySQL 備份與還原

備份 mysqldump -u user -P port  -p db tab1 tab2 > db.sql 恢復 mysql -u user -P port -p db < db.sql

原创 編寫Mahout程序流程

1,編寫java程序 2,編譯: javac -classpath /home/hadoop/hadoop-0.20.2/hadoop-0.20.2-core.jar:${MAHOUT_HOME}/mahout-examples-0.8-

原创 設置hadoop Job允許map task失敗的比例

設置hadoop Job允許map task失敗的比例   故事背景: hadoop任務分爲map task和reduce task,當map task執行失敗後會重試,超過重試次數(mapred.map.max.attempts指定

原创 常用進程相關操作

1,查看使用指定端口的進程 lsof -i TCP:9001 COMMAND   PID    USER   FD   TYPE     DEVICE SIZE NODE NAME java    11704 webroot   74u 

原创 linux zip/unzip命令

命令名: zip   功能說明:壓縮文件。 語  法:zip [-AcdDfFghjJKlLmoqrSTuvVwXyz$][-b <工 作目錄>][-ll][-n <字 尾字符串>][-t <日 期時間>][-<壓 縮效率>][壓 縮文

原创 php put數據

Just been doing that myself today... here is code I have working for me... $data = array("a" => $a); $ch = curl_init($

原创 PHP 類的反射使用

       對於每個頻道獲取相應的類來執行相應的操作         foreach($this->chs as $ch) {             $className = $this->chsMap[$ch];         

原创 用指定賬號執行命令

sudo su - usr1 -c "/data/cmd" spawn 遠程執行必須要有相同用戶名

原创 php curl 設置超時

php curl超時設置詳解    本文介紹下,在php中使用curl時,進行超時設置的詳細方法,大家參考下,希望對大家有一定的幫助.   訪問HTTP方式很多,可以使用curl, socket, fil

原创 JSON Hijacking漏洞

漏洞描述    CGI以JSON形式輸出數據,黑客控制的第三方站點以CSRF手段強迫用戶瀏覽器請求CGI得到JSON數據,黑客可以獲取敏感信息      漏洞檢測    使用工具獲取json數據。 漏洞修復    可使用以下任意辦法防禦J

原创 Spark Core: sc.textFile vs sc.WholeTextFiles

While loading a RDD from source data, there are two choices which look similar. scala&gt; val movies = sc.textFile("

原创 elasticsearch的一些基本概念

elasticsearch的一些基本概念 需要我們注意的是,這些概念理解只是解釋其含義,不推薦強制翻譯成中文。 Index:這是ES存儲數據的地方,類似於關係數據庫的database。 Document type:嗯,類似關係數據庫

原创 elasticsearch的基本用法

最大的特點: 1. 數據庫的 database, 就是  index 2. 數據庫的 table,  就是 tag 3. 不要使用browser, 使用curl來進行客戶端操作.  否則會出現 java heap ooxx... cur