原创 Replace into與Insert update
Replace into replace into 跟 insert 功能類似, 不同點在於:replace into 首先嚐試插入數據到表中, 1. 如果發現表中已經有此行數據(根據主鍵或者唯一索引判斷)則先刪除此行數據,然後插入新的數
原创 Awk與Shell互相傳值
awk中使用shell中的變量 一:"'$var'" 這種寫法大家無需改變用'括起awk程序的習慣,是老外常用的寫法。如: var="test" awk 'BEGIN{print "'$var'"}' 這種寫法其實際是雙括號變爲單括號的常
原创 MySQL 備份與還原
備份 mysqldump -u user -P port -p db tab1 tab2 > db.sql 恢復 mysql -u user -P port -p db < db.sql
原创 編寫Mahout程序流程
1,編寫java程序 2,編譯: javac -classpath /home/hadoop/hadoop-0.20.2/hadoop-0.20.2-core.jar:${MAHOUT_HOME}/mahout-examples-0.8-
原创 設置hadoop Job允許map task失敗的比例
設置hadoop Job允許map task失敗的比例 故事背景: hadoop任務分爲map task和reduce task,當map task執行失敗後會重試,超過重試次數(mapred.map.max.attempts指定
原创 常用進程相關操作
1,查看使用指定端口的進程 lsof -i TCP:9001 COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME java 11704 webroot 74u
原创 linux zip/unzip命令
命令名: zip 功能說明:壓縮文件。 語 法:zip [-AcdDfFghjJKlLmoqrSTuvVwXyz$][-b <工 作目錄>][-ll][-n <字 尾字符串>][-t <日 期時間>][-<壓 縮效率>][壓 縮文
原创 php put數據
Just been doing that myself today... here is code I have working for me... $data = array("a" => $a); $ch = curl_init($
原创 PHP 類的反射使用
對於每個頻道獲取相應的類來執行相應的操作 foreach($this->chs as $ch) { $className = $this->chsMap[$ch];
原创 用指定賬號執行命令
sudo su - usr1 -c "/data/cmd" spawn 遠程執行必須要有相同用戶名
原创 php curl 設置超時
php curl超時設置詳解 本文介紹下,在php中使用curl時,進行超時設置的詳細方法,大家參考下,希望對大家有一定的幫助. 訪問HTTP方式很多,可以使用curl, socket, fil
原创 JSON Hijacking漏洞
漏洞描述 CGI以JSON形式輸出數據,黑客控制的第三方站點以CSRF手段強迫用戶瀏覽器請求CGI得到JSON數據,黑客可以獲取敏感信息 漏洞檢測 使用工具獲取json數據。 漏洞修復 可使用以下任意辦法防禦J
原创 Spark Core: sc.textFile vs sc.WholeTextFiles
While loading a RDD from source data, there are two choices which look similar. scala> val movies = sc.textFile("
原创 elasticsearch的一些基本概念
elasticsearch的一些基本概念 需要我們注意的是,這些概念理解只是解釋其含義,不推薦強制翻譯成中文。 Index:這是ES存儲數據的地方,類似於關係數據庫的database。 Document type:嗯,類似關係數據庫
原创 elasticsearch的基本用法
最大的特點: 1. 數據庫的 database, 就是 index 2. 數據庫的 table, 就是 tag 3. 不要使用browser, 使用curl來進行客戶端操作. 否則會出現 java heap ooxx... cur