原创 Linux 設置swap分區
1、檢查當前的分區情況（使用free －m或cat /proc/Swaps ） [root@db2 root]# free -m total used free shared buffers cached Mem: 1006 84
2020-06-25 12:29:36
原创 實現Unix時間戳(Unix timestamp)與普通時間 之間的相互轉換
實現Unix時間戳(Unix timestamp) ---> 普通時間 package text; import java.text.SimpleDateFormat; import java.util.Date; public c
2020-06-07 23:39:01
原创 ps -aux | sort -k4nr /opt/models/jdk//bin/java -cp /opt/models/spark-1.6.1-bin-hadoop2.6/conf/
centos7沒有存儲大量的數據，可是內存無緣無故就被佔滿了， 通過 ps -aux | sort -k4nr 查看佔據內存的程序都有哪些 看到運行中的spark節點，但是本人並沒有開啓spark服務， 可能以前設置服務器登陸祕鑰的時候
2020-02-24 02:10:50
原创 MapReduce WordCount
package com.hadoop.mr; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.
2020-02-24 02:10:50
原创 Linux文件權限管理
文件權限管理 三種基本權限 R 讀 數值表示爲4 W 寫 數值表示爲2 X 可執行 數值表示爲1 如圖所示， jdk-7u21-linux-i
2020-02-24 02:10:50
原创 .ElasticSearch的數據導入導出工具-ElasticDump，安裝及使用
在linux上 安裝，步驟如下： 1) yum install epel-release 2) yum install nodejs 3) yum install nodejs npm 4) npm in
2020-02-24 02:10:50
原创 Mongodb數據庫導入數據到elasticsearch，mongo-connector實現mongodb與elastic數據同步
爲了滿足要求， 需要將mongodb數據庫中的數據導入到elasticsearch中， 實現對數據的全文搜索。 1.安裝elasticsearch 2.安裝mongodb，必須有副本集 3.安裝elastic2-doc-manager
2020-02-24 02:10:50
原创 mongodb查看某個字段的數據類型
$type操作符 檢測類型 種類 代號 別名 Double 1 “double” String 2 “string” Object 3 “object” Array 4 “array” Binary data 5 “binData” U
2020-02-24 02:10:50
原创 Centos7 系統 常用命令
對於用慣了centos6的同志們來說，Centos7用起來還是有很多不慣的地方 查看所有網卡IP地址——ip addr 啓動防火牆——systemctl start firewalld.service 停止防火牆—
2020-02-24 02:10:50
原创 MongoDB使用ObjectId作爲_id字段值，簡述ObjectId構造
ObjectId 具有一個12字節的BSON類型的結構，如下： 前4個字節，從Unix紀元以來表示秒 接下來的3個字節是機器標識 接下來的2個字節進程ID組成 最後的3個字節是一個隨機計數
2020-02-24 02:10:49
原创 MongoDB神奇命令，常用常用非常實用！
使用robomongo工具1.sort 對某個字段進行排序： db.getCollection('content').find({}).sort({"time":-1}) -1:代表倒敘； 1:代表正序； 2.模糊查詢
2020-02-24 02:10:49
原创 Linux nc安裝
1.將該包上傳到一個文件夾中 2.進入該目錄，執行命令： rpm -ihv nc-1.84-22.el6.x86_64.rpm 3.安裝後執行命令，進行測試： nc --help
2020-02-24 02:10:49
原创 spark-hdfs問題解析
背景：Spark程序讀取hdfs中數據，進行數據解析，最終將符合需求數據落地hdfs特定目錄。程序開發有段時間了，今天突發異常，報錯日誌如下 java.io.IOException: Premature EOF reading fro
2019-08-23 04:53:46
5