原创 hadoop http://192.168.20.114:50070 無法訪問
hadoop http://192.168.20.114:50070 無法訪問 表示HDFS服務沒有啓動。 原因很多，我的原因是沒有格式化文件系統。 在 ./bin/start-all.sh 前面使用 bin/hadoop namen
2020-06-17 04:35:23
原创 mongoDB批量插入數據性能分析、索引效率
硬件環境： 一臺華碩筆記本 AMD Athlon(tm) X2 Dual-Core ，1GB 軟件環境： 單機測試 ，非集羣環境 ，python腳本讀取一個含60W條數據的文件，插入數據庫。 測試方法： 批量插入n條數據，測試cpu、內
2020-06-17 04:35:23
8
原创 java.lang.ClassNotFoundException: com.hadoop.WordCount$Map
java.lang.RuntimeException: java.lang.ClassNotFoundException: com.xtj.hadoop.WordCountNew$Map at org.apache.h
2020-02-23 12:23:57
原创 linux下JDK環境變量的配置
2.設置環境變量。 #vi /etc/profile 在最後面加入 #set java environment JAVA_HOME=/usr/java/jdk-1_5_0_02 CLASSPATH=.:$JAVA_HOME/lib.to
2020-02-23 12:23:57
原创 mongoDB安全認證機制
爲了保證數據的安全性，mongodb提供了兩種方式的安全驗證機制：①賬號密碼認證 ②IP綁定 一、賬號密碼認證 這個沒什麼好說的，和普通關係型的數據庫一樣，使用賬號密碼進行認證，並且，用戶有權限的概念，比如mysql中用戶
2020-02-23 12:23:57
原创 運行hadoop程序、java
條件：java程序打包成jar。假定生成的jar文件是 d.jar。 方法一： 直接java -jar d.jar 不推薦使用。 方法二： 1.啓動hadoop的各種進程。 bin/start-all.sh
2020-02-23 12:23:57
原创 remove needs a query at src/mongo/shell/collection.js:299
目的：刪除test1集合中的所有數據， 操作： 結果：數據沒有刪除，根據提示是因爲缺少參數。 正確做法：
2020-02-23 12:23:57
原创 linux下安裝mongoDB的python驅動 pymongo
pymongo是一個驅動程序，用Python編寫的高性能，文件爲基礎的數據庫。 下載並安裝。 [monogdb@localhost bin]$wget http://pypi.python.org/packages/source/p/py
2020-02-23 12:23:57
原创 java連接mongoDB《安全驗證》
1. 需要jar包： maven依賴： <dependency> <groupId>org.mongodb</groupId> <artifactId>mongo-java-driver</artifactId>
2020-02-23 12:23:57
原创 ubuntu創建FTP服務器。
使用vsftpd作爲FTP服務器。 步驟： 1.安裝FTP服務器 sudo apt-get install vsftpd 2.服務器啓動、關閉、重啓的操作： service vsftpd start | stop | resta
2020-02-23 12:23:57
原创 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException
2013-06-24 11:39:32,383 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:zqgame
2020-02-23 12:23:57
1
原创 ssh啓動不了
調試了兩個小時。ssh啓動不了。 service ssh start /etc/init.d/ssh start 都嘗試了，還是沒法啓動。 【 是否啓動，可以命令行： ps -s | grep ssh 查看是否有 ssh 服務。 如
2020-02-23 12:23:57
原创 TypeError: distinct() takes exactly 2 arguments (3 given)
出現原因，錯誤的寫法： table.distinct('snp',{'pid':'xxx'}) 正確的寫法 table.find({'pid':'xxx'}).distinct('snp')
2020-02-23 12:23:57
原创 得到兩個list中相同的部分。
假設有兩個List<String>: list1,list2 ,要求得到兩個list中相同的部分。 List temList1 = list1.clone();//clone對象 List temp =temList1 .remov
2020-02-23 12:23:57
原创 linux JDK配置 -bash: export: `/usr/lib/java': 不是有效的標識符
在/etc/rofile中添加如下： export JAVA_HOME=/usr/lib/java export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/d
2020-02-23 12:23:57