1,退一萬步說，如果慢的話，可以採用兩個線程，一個線程負責讀取文件，另一個線程負責處理讀取出的數據。建一個共享長度爲 1000 的
LinkedBlockingQueue，每行作爲其中的一個元素。
文件讀取是消耗 IO 資源
而行處理是消耗 CPU
資源
這兩個消耗的資源不同，因此可以提高處理性能。
當然了，這樣做是在讀一行處理一行很慢的前提下進行的。
2,是java運行環境的問題，運行時java時添加下面兩個選項：
java -Xms128m -Xmx128m
3,用集合，List list = new ArrayList(); 還有 LinkeList() 可以裝載對象 ArrayLisy是有序集合，長度自動增加，查詢的效率比較高 LinkeList() 是指針型的集合，插入和修改效率比較高
4,
MapReduce
hadoop
package com.iptest.tools;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.PrintWriter;
import java.util.ArrayList;
import java.util.List;
import com.iptest.biz.IPBiz;
public class FileOperate {
public FileOperate() {
}
/**
* 新建目錄
*
* @param folderPath
* String 如 c:/fqf
* @return boolean
*/
public boolean newFolder(String folderPath) {
boolean iSucess = false;
try {
String filePath = folderPath;
filePath = filePath.toString();
File myFilePath = new File(filePath);
if (!myFilePath.exists()) {
if (myFilePath.mkdir())
iSucess = true;
}
} catch (Exception e) {
System.out.println("新建目錄操作出錯");
e.printStackTrace();
}
return iSucess;
}
/**
* 新建文件
*
* @param filePathAndName
* String 文件路徑及名稱 如c:/fqf.txt
* @param fileContent
* String 文件內容
* @return boolean
*/
public void newFile(String filePathAndName, String fileContent) {
try {
String filePath = filePathAndName;
filePath = filePath.toString();
File myFilePath = new File(filePath);
if (!myFilePath.exists()) {
myFilePath.createNewFile();
}
FileWriter resultFile = new FileWriter(myFilePath);
PrintWriter myFile = new PrintWriter(resultFile);
String strContent = fileContent;
myFile.println(strContent);
resultFile.close();
} catch (Exception e) {
System.out.println("新建目錄操作出錯");
e.printStackTrace();
}
}
/**
* 刪除文件
*
* @param filePathAndName
* String 文件路徑及名稱 如c:/fqf.txt
* @param fileContent
* String
* @return boolean
*/
public void delFile(String filePathAndName) {
try {
String filePath = filePathAndName;
filePath = filePath.toString();
File myDelFile = new File(filePath);
myDelFile.delete();
} catch (Exception e) {
System.out.println("刪除文件操作出錯");
e.printStackTrace();
}
}
/**
* 刪除文件夾
*
* @param filePathAndName
* String 文件夾路徑及名稱 如c:/fqf
* @param fileContent
* String
* @return boolean
*/
public void delFolder(String folderPath) {
try {
delAllFile(folderPath); // 刪除完裏面所有內容
String filePath = folderPath;
filePath = filePath.toString();
File myFilePath = new File(filePath);
myFilePath.delete(); // 刪除空文件夾
} catch (Exception e) {
System.out.println("刪除文件夾操作出錯");
e.printStackTrace();
}
}
/**
* 刪除文件夾裏面的所有文件
*
* @param path
* String 文件夾路徑 如 c:/fqf
*/
public void delAllFile(String path) {
File file = new File(path);
if (!file.exists()) {
return;
}
if (!file.isDirectory()) {
return;
}
String[] tempList = file.list();
File temp = null;
for (int i = 0; i < tempList.length; i++) {
if (path.endsWith(File.separator)) {
temp = new File(path + tempList[i]);
} else {
temp = new File(path + File.separator + tempList[i]);
}
if (temp.isFile()) {
temp.delete();
}
if (temp.isDirectory()) {
delAllFile(path + "/" + tempList[i]);// 先刪除文件夾裏面的文件
delFolder(path + "/" + tempList[i]);// 再刪除空文件夾
}
}
}
/**
* 複製單個文件
*
* @param oldPath
* String 原文件路徑 如：c:/fqf.txt
* @param newPath
* String 複製後路徑 如：f:/fqf.txt
* @return boolean
*/
public void copyFile(String oldPath, String newPath) {
try {
int bytesum = 0;
int byteread = 0;
File oldfile = new File(oldPath);
if (oldfile.exists()) { // 文件存在時
InputStream inStream = new FileInputStream(oldPath); // 讀入原文件
FileOutputStream fs = new FileOutputStream(newPath);
byte[] buffer = new byte[1444];
int length;
while ((byteread = inStream.read(buffer)) != -1) {
bytesum += byteread; // 字節數 文件大小
System.out.println(bytesum);
fs.write(buffer, 0, byteread);
}
inStream.close();
}
} catch (Exception e) {
System.out.println("複製單個文件操作出錯");
e.printStackTrace();
}
}
/**
* 複製整個文件夾內容
*
* @param oldPath
* String 原文件路徑 如：c:/fqf
* @param newPath
* String 複製後路徑 如：f:/fqf/ff
* @return boolean
*/
public void copyFolder(String oldPath, String newPath) {
try {
(new File(newPath)).mkdirs(); // 如果文件夾不存在 則建立新文件夾
File a = new File(oldPath);
String[] file = a.list();
File temp = null;
for (int i = 0; i < file.length; i++) {
if (oldPath.endsWith(File.separator)) {
temp = new File(oldPath + file[i]);
} else {
temp = new File(oldPath + File.separator + file[i]);
}
if (temp.isFile()) {
FileInputStream input = new FileInputStream(temp);
FileOutputStream output = new FileOutputStream(newPath
+ "/" + (temp.getName()).toString());
byte[] b = new byte[1024 * 5];
int len;
while ((len = input.read(b)) != -1) {
output.write(b, 0, len);
}
output.flush();
output.close();
input.close();
}
if (temp.isDirectory()) {// 如果是子文件夾
copyFolder(oldPath + "/" + file[i], newPath + "/" + file[i]);
}
}
} catch (Exception e) {
System.out.println("複製整個文件夾內容操作出錯");
e.printStackTrace();
}
}
public List<String> GetListFileName(String path){
File parentFile=new File(path);
File[] childrenFile=parentFile.listFiles();
ArrayList<String> txtFile=new ArrayList<String>();
if(childrenFile!=null&&childrenFile.length>0){
for(int i=0;i<childrenFile.length;i++){
if(childrenFile[i].getName().endsWith(".txt") || childrenFile[i].getName().endsWith(".min") )
txtFile.add(childrenFile[i].toString());
}
}
return txtFile;
}
/**
* 讀取目錄下的文件列表中的內容
*
* @param fileList 例如：C:/IP下的所有.TXT
* @return
*/
public List<String> ReadFileList(List<String> fileList)
{
int count = 0 ;
List<String> listContent = new ArrayList<String>();
for(String file : fileList)
{
count ++;
try {
FileReader read = new FileReader(new File(file));
StringBuffer sb = new StringBuffer();
char ch[] = new char[1024*1024];
int d = read.read(ch);
while(d!=-1){
String str = new String(ch,0,d);
sb.append(str);
d = read.read(ch);
System.out.println(sb);
listContent.add(sb.toString());
}
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
return listContent;
}
/**
* 移動文件到指定目錄
*
* @param oldPath
* String 如：c:/fqf.txt
* @param newPath
* String 如：d:/fqf.txt
*/
public void moveFile(String oldPath, String newPath) {
copyFile(oldPath, newPath);
delFile(oldPath);
}
/**
* 移動文件到指定目錄
*
* @param oldPath
* String 如：c:/fqf.txt
* @param newPath
* String 如：d:/fqf.txt
*/
public void moveFolder(String oldPath, String newPath) {
copyFolder(oldPath, newPath);
//delFolder(oldPath);
}
public static void main(String[] args) {
FileOperate oper = new FileOperate();
oper.moveFolder("E:/IP", "E:/Oracle10G/周宇/ipconfig");
}
}