類HashMap，但內存減少到原1/6的實現

java中的Map在提供方便實用的同時，也存在內存浪費巨大的問題。當Map中的Entry數量達到1000萬 條以上的時候，需要數G的內存空間 .這裏提到的Map使用形式爲HashMap<String,Byte>,平均每個key在20個字符左右，最多不超過200字符.

在實際情況下，有差不多5/6的內存浪費 在存放實際數據無關的地方.在一些一次寫入多次讀去的地方，完全沒有必要浪費這麼多的資源，下面就通過一個簡單的實現說明。

算法說明:

按照key的長度信息將所有的entry放進不同的隊列中，爲了方便此時的entry隊列已經排好序，當然也可以加進內存後再排序.

現在有很多的隊列了，在查詢的時候根據查詢詞長度選擇一個隊列，在隊列中通過2分法查找.

算法適用性:

適用於key值集中在一定範圍，value爲簡單類型(byte、int、long、float、double等)，數據量在百萬條以上，內存匱乏的情況.

import java.io.BufferedInputStream; import java.io.BufferedReader; import java.io.DataInputStream; import java.io.File; import java.io.FileInputStream; import java.io.FileReader; import java.io.IOException; import java.util.HashMap; import java.util.Map; public class BSortMap{ private static Map<Integer,BSortMap> bulk = new HashMap<Integer, BSortMap>(); final private byte[] entrys; //entry數組 private int count = 0; final private int keyLength; //key的字節大小 final private int entryLength; //每一個Entry的字節數 public BSortMap(int capacity, int keyLen){ this.keyLength = keyLen; entryLength = keyLen + 1; entrys = new byte[capacity * entryLength]; } public int size(){ return count; } /** * 添加記錄條目。條目都是已經排好序的。 * src格式爲<key,value> * @param src */ final public void add(byte src[]){ System.arraycopy(src, 0, entrys, count * entryLength, entryLength); count++; } final private int compare(final int begin,final byte[] b){ int i = 0; for (; entrys[begin+i] == b[i] && i < b.length - 1; i++) ; return entrys[begin + i] - b[i]; } /** * 獲取與key關聯的value值 * @param key * @return 如果不存在key關聯的value則返回-1 */ final public byte get(final byte[] key){ int i = 0; int j = count-1; int mid; while(i<=j){ mid = (i + j)>>1; final int ret =compare(mid*entryLength,key); if(ret==0){ return entrys[mid*entryLength + keyLength]; //返回結果 } else if (ret < 0){ i = mid+1; }else{ j = mid -1; } } return -1; } public static void main(String args[]) throws IOException{ File dir = new File("D:/workspace/partion_keyword/sort"); File[] files = dir.listFiles(); for(File f:files){ DataInputStream in = new DataInputStream(new BufferedInputStream(new FileInputStream(f))); /* * f爲根據key值已經排好序的文件 * 文件格式爲： * entrysCount: 一個整形數字，值爲總的記錄條目 * keyLength: 一個整形數字，值爲關鍵字的字節長度 * <key,value>列表 */ final int entrysCount = in.readInt(); final int keyLength = in.readInt(); byte[] buffer = new byte[keyLength + 1]; BSortMap bst = new BSortMap(entrysCount,keyLength); int i = 0; while(in.available() > 0){ int l = in.read(buffer); while(l != keyLength +1){ System.err.println("not equal."+l); } bst.add(buffer); i++; } bulk.put(keyLength,bst); if (entrysCount != i) System.err.println(f.getName()+":"+entrysCount+","+i); in.close(); } BufferedReader read = new BufferedReader(new FileReader("D:/eclipse/workspace/conf/wiki_kws.data")); String line ; int count = 0; long start = System.currentTimeMillis(); while((line = read.readLine())!=null){ byte key[] = line.trim().getBytes(); BSortMap bt = bulk.get(key.length); if(bt != null && bt.get(key) != -1){ count++; } } long end = System.currentTimeMillis(); System.out.println(end - start); System.out.println("count:"+count); int totalcount = 0; for(BSortMap s: bulk.values()){ totalcount += s.size(); } System.out.println("total count:"+totalcount); read.close(); /*while(true){ Scanner in = new Scanner(System.in); String key = in.next().trim(); if(key.equalsIgnoreCase("exit")) break; int len = key.trim().getBytes().length; BSort bt = bulk.get(len); byte v = bt.get(key.getBytes()); System.err.println(key+"="+v); }*/ } }

 

測試結果:

測試數據爲7138595條Entry，分佈在250個隊列中.

HashMap<String,Byte>的結果：

時間: 3780、3814

內存: 892M

此方法的結果：
時間:5792、5758

內存: 158M