如何通過MD5反查身份證號？

題目：設計一個身份證查詢系統，將身份證號md5 之後存儲，輸入md5值查詢對應的身份證號。
要求：成本低，查詢速度快

設計思路：

1. 將所有可能的身份證號做一個簡單的統計計算數據量
2. 根據數據量選擇存儲方式
3. 查詢

身份證生成規則：

身份號碼是特徵組合碼，由前十七位數字本體碼和最後一位數字校驗碼組成。排列順序從左至右依次爲六位數字地址碼，八位數字出生日期碼，三位數字順序碼和一位數字校驗碼。

地址碼： 表示編碼對象常住戶口所在縣(市、旗、區)的行政區劃代碼。對於新生兒，該地址碼爲戶口登記地行政區劃代碼。需要沒說明的是，隨着行政區劃的調整，同一個地方進行戶口登記的可能存在地址碼不一致的情況。行政區劃代碼按GB/T2260的規定執行。

出生日期碼：表示編碼對象出生的年、月、日，年、月、日代碼之間不用分隔符，格式爲YYYYMMDD，如19880328。按GB/T 7408的規定執行。原15位身份證號碼中出生日期碼還有對百歲老人特定的標識，其中999、998、997、996分配給百歲老人。

順序碼： 表示在同一地址碼所標識的區域範圍內，對同年、同月、同日出生的人編定的順序號，順序碼的奇數分配給男性，偶數分配給女性。

校驗碼： 根據本體碼，通過採用ISO 7064:1983,MOD 11-2校驗碼系統計算出校驗碼。算法可參考下文。前面有提到數字校驗碼，我們知道校驗碼也有X的，實質上爲羅馬字符X，相當於10.

校驗碼算法

將本體碼各位數字乘以對應加權因子並求和，除以11得到餘數，根據餘數通過校驗碼對照表查得校驗碼。

加權因子表：

+-----------------------------------------------------------+ 
|位置序號|1 |2 |3 |4 |5 |6 |7 |8 |9 |10|11|12|13|14|15|16|17| 
+-----------------------------------------------------------+ 
|加權因子|7 |9 |10|5 |8 |4 |2 |1 |6 |3 |7 |9 |10|5 |8 |4 |2 | 
+-----------------------------------------------------------+ 

校驗碼錶:

+----------------------------------------------------+ 
| 餘數  | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 
+----------------------------------------------------+ 
| 校驗碼| 1 | 0 | X | 9 | 8 | 7 | 6 | 5 | 4 | 3 | 2  | 
+----------------------------------------------------+ 

算法舉例：

本體碼爲11010519491231002

• 第一步：各位數與對應加權因子乘積求和1 7+1 9+0 10+1 5+ * =167
• 第二步：對求和進行除11得餘數167%11=2
• 第三步：根據餘數2對照校驗碼得X

因此完整身份證號爲：11010519491231002X

預估數據量：

1. 身份證號18位，前六位爲地區碼，中間八位爲日期，日期後三位爲順序碼，最後一位爲校驗位，佔32個字節
2. md5值爲32位，佔32個字節
3. 計算最近100年數據，大約數據量爲：3465x100x365x999=126346027500
4. 數據以字符串存儲，每條數據32+18=50B
5. 則數據量爲 126346027500 x 50=6317301375000B=6169239624k=6024648M=5883G=5.74T `

存儲方式有文件存儲、關係型數據庫存儲和es存儲等。從結果可以看到有接近6T的數據，如果存入數據庫或es成本較高，這裏選擇以文件的方式存儲。

那有沒有方式壓縮存儲空間呢？

1. 身份證號最後一位爲校驗位，可以不存儲，省略掉這一位會節約1/50點空間
2. 不以字符串的方式存儲，將身份證號以uint64存儲，md5值也轉化成兩個uint64存儲。uint64佔8閣字節空間，這樣一條數據的空間由50降爲了 24。最終數據量爲2.74T，節約一半多的空間。

那現在有一個問題，每個文件多大合適呢？

如果文件太大，每次將文件讀取到內存中耗時較長，如果文件太小，則會生成太多的文件可能超出系統的文件數限制。

這裏可以參考數據庫索引的存儲方式，設定每個數據文件的大小（2.8T數據可以設置每個數據文件1G左右。

數據生成後如何查詢？

1. 遍歷，依次讀取文件，查找數據，效率太低
2. 這裏參考數據庫索引的查詢方式，首先將數據按md5值排序後存儲多個文件，記錄每個文件中md5值的範圍，輸入md5值確定文件，再讀取文件使用二分查找。
3. 這時查找數據只需要讀取一個文件，但是每個文件都有幾百兆的數據，查詢效率還是太低，再參考一下數據庫索引，這裏將文件內部再分頁，記錄每頁的範圍，和文件所自身記錄的起始值一起生成索引，索引結構如圖所示：

索引數據結構爲：

# 爲了簡化存儲，這裏file1、file2、file3、file4 爲該文件第一條數據的md5值，也是對應的文件名
# 頁的大小固定，所以二級索引只需要按順序記錄每頁的第一個md5值即可

indexes = { 
    "file1": ["md51", "md52", "md53", "..."],
    "file2": ["md51", "md52", "md53", "..."], 
    "file3": ["md51", "md52", "md53", "..."], 
    "file4": ["md51", "md52", "md53", "..."],  
} 

第一層索引爲文件索引，首先通過md5值判斷md5值所在文件，比如輸入的 start1 > md5 > start1，可以判斷結果可能在file1 中；

第二層爲文件內索引，通過md5值判斷所在的頁，讀取根據offset讀取該頁的全部數據，再通過二分查找找到對應的身份證號。

代碼實現源碼地址：https://github.com/gusibi/one...

使用方式：

1. go run main.go
2. curl http://127.0.0.1:8080/search?md5={id md5}

參考鏈接：

• 源碼地址

---

最後，感謝女朋友支持和包容，比❤️

也可以在公號輸入以下關鍵字獲取歷史文章：公號&小程序 | 設計模式 | 併發&協程