utf8:國際編碼,1個字節表示英文,3個字節表示中文
gbk:國家標準,2個字節表示中文
unicode:統一碼,二進制編碼
gbk與utf的編碼方式的不同,導致了不同類型的文件打開方式不同。
gbk格式的文件,要用codes.open(file_name,'r','gbk')的方式打開,讀寫的時候,line = line.rstrip("\n").encode('utf8')
正常情況下,gbk轉碼成utf: gbk解碼成unicode碼,然後把unicode碼編碼成utf8格式
str.decode('gbk').encode('utf8')
讀寫gbk文件:
# -*- coding: utf-8 -*-
#!/usr/bin/python
import sys
import codecs
def read_file(file_name):
with codecs.open(file_name,"r",'gbk') as fp:
for line in fp:
line = line.rstrip("\n").encode('utf8')
print line
if __name__=="__main__":
print sys.getdefaultencoding()
reload(sys)
sys.setdefaultencoding('utf8')
print sys.getdefaultencoding()
read_file("test")