ASCII 是一種字符集,包括大小寫的英文字母、數字、控制字符等,它用一個字節表示,範圍是 0-127。Unicode分爲UTF-8和UTF-16,UTF-8是可變長度的,最多 6 個字節,小於 127 的字符用一個字節表示,與 ASCII 字符集的結果一樣,ASCII 編碼下的英語文本不需要修改就可以當作 UTF-8 編碼進行處理。
Python 從 2.2 開始支持 Unicode ,函數decode(char_set)可以實現其它編碼到 Unicode 的轉換,稱之爲解碼;函數encode(char_set)實現 Unicode 到其它編碼方式的轉換,稱之爲編碼。例如:
("你好").decode( "GB2312")
將得到 u'/u4f60/u597d',
即 "你"和“好"的 Unicode 碼分別是 0x4f60
和 0x597d
再用
(u'/u4f60/u597d').encode("UTF-8")
將得到 '/xe4/xbd/xa0/xe5/xa5/xbd'
它是 “你好”的UTF-8編碼結果。Python中使用 unicode的關鍵:unicode是一個類,函數unicode(str, "utf8")是將utf8編碼(當然也可以是別的編碼)的字符串str生成 unicode類的對象,而函數unc.encode("utf8")將unicode類的對象unc轉換爲(編碼爲)utf8編碼(當然也可以是別的編碼)的字符串。
於是,編寫unicode相關程序,需要做的事情是獲取數據(字符串)時,用unicode(str, "utf8")生成unicode對象,在程序中僅使用unicode對象,對程序中出現的字符串常量都以u"字符串"的形式書寫,輸出時,可將unicode對象轉換爲任意編碼輸出,使用str.encode("some_encoding")。例如:
$ bpython
>>> unicode("你好", "utf8")
u'/u4f60/u597d'
>>> x = _
>>> type(x)
<type 'unicode'>
>>> type("你好")
<type 'str'>
>>> x.encode("utf8")
'/xe4/xbd/xa0/xe5/xa5/xbd'
>>> x.encode("gbk")
'/xc4/xe3/xba/xc3'
>>> x.encode("gb2312")
'/xc4/xe3/xba/xc3'
>>> print x
你好
>>> print x.encode("utf8")
你好
>>> print x.encode("gbk")
???
以上是測試結果(Ubuntu 6.06,locale爲utf8),注意type(x)和type("你好")的區別。從編碼上可以看出utf8編碼與gbk不同。在utf8的 locale設置下,打印x按該環境變量編碼,而打印x.encode("gbk")則是亂碼。