Python的ASCII, GB2312, Unicode , UTF-8

        ASCII 是一種字符集,包括大小寫的英文字母、數字、控制字符等,它用一個字節表示,範圍是 0-127。Unicode分爲UTF-8和UTF-16,UTF-8是可變長度的,最多 6 個字節,小於 127 的字符用一個字節表示,與 ASCII 字符集的結果一樣,ASCII 編碼下的英語文本不需要修改就可以當作 UTF-8 編碼進行處理。
        Python 從 2.2 開始支持 Unicode ,函數decode(char_set)可以實現其它編碼到 Unicode 的轉換,稱之爲解碼;函數encode(char_set)實現 Unicode 到其它編碼方式的轉換,稱之爲編碼。例如:

("你好").decode( "GB2312") 
將得到
u'/u4f60/u597d',
即 "你"和“好"的 Unicode 碼分別是 0x4f60 0x597d

再用 

(u'/u4f60/u597d').encode("UTF-8") 
將得到
'/xe4/xbd/xa0/xe5/xa5/xbd'
它是 “你好”的UTF-8編碼結果。

        Python中使用 unicode的關鍵:unicode是一個類,函數unicode(str, "utf8")是將utf8編碼(當然也可以是別的編碼)的字符串str生成 unicode類的對象,而函數unc.encode("utf8")將unicode類的對象unc轉換爲(編碼爲)utf8編碼(當然也可以是別的編碼)的字符串。

        於是,編寫unicode相關程序,需要做的事情是獲取數據(字符串)時,用unicode(str, "utf8")生成unicode對象,在程序中僅使用unicode對象,對程序中出現的字符串常量都以u"字符串"的形式書寫,輸出時,可將unicode對象轉換爲任意編碼輸出,使用str.encode("some_encoding")。例如:

$ bpython
>>> unicode("你好",  "utf8")
u'/u4f60/u597d'

>>> x = _
>>> type(x)
<type 'unicode'>

>>> type("你好")
<type 'str'>

>>> x.encode("utf8")
'/xe4/xbd/xa0/xe5/xa5/xbd'

>>> x.encode("gbk")
'/xc4/xe3/xba/xc3'

>>> x.encode("gb2312")
'/xc4/xe3/xba/xc3'

>>> print x
你好

>>> print x.encode("utf8")
你好

>>> print x.encode("gbk")
???

        以上是測試結果(Ubuntu 6.06,locale爲utf8),注意type(x)和type("你好")的區別。從編碼上可以看出utf8編碼與gbk不同。在utf8的 locale設置下,打印x按該環境變量編碼,而打印x.encode("gbk")則是亂碼。

發佈了30 篇原創文章 · 獲贊 6 · 訪問量 6萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章