Python 編碼爲什麼那麼蛋疼?

據說,每個做 Python 開發的都被字符編碼的問題搞暈過,最常見的錯誤就是 UnicodeEncodeError、UnicodeDecodeError,你好像知道怎麼解決,遺憾的是,錯誤又出現在其它地方,問題總是重蹈覆轍,str 到 unicode 之間的轉換用 decode 還是 encode 方法還特不好記,老是混淆,問題究竟出在哪裏?

爲了弄清楚這個問題,我決定從 python 字符串的構成以及字符編碼的細節上進行深入淺出的分析

字節與字符

計算機存儲的一切數據,文本字符、圖片、視頻、音頻、軟件都是由一串01的字節序列構成的,一個字節等於8個比特位。

而字符就是一個符號,比如一個漢字、一個英文字母、一個數字、一個標點都可以稱爲一個字符。

字節方便存儲和網絡傳輸,而字符用於顯示,方便閱讀。例如字符 “p” 存儲到硬盤是一串二進制數據 01110000,佔用一個字節的長度。

編碼與解碼

我們用編輯器打開的文本,看到的一個個字符,最終保存在磁盤的時候都是以二進制字節序列形式存起來的。那麼從字符到字節的轉換過程就叫做編碼(encode),反過來叫做解碼(decode),兩者是一個可逆的過程。編碼是爲了存儲傳輸,解碼是爲了方便顯示閱讀。

例如字符 “p” 經過編碼處理保存到硬盤是一串二進制字節序列 01110000 ,佔用一個字節的長度。字符 “禪” 有可能是以 “11100111 10100110 10000101” 佔用3個字節的長度存儲,爲什麼說是有可能呢?這個放到後面再說。

Python 的編碼爲什麼那麼蛋疼?當然,這不能怪開發者。

這是因爲 Python2 使用 ASCII 字符編碼作爲默認編碼方式,而 ASCII 不能處理中文,那麼爲什麼不用 UTf-8 呢?因爲 Guido 老爹爲 Python 編寫第一行代碼是在1989年的冬天,1991年2月正式開源發佈了第一個版本,而 Unicode 是1991年10月發佈的,也就是說 Python 這門語言創立的時候 UTF-8 還沒誕生,這是其一。

Python 把字符串的類型還搞成兩種,unicode 和 str ,以至於把開發者都弄糊塗了,這是其二。python3 徹底把 字符串重新改造了,只保留一種類型,這是後話,以後再說。

str與unicode

Python2 把字符串分爲 unicode 和 str 兩種類型。本質上 str 是一串二進制字節序列,下面的示例代碼可以看出 str 類型的 “禪” 打印出來是十六進制的 \xec\xf8 ,對應的二進制字節序列就是 ‘11101100 11111000’。

>>> s = '禪'
>>> s
'\xec\xf8'
>>> type(s)
<type 'str'>

而 unicode 類型的 u”禪” 對應的 unicode 符號是 u’\u7985’

>>> u = u"禪"
>>> u
u'\u7985'
>>> type(u)
<type 'unicode'>

我們要把 unicode 符號保存到文件或者傳輸到網絡就需要經過編碼處理轉換成 str 類型,於是 python 提供了 encode 方法,從 unicode 轉換到 str,反之亦然。

python-str

encode

>>> u = u"禪"
>>> u
u'\u7985'
>>> u.encode("utf-8")
'\xe7\xa6\x85'

decode

>>> s = "禪"
>>> s.decode("utf-8")
u'\u7985'
>>>

不少初學者怎麼也記不住 str 與 unicode 之間的轉換用 encode 還是 decode,如果你記住了 str 本質上其實是一串二進制數據,而 unicode 是字符(符號),編碼(encode)就是把字符(符號)轉換爲 二進制數據的過程,因此 unicode 到 str 的轉換要用 encode 方法,反過來就是用 decode 方法。

encoding always takes a Unicode string and returns a bytes sequence,
and decoding always takes a bytes sequence and returns a Unicode
string”.

清楚了 str 與 unicode 之間的轉換關係之後,我們來看看什麼時候會出現 UnicodeEncodeError、UnicodeDecodeError 錯誤。

UnicodeEncodeError

UnicodeEncodeError 發生在 unicode 字符串轉換成 str 字節序列的時候,來看一個例子,把一串 unicode 字符串保存到文件。

# -*- coding:utf-8 -*-
def main():
    name = u'Python之禪'
    f = open("output.txt", "w")
    f.write(name)

錯誤日誌

UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position
6-7: ordinal not in range(128)

爲什麼會出現 UnicodeEncodeError?

因爲調用 write 方法時,Python 會先判斷字符串是什麼類型,如果是 str,就直接寫入文件,不需要編碼,因爲 str 類型的字符串本身就是一串二進制的字節序列了。

如果字符串是 unicode 類型,那麼它會先調用 encode 方法把 unicode 字符串轉換成二進制形式的 str 類型,才保存到文件,而 encode 方法會使用 python 默認的 ascii 碼來編碼

相當於:

>>> u"Python之禪".encode("ascii")

但是,我們知道 ASCII 字符集中只包含了128個拉丁字母,不包括中文字符,因此 出現了 ‘ascii’ codec can’t encode characters 的錯誤。要正確地使用 encode ,就必須指定一個包含了中文字符的字符集,比如:UTF-8、GBK。

>>> u"Python之禪".encode("utf-8")
'Python\xe4\xb9\x8b\xe7\xa6\x85'

>>> u"Python之禪".encode("gbk")
'Python\xd6\xae\xec\xf8'

所以要把 unicode 字符串正確地寫入文件,就應該預先把字符串進行 UTF-8 或 GBK 編碼轉換。

def main():
    name = u'Python之禪'
    name = name.encode('utf-8')
    with open("output.txt", "w") as f:
        f.write(name)

當然,把 unicode 字符串正確地寫入文件不止一種方式,但原理是一樣的,這裏不再介紹,把字符串寫入數據庫,傳輸到網絡都是同樣的原理。

UnicodeDecodeError

UnicodeDecodeError 發生在 str 類型的字節序列解碼成 unicode 類型的字符串時。

>>> a = u"禪"
>>> a
u'\u7985'
>>> b = a.encode("utf-8")
>>> b
'\xe7\xa6\x85'
>>> b.decode("gbk")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'gbk' codec can't decode byte 0x85 in position 2: incomplete multibyte sequence

把一個經過 UTF-8 編碼後生成的字節序列 ‘\xe7\xa6\x85’ 再用 GBK 解碼轉換成 unicode 字符串時,出現 UnicodeDecodeError,因爲 (對於中文字符)GBK 編碼只佔用兩個字節,而 UTF-8 佔用3個字節,用 GBK 轉換時,還多出一個字節,因此它沒法解析。避免 UnicodeDecodeError 的關鍵是保持 編碼和解碼時用的編碼類型一致。

這也回答了文章開頭說的字符 “禪”,保存到文件中有可能佔3個字節,有可能佔2個字節,具體處決於 encode 的時候指定的編碼格式是什麼。

再舉一個 UnicodeDecodeError 的例子

>>> x = u"Python"
>>> y = "之禪"
>>> x + y
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)
>>>

str 與 unicode 字符串 執行 + 操作是,Python 會把 str 類型的字節序列隱式地轉換成(解碼)成 和 x 一樣的 unicode 類型,但Python是使用默認的 ascii 編碼來轉換的,而 ASCII 中不包含中文,所以報錯了。

>>> y.decode('ascii')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

正確地方式應該是顯示地把 y 用 UTF-8 或者 GBK 進行解碼。

以上內容都是基於 Python2 來講的,關於 Python3 的字符和編碼將會另開一篇文章來寫,保持關注。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章