利用Python將文本中的中英文分離方法

今天小編就爲大家分享一篇利用Python將文本中的中英文分離方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

在進行文本分析、提取關鍵詞時，新聞評論等文本通常是中英文及其他語言的混雜，若不加處理直接分析，結果往往差強人意。

下面對中英文文本進行分離做一下總結：

1、超短文本，ASCII識別。

s = "China's Legend Holdings will split its several business arms to go public on stock markets, the group's president Zhu Linan said on Tuesday.該集團總裁朱利安週二表示，中國聯想控股將分拆其多個業務部門在股市上市。"
result = "".join(i for i in s if ord(i) < 256)
print(result)

out:
China's Legend Holdings will split its several business arms to go public on stock markets, the group's president Zhu Linan said on Tuesday.

2、unicode編碼識別

import re
s = "China's Legend Holdings will split its several business arms to go public on stock markets, the group's president Zhu Linan said on Tuesday.該集團總裁朱利安週二表示，中國聯想控股將分拆其多個業務部門在股市上市。"
uncn = re.compile(r'[\u0061-\u007a,\u0020]')
en = "".join(uncn.findall(s.lower()))
print(en)

out:
chinas legend holdings will split its several business arms to go public on stock markets, the groups president zhu linan said on tuesday

中文的編碼範圍是：\u4e00-\u9fa5，相應的[^\u4e00-\u9fa5]可匹配非中文。

匹配英文時，需要將空格[\u0020]加入，不然單詞之間沒空格了。

以上這篇利用Python將文本中的中英文分離方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持神馬文庫。