一隻小狐狸帶你解鎖NLP/ML/DL祕籍
前言
隨着BERT、ERNIE、XLNet等預訓練模型的流行,解決NLP問題時不用上預訓練模型似乎總顯得自己有點過時。但是這顯然是不對的。
衆所周知,無論訓練還是推理,預訓練模型都會消耗大量的算力,且高度依賴GPU計算資源。然而,有很多的NLP問題實際上僅僅靠字典+規則就可以做到夠用,那麼這時候強行上笨重的模型無異於高射炮打蚊子,性價比是非常低的。
於是小夕就從一個比較瘋狂的github repo裏爲大家精挑細選了45個比較實用的開源小工具和字典,讓大家在搭建NLP系統、輔助煉丹的過程中少一些模型和算力的依賴,多一些小而美的代碼。
repo地址:
https://github.com/fighting41love/funNLP
注:這是一個非常喪心病狂的repo,裏面收錄了300多個項目,但是比較魚龍混雜,要記得多多橫向對比哦
來,感受一下m(_ _)m
鬼知道我是怎麼把這300個repo看完一遍的
(╯°□°)╯︵ ┻━┻
1. textfilter: 中英文敏感詞過濾
repo: observerss/textfilter
>>> f = DFAFilter()
>>> f.add("sexy")
>>> f.filter("hello sexy baby")
hello **** baby
敏感詞包括政治、髒話等話題詞彙。其原理主要是基於詞典的查找(項目中的keyword文件),內容很不清真
2. langid:97種語言檢測
repo: saffsd/langid.py
pip install langid
>>> import langid>>> langid.classify("This is a test")
('en', -54.41310358047485)
3. langdetect:另一個語言檢測
地址:https://code.google.com/archive/p/language-detection
pip install langdetect
from langdetect import detectfrom langdetect import detect_langs
s1 = "本篇博客主要介紹兩款語言探測工具,用於區分文本到底是什麼語言,"s2 = 'We are pleased to introduce today a new technology'print(detect(s1))
print(detect(s2))
print(detect_langs(s3)) # detect_langs()輸出探測出的所有語言類型及其所佔的比例
輸出結果如下:注:語言類型主要參考的是ISO 639-1語言編碼標準,詳見ISO 639-1百度百科
跟上一個語言檢測比較,準確率低,效率高。
4. phone 中國手機歸屬地查詢:
repo: ls0f/phone
已集成到 python package cocoNLP中
from phone import Phone
p = Phone()
p.find(18100065143)#return {'phone': '18100065143', 'province': '上海', 'city': '上海', 'zip_code': '200000', 'area_code': '021', 'phone_type': '電信'}
支持號段: 13,15,18*,14[5,7],17[0,6,7,8]
記錄條數: 360569 (updated:2017年4月)
作者提供了數據phone.dat 方便非python用戶Load數據。
5. phone國際手機、電話歸屬地查詢:
repo: AfterShip/phone
npm install phone
import phone from 'phone';
phone('+852 6569-8900'); // return ['+85265698900', 'HKG']
phone('(817) 569-8900'); // return ['+18175698900, 'USA']
6. ngender 根據名字判斷性別:
repo: observerss/ngender
基於樸素貝葉斯計算的概率
pip install ngender
>>> import ngender>>> ngender.guess('趙本山')
('male', 0.9836229687547046)>>> ngender.guess('宋丹丹')
('female', 0.9759486128949907)
7. 抽取email的正則表達式
已集成到 python package cocoNLP中
email_pattern = '^[*#\u4e00-\u9fa5 a-zA-Z0-9_.-]+@[a-zA-Z0-9-]+(\.[a-zA-Z0-9-]+)*\.[a-zA-Z0-9]{2,6}$'emails = re.findall(email_pattern, text, flags=0)
8. 抽取phone_number的正則表達式
已集成到 python package cocoNLP中
cellphone_pattern = '^((13[0-9])|(14[0-9])|(15[0-9])|(17[0-9])|(18[0-9]))\d{8}$'phoneNumbers = re.findall(cellphone_pattern, text, flags=0)
9. 抽取身份證號的正則表達式
IDCards_pattern = r'^([1-9]\d{5}[12]\d{3}(0[1-9]|1[012])(0[1-9]|[12][0-9]|3[01])\d{3}[0-9xX])$'IDs = re.findall(IDCards_pattern, text, flags=0)
10. 人名語料庫:
repo: wainshine/Chinese-Names-Corpus
人名抽取功能已加入 python package cocoNLP
中文(現代、古代)名字、日文名字、中文的姓和名、稱呼(大姨媽、小姨媽等)、英文->中文名字(李約翰)、成語詞典
(可用於中文分詞、姓名識別)
11. 中文縮寫庫:
repo: zhangyics/Chinese-abbreviation-dataset
全國人大: 全國/n 人民/n 代表大會/n
中國: 中華人民共和國/ns
女網賽: 女子/n 網球/n 比賽/vn
12. 漢語拆字詞典:
repo: kfcd/chaizi
漢字 拆法 (一) 拆法 (二) 拆法 (三)
拆 手 斥 扌 斥 才 斥
13. 詞彙情感值:
repo: rainarch/SentiBridge
山泉水 充沛 0.400704566541 0.370067395878
視野 寬廣 0.305762728932 0.325320747491
大峽谷 驚險 0.312137906517 0.378594957281
14. 中文詞庫、停用詞、敏感詞
repo: dongxiexidian/Chinese
此package的敏感詞庫分類更細:
反動詞庫, 敏感詞庫表統計, 暴恐詞庫, 民生詞庫, 色情詞庫
15. 漢字轉拼音:
repo: mozillazg/python-pinyin
文本糾錯會用到
16. 中文繁簡體互轉:
repo: skydark/nstools
17. 英文模擬中文發音引擎
repo: tinyfool/ChineseWithEnglish
say wo i ni
#說:我愛你
相當於用英文音標,模擬中文發音。
18. 同義詞庫、反義詞庫、否定詞庫:
repo: guotong1988/chinese_dictionary
19. 中文字符數據
repo: skishore/makemeahanzi
簡/繁體漢字筆順
矢量筆畫
20. 無空格英文串分割、抽取單詞:
repo: keredson/wordninja
>>> import wordninja>>> wordninja.split('derekanderson')
['derek', 'anderson']>>> wordninja.split('imateapot')
['im', 'a', 'teapot']
21. IP地址正則表達式:
(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)
22. 騰訊QQ號正則表達式:
[1-9]([0-9]{5,11})
23. 國內固話號碼正則表達式:
[0-9-()()]{7,18}
24. 用戶名正則表達式:
[A-Za-z0-9_\-\u4e00-\u9fa5]+
25. g2pC:基於上下文的漢語讀音自動標記模塊
repo: Kyubyong/g2pC
26. 時間抽取:
已集成到 python package cocoNLP中
在2016年6月7日9:44執行測試,結果如下
Hi,all。下週一下午三點開會
>> 2016-06-13 15:00:00-false
週一開會
>> 2016-06-13 00:00:00-true
下下週一開會
>> 2016-06-20 00:00:00-true
java version:
https://github.com/shinyke/Time-NLP
python version:
https://github.com/zhanzecheng/Time_NLP
27. 快速轉化「中文數字」和「阿拉伯數字」
repo: HaveTwoBrush/cn2an
中文、阿拉伯數字互轉
中文與阿拉伯數字混合的情況,在開發中
28. 公司名字大全
repo: wainshine/Company-Names-Corpus
29. 古詩詞庫
repo: panhaiqi/AncientPoetry
更全的古詩詞庫:
https://github.com/chinese-poetry/chinese-poetry
30. THU整理的詞庫
repo: http://thuocl.thunlp.org/
已整理到本repo的data文件夾中.
IT詞庫、財經詞庫、成語詞庫、地名詞庫、歷史名人詞庫、詩詞詞庫、醫學詞庫、飲食詞庫、法律詞庫、汽車詞庫、動物詞庫
31. PDF表格數據提取工具
repo: camelot-dev/camelot
32. 國內電話號碼正則匹配(三大運營商+虛擬等)
repo: VincentSit/ChinaMobilePhoneNumberRegex
33.用戶名黑名單列表:
repo: marteinn/The-Big-Username-Blacklist
包含了用戶名禁用列表,比如:
administrator
administration
autoconfig
autodiscover
broadcasthost
domain
editor
guest
host
hostmaster
info
keybase.txt
localdomain
localhost
master
mail
mail0
mail
34. Microsoft多語言數字/單位/如日期時間識別包:
repo: Microsoft/Recognizers-Text
35. chinese-xinhua 中華新華字典數據庫及api,包括常用歇後語、成語、詞語和漢字
repo: pwxcoo/chinese-xinhua
36. 文檔圖譜自動生成
repo: liuhuanyong/TextGrapher
TextGrapher - Text Content Grapher based on keyinfo extraction by NLP method。輸入一篇文檔,將文檔進行關鍵信息提取,進行結構化,並最終組織成圖譜組織形式,形成對文章語義信息的圖譜化展示
37. 186種語言的數字叫法庫
repo: google/UniNum
38. 繁簡體轉換
repo: berniey/hanziconv
39. 漢字字符特徵提取器 (featurizer),提取漢字的特徵(發音特徵、字形特徵)用做深度學習的特徵
repo: howl-anderson/hanzi_char_featurizer
40. 中文縮寫數據集
repo: zhangyics/Chinese-abbreviation-dataset
41. 無道詞典 - 有道詞典的命令行版本,支持英漢互查和在線查詢
repo: ChestnutHeng/Wudao-dict
42. 最好的漢字數字(中文數字)-阿拉伯數字轉換工具
repo: Wall-ee/chinese2digits
43. LineFlow:面向所有深度學習框架的NLP數據高效加載器
repo: tofunlp/lineflow
44. 將自然語言數字串解析轉換爲整數和浮點數
repo: jaidevd/numerizer
45. 英文髒話大列表
repo: zacanger/profane-words
此外,這個repo裏還收錄了很多數據集,不過也是比較雜亂,小夕這裏都pass掉了,有需要的小夥伴可以去repo裏翻一翻。
推薦閱讀
個人微信:加時請註明 (暱稱+公司/學校+方向)