2020 年 Python 開發者必備的開發工具

Django 聯合創始人(co-creator,姑且這麼叫)在一篇博文裏面推薦了自己的 Python 開發環境配置,用到了 pyenv、pipx、poetry。還沒準備翻成中文,就發現在本文裏都有介紹,因此將本文推薦給大家。
(本文素材來源於網絡)
用Python編代碼體驗極佳,並且隨着新版本的發佈越來越好!
對於很多人而言,Python提供的大量免費函數庫、高可讀性的程序和新引入的類型註釋讓很多愛不釋手。
然而,數據科學家特別容易使自己的Jupyter notebook變得龐大而雜亂,或者寫出一些難以理解的python文件。
此外,當一個項目依賴於同一函數庫的不同版本時,常常發生版本衝突。
修復以上問題消耗大量時間,還經常導致其他項目出現問題。必須找到避免這類問題的解決方式,爲編寫代碼提供便利。
在本篇文章中我將詳細介紹常用的工具與技巧,希望能給大家提供幫助。
1
Python開發環境
解釋器:
從使用Python最重要的解釋器開始。你可以只下載最喜歡的Python版本,然後把所有內容放在裏面。
但如果你的程序需要不同版本的Python,或依賴於同一第三方模塊的不同版本,並需要在幾個程序之間無縫切換時該怎麼辦?
Pyenv可以解決上述問題。
Pyenv共包含三個工具,下面將介紹其中兩個:pyenv(用於安裝python)和pyenv-virtualenv(用於配置全局工具)。
可通過下方網址安裝pyenv:
curl https://pyenv.run | bash
安裝後,向.bashrc(或.zshrc)文件中添加下方代碼,使得pyenv可用於設備。
exportPATH="~/.pyenv/bin:$PATH"eval "$(pyenv init -)"eval "$(pyenv virtualenv-init -)"
最後,重啓設備。
現在可以使用pyenv安裝幾乎所有的python解釋器,包括pypy、anaconda。
需要注意的是,pyenv只在電腦上搭建本地python環境。搭建python環境需要多種函數庫。
在Ubuntu系統的電腦上,必須安裝以下函數庫以防止運行出現問題。
sudo
apt-get installbuild-essential libsqlite3-dev sqlite3 bzip2 libbz2-dev
zlib1g-dev libssl-dev openssllibgdbm-dev libgdbm-compat-dev liblzma-dev libreadline-dev libncursesw5-devlibffi-dev uuid-dev
現在,要安裝python解釋器只需要執行以下指令。
pyenv installVERSION_YOU_WOULD_LIKE_TO_INSTALL
可以通過pyenv列出所有可用版本。
pyenv install --list
爲了使上述過程更加具體,在此安裝python3.7.5並且設置其爲默認的全局解釋器。
pyenv install 3.7.5pyenv global 3.7.5
輸入Python-version指令,屏幕將顯示Python3.7.5。
依賴性關係管理(DependencyManagement)
Python中的依賴性管理是項繁重的工作。有許多工具可以幫助完成這項任務。
我最常使用的工具是Poetry。
Poetry可以幫助你簡單地完成如下工作。
管理項目依賴關係
通過虛擬環境將項目分開
輕鬆構建應用程序與函數庫
推薦通過以下方式安裝poetry:
curl -sSL https://raw.githubusercontent.com/sdispater/poetry/master/get-poetry.py | python
另外一種依賴性管理的方式是使用pip和pyenv-virtualenv指令。
大家可能會問:爲什麼不只用pip?
因爲只用pip可能會在全局環境中安裝poetry及其依賴項,這可能是你不需要也不想要的。
必要指令如下:

Create a virtual environmentcalled tools that is based on 3.7.5pyenv virtualenv 3.7.5 tools# Install poetry into the tools virtual envpyenv activate toolspip install poetry# Check installed poetry versionpoetry --version# Leave the virtual envpyenv deactivate# This does not work yetpoetry --version# Add your tools virtual env to the globally available onespyenv global 3.7.5 tools# Now this works and you can start using poetrypoetry --version

在使用poetry創建第一個項目之前,建議先對其進行配置,這樣就可以在項目目錄中的.venv文件夾中創建虛擬環境。
當你使用VsCode或Pycharm這類集成開發環境時就會變得非常方便,因爲它們可以立即識別並選擇正確的解釋器。
poetry configsettings.virtualenvs.in-project true
注意:你只需設置一次配置,設置結果將在全局環境保留。
終於完成了使用poetry創建項目的所有準備工作,我把這個項目命名爲dsexample,爲了展示如何使用poetry,我添加了一個特定版本的pandas庫,以及所有額外需求的fastapi框架。

Initialze a new projectpoetry new dsexamplecd dsexample# Add modules and create virtual environment.poetry add pandas=0.25 fastapi --extras all# As an example of how you could add a git modulepoetry add tf2-utils --git [email protected]:Shawe82/tf2-utils.git

格式一致性與可讀性(Consistent Formatting and Readability)
現在,已經創建好了項目,即將開始添加代碼。理想情況下,代碼庫的格式應該一致,以確保可讀性和可理解性。這將是一個非常沉悶乏味的過程,尤其在還有其他人操作代碼庫時。
但用Black可以解決上述問題!
Black是一種讓程序員在編寫python代碼時能將精力集中於核心內容的工具。它自動爲代碼添加格式,避免程序員手動添加格式。
因爲Black的效果非常好,我們把它添加到dsexample中,讓它爲所有的文件添加格式。

We add black as a developmentdependency with --dev as we don't# need it when it comes to productionpoetry add --dev black=19.3b0# Assume we are inside the current toplevel dsexample folderpoetry run black .

好了,現在所有的文件看起來非常整齊了。
類型糾正(Type-Correctness)
自Python3.5開始,類型註釋開始成爲標準庫的一部分通過類型註釋,代碼更好理解,更易維護,不易出錯。
爲什麼會不易出錯呢?因爲可以靜態地檢查變量和函數的類型是否符合預期。當然,必須是自動完成的。
下面介紹mypy!
Mypy是一種靜態python代碼檢查器,作用是在錯誤發生之前找到他們。使用poetry向項目中添加mypy並進行代碼檢查與添加black一樣簡單。

We add mypy as a developmentdependency with --dev as we don't# need it when it comes to productionpoetry add --dev mypy# Assume we are inside the current toplevel dsexample folderpoetry run mypy .

運行mypy也可能導致很多麻煩。當然,可以將其設置爲只對你關心的錯誤發出警告。這可以通過在項目中添加mypy.ini文件實現。
將自動化工具自動化(Automate the Automation)
使用black和mypy,我們不再需要手工爲代碼添加格式,並且可以避免不必要的錯誤。
但是我們仍需要手動使用這兩個工具,這兩個工具不是應該也自動化嗎?
是的!
Pre-commit可以完成一切。
Pre-commit工具是在代碼提交到倉庫前執行檢查(我默認讀者的代碼處在git的控制下)。無法通過檢查的代碼將被拒絕。
這樣代碼倉庫就永遠不會出現格式不整齊或是未經類型檢查的代碼,以及任何其他你需要檢查錯誤的代碼。
現在來安裝pre-commit。
可以使用poetry將其直接安裝在項目裏,也可以安裝在本地機器裏。我傾向於後者,因爲precommit只在本地使用,而不在CI/CD服務器上。
相反,black和mypy在CI/CD服務器上運行,因此,將它們添加到項目的dev依賴項是有意義的。
建議使用下面方法通過現有的工具虛擬環境安裝它!

Install pre-commit into the tools virtual envpyenv activate toolspip install pre-commit# Leave the virtual envpyenv deactivate# As we have already added the tool venv, it will work directlypre-commit --version

要使用pre-commit,首先需要向頂級文件夾中添加一個名爲.pre-commit-config.yarm的文件。在該文件裏,你需要配置所有應該運行的鉤子。
在mypy與Black的環境下,文件內容如下所示:
repos:- repo: https://github.com/ambv/black rev: 19.3b0 hooks: - id: black language_version: python3.7- repo: https://github.com/pre-commit/mirrors-mypy rev: v0.740 hooks: - id: mypy
最後,你必須執行以下命令以設置鉤子。

I assume your are in the toplevel folderpre-commit install

現在,鉤子函數(hook)將在每次提交時運行。Black工具的鉤子函數不僅會檢查格式,還會相應地爲文件添加格式。
每次添加新的鉤子函數時,建議一開始在所有文件中手動運行pre-commit,因爲它只能作用於上次提交之後更改過的文件。
pre-commit run --all-files
就這樣,對自動化工具的自動化完成了。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章