初用C/C++擴展Python,提高性能

    前段時間寫了兩篇文章介紹如何提高Python的運行效率,一篇是從python語言本身的角度去介紹的,另一篇是從解釋器角度(利用PyPy),有興趣的可以找着看看。從另外一個角度來介紹如何提高python運行效率,那就是利用c/c++來擴展python提高性能。我們知道python官方網站上下載的python解釋器源碼是用c語言編寫的,所以,也可以利用c/c++來擴展它,以獲得較優的執行性能。Python提供了API接口,是我們很方便的能進行擴展,所有這些API都包含在Python.h的頭文件裏,在編寫c代碼時引入該頭文件即可。下面來講講我初用c/c++擴展python的經歷吧。申明所有系統Ubuntu 16.04 LTS。

一)Ubuntu下如何編譯.c文件

    說實話,進行這部分學習時,第一困擾我的問題就是不知道怎麼在Ubuntu下編譯.c文件,以前在大學的時候,用的是Windows系統,安裝了visual studio 2010,代碼編寫,編譯都很方便。沒有在Ubuntu下用c語言開發,所以這部分知道還不太瞭解,好在網上資料非常豐富,很快就能找到相應的資料。其實Ubuntu系統自帶c語言編譯器,那就是gcc。不信你可以打開終端,輸入命名:gcc --version,顯示如下信息:

wKioL1f7phOjMcQfAACDEmo0gas223.png-wh_50

如果沒有的話,你也可自己安裝,安裝命令如下:

sudo apt-get install gcc


建議還要安裝一個build-essentiall包,作用是提供編譯程序必須軟件包的列表信息,也就是說 編譯程序有了這個軟件包它才知道 頭文件在哪 ,才知道庫函數在哪,還會下載依賴的軟件包 , 最後才組成一個開發環境。

好了,現在寫個簡單的.c文件吧。

打開終端,輸入命令vim hello.c,當然,你也可以用gedit來編輯代碼,只要文件擴展名不搞錯了就行。代碼如下:

#include<stdio.h>
int main()
{
int i;
for(i=0;i<3;i++)
printf("hello,gcc!\n");
}

然後保存文件並退出。編譯成可執行文件,命令如下:

gcc hello.c -o hello

然後輸入./hello執行該文件。效果如下圖。

wKiom1f7qzSBYrNTAADXPfQEe4E986.png-wh_50

這裏只是簡單的講了一下linux的gcc的使用方法,關於它更多的用法可以在網上查資料,在此不做過多介紹。


(二)使用C/C++擴展Python

1.先利用Python提供的接口,編寫一個漢語一定功能.c文件,比如判斷一個數是不是素數。在這裏文件名爲test.c,使用c語言實現後再使用Python進行包裝。代碼如下:

#include<Python.h>
static PyObject *pr_isprime(PyObject *self,PyObject *args){
    int n,num;
    if(!PyArg_ParseTuple(args,"i",&num))
        return NULL;
    if(num<1){
        return Py_BuildValue("i",0);
    }
    n=num-1;
    while(n>1){
        if(num%n==0)
            return Py_BuildValue("i",0);
            n--;
    }
    return Py_BuildValue("i",1);
}

static PyMethodDef PrMethods[]={
    {"isPrime",pr_isprime,METH_VARARGS,"check if an input numbe is prime or not."},
    {NULL,NULL,0,NULL}
};

void initpr(void){
    (void) Py_InitModule("pr",PrMethods);
}

PyObject是Python對象機制的基礎,所有得對象都擁有一些相同的內容,而這些內容在PyObject中定義。

上面的代碼包括三部分:

一是導出函數,C模塊對外暴露的接口函數pr_isprime,帶有self和args兩個參數,其中參數args中包含了python解釋器要傳遞給c函數的所有參數,通常使用PyArg_ParseTuple()來獲得這些參數。

二是初始化函數,以便python解釋器能夠對模塊進行初始化,初始化時要以init開頭,如initx。

第三是方法列表,提供給外部的python程序使用的一個C模塊函數名稱映射表PrMethods。它是一個PyMethodDef結構體,其中成員依次表示方法名、導出函數、參數傳遞方式和方法描述。

參數傳遞方式一般設置爲METH_VARARGS,如果想傳遞關鍵字參數,你可以讓它與MRTH_KEYWORDS進行或運算;如果不想接受任何參數,可以用METH_NOARGS,該結構體必須以{NULL,NULL,0,NULL}所表示的一條空記錄結尾。


至於爲什麼這樣做,可能與Python.h裏面的函數有關,該部分我還未仔細研究,所以這篇文章也叫題目用了“初用”,如果有以後弄清楚了,我會“再用”,與大家分享學習經驗。


2.編寫setup.py腳本

代碼如下:

rom distutils.core import setup,Extension
module = Extension('pr',sources=['test.c'])
setup(name='Pr test',version = '1.0',ext_modules=[module])

 distutils包是可以用來在Python環境中構建和安裝額外的模塊。新的模塊可以是純Python的,也可以是用C/C++寫的擴展模塊,或者可以是Python包,包中包含了由C和Python編寫的模塊。在此不做過多介紹,有興趣可以在網上找資料瞭解下。


3.使用python setup.py build進行編譯,系統會自動在當前目錄生成一個build子目錄,裏面包含一個.so文件、.o文件。看看我的操作結果吧

wKioL1f7vs-QKPQKAAK9t0faT40011.png-wh_50

執行python setup.py build命令後,系統確實在當前目錄生成了一個build子目錄,並且有一個.so文件、.o文件。

4.將生成的.so文件複製到/usr/local/lib/python2.7/dist-packages下,或者將.so文件所在目錄路徑添加到sys.path中,然後就可以使用該C擴展模塊了。如下圖:

wKiom1f7v_Sh9IkwAACW12BQw1E690.png-wh_50


(三)簡單測試下性能

代碼如下:

#coding=utf-8
import pr
import datetime
def is_prime(n):
    if n <= 1:#
        return False
    else:
        a = n - 1
        while(a > 1):
            if n % a == 0:
                return True
            a = a - 1
        return False
t1 = datetime.datetime.now()
is_prime(8888888)
t2 = datetime.datetime.now()
pr.isPrime(8888888)
t3 = datetime.datetime.now()
print t3 - t2,t2 - t1

其中is_prime()是用python寫的判斷一個正數是不是素數。它的循環算法與pr模塊裏面的isPrime()是一樣的,但是效率卻有很大差異,看看下圖運行結果。

wKioL1f7xGSSstGeAAAqTcB5foE256.png-wh_50

很顯然用c擴展的那個包裏的函數計算速度快而且是塊近20倍,數值越大,速度上的差距越大,有興趣的話,可以動手試下。當然這只是一個定性分析。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章