移動物體監控系統(2)—攝像頭子系統開發

一、攝像頭驅動開發

1.攝像頭驅動架構

視頻監控本就是嵌入式Linux的重要應用場合，所以如何合理高效的管理攝像系統，便成爲嵌入式Linux一大熱點！當前最流行的攝像頭軟件架構就是V4L2架構，從字面意思知道是專門爲Linux設計的一個視頻子系統的第二個版本。V4L2有一段歷史了。早在1998的時候就出現了，經過長足的發展，它於2002年11 月，發佈2.5.46 時，融入了內核主幹之中。然而直到今天，仍有一部分內核驅動不支持新的API，這種新舊API 的轉換工作仍在進行。它的主要功能是使程序具有發現設備和操作設備的能力.它主要是用一系列的回調函數來實現這些功能。像設置攝像頭的頻率、幀頻、視頻壓縮格式和圖像參數等等。當然也可以用於其他多媒體的開發，如音頻等。但是該架構目前只能用於Linux操作系統上。整個V4L2的架構示意圖如下：

可以看出，整個架構主要分爲四個部分：
- 用戶空間的應用程序：比如後面要用到的Motion以及ffmpeg等開源應用程序
- V4L2核心組件（驅動核心）：這是Linux內核專門用來管理視頻子系統的核心組件，也正是由於這個組建的存在，才讓我們可以在用戶空間使用統一的一套編程接口API去控制底層的不同硬件。
- 具體的V4L2驅動：這部分主要是針對不同的攝像頭有不同的驅動程序，這寫驅動程序相互獨立，但是共同註冊到V4L2子系統下，以便和用戶空間應用程序進行通信。
- 底層硬件：就是實際的攝像頭等物理硬件。
V4L2核心是Linux系統自帶的組件，它可以屏蔽攝像頭驅動層的差異，不管底層的攝像頭有什麼差異，上層應用統一調用V4L2來實現對攝像頭的操作，因此驅動程序和應用程序都需要遵循V4L2規範。

2.攝像頭驅動使能

由於本項目採用的是基於ZC3XX系列芯片的USB攝像頭，所以需要在內核裏面添加該USB攝像頭驅動。以後如果換成別的攝像頭，根據自己攝像頭的驅動芯片加載合適的驅動模塊到內核即可，畢竟現在Linux支持了市面上大部分的攝像頭，一般能購買到的攝像頭都有相應的驅動程序，只需要自己在內核使能即可！按照如下步驟可以使能USB攝像頭。

2.1 進入配置菜單

在內核源代碼頂層目錄執行 make menuconfig ARCH=arm命令。進入配置菜單。

2.2 依次選擇如下配置選項：

Device Drivers --->（毫無疑問，只要是添加驅動都是要進入這個選項）
Multimedia devices --->（顯然視頻攝像頭屬於多媒體範疇）
- [*] Video capture adapters --->（視頻捕獲也即是攝像頭）
  - [*] V4L USB devices --->（我們採用的是USB攝像頭）
    - <*> GSPCA based webcams --->（萬能攝像頭驅動）
      - <*> ZC3XX USB Camera Driver（我們採用的具體USB攝像頭對應的驅動程序）

2.3 保存配置文件，退出配置模式，開始編譯新內核

#make uImage ARCH=arm CROSS_COMPILE=arm-linux-
拷貝uImage到/tftpboot/目錄下

2.4 下載並啓動linux內核

往開發板上插入攝像頭後，會彈出相應提示，同時使用ls /dev/可以查看是否有vedeo的驅動文件，如果有則說明驅動開發成功。

3. 攝像頭驅動測試

3.1 初步測試

插上USB攝像頭看開發板串口控制檯的提示，有如下信息輸出:

由上面的提示信息我們知道，驅動使能成功，再通過ls命令查看dev目錄下的設備文件，即ls /dev有：

表明我們的USB攝像頭在開發板的系統裏創建的對應設備文件是/dev/video0，當然讀者要根據自身實際情況判斷對應的設備文件是什麼，有可能是video3，video4等。

3.2 編寫應用程序進行測試

使用camera.c（下接會講如何編寫）文件交叉編譯出在開發板運行的測試應用程序。在編譯之前要記得修改文件裏打開的設備文件，也就是前面說的/dev/video0，根據再記得設備文件修改open函數，如果傳遞給你open函數的參數不是你攝像頭對應的實際設備文件，那麼打開會有無法預知的結果，有可能失敗，也可能打開某個文件導致抓取的圖片是空的等情況。修改完畢以後使用如下命令進行編譯：arm-linux-gcc -g camera.c -o camera
得到的camera就是可執行文件，將他複製到開發板的文件系統的根目錄，並在開發板的串口控制檯執行./camera命令，Mini2440有如下提示：

同時在根目錄生成test.jpg文件，通過windows的samba可以查看其效果如下所示：

二、V4L2圖像編程接口深度學習

1.相關介紹

Video for Linuxtwo(Video4Linux2)簡稱V4L2，是V4L的改進版。V4L2是linux操作系統下用於採集圖片、視頻和音頻數據的API接口，配合適當的視頻採集設備和相應的驅動程序，可以實現圖片、視頻、音頻等的採集。在遠程會議、可視電話、視頻監控系統和嵌入式多媒體終端中都有廣泛的應用。
在Linux下，所有外設都被看成一種特殊的文件，稱爲“設備文件”，可以象訪問普通文件一樣對其進行讀寫。一般來說，採用V4L2驅動的攝像頭設備文件是/dev/video0。V4L2支持兩種方式來採集圖像：內存映射方式(mmap)和直接讀取方式(read)。V4L2在include/ linux/videodev.h文件中定義了一些重要的數據結構，在採集圖像的過程中，就是通過對這些數據的操作來獲得最終的圖像數據。Linux系統V4L2的能力可在Linux內核編譯階段配置，默認情況下都有此開發接口。
攝像頭所用的主要是capature了，視頻的捕捉，具體linux的調用可以參考下圖。

2.視頻採集的原理

V4L2支持內存映射方式(mmap)和直接讀取方式(read)來採集數據，前者一般用於連續視頻數據的採集，後者常用於靜態圖片數據的採集，本文重點討論內存映射方式的視頻採集。
應用程序通過V4L2接口採集視頻數據分爲五個步驟：
- 首先，打開視頻設備文件，進行視頻採集的參數初始化，通過V4L2接口設置視頻圖像的採集窗口、採集的點陣大小和格式;
- 其次，申請若干視頻採集的幀緩衝區，並將這些幀緩衝區從內核空間映射到用戶空間，便於應用程序讀取/處理視頻數據;
- 第三，將申請到的幀緩衝區在視頻採集輸入隊列排隊，並啓動視頻採集;
- 第四，驅動開始視頻數據的採集，應用程序從視頻採集輸出隊列取出幀緩衝區，處理完後，將幀緩衝區重新放入視頻採集輸入隊列，循環往復採集連續的視頻數據;
- 第五，停止視頻採集。

具體的程序實現流程可以參考下面的流程圖:
其實其他的都比較簡單，就是通過ioctl這個接口去設置一些參數。最主要的就是buf管理。他有一個或者多個輸入隊列和輸出隊列。
啓動視頻採集後，驅動程序開始採集一幀數據，把採集的數據放入視頻採集輸入隊列的第一個幀緩衝區，一幀數據採集完成，也就是第一個幀緩衝區存滿一幀數據後，驅動程序將該幀緩衝區移至視頻採集輸出隊列，等待應用程序從輸出隊列取出。驅動程序接下來採集下一幀數據，放入第二個幀緩衝區，同樣幀緩衝區存滿下一幀數據後，被放入視頻採集輸出隊列。
應用程序從視頻採集輸出隊列中取出含有視頻數據的幀緩衝區，處理幀緩衝區中的視頻數據，如存儲或壓縮。
最後，應用程序將處理完數據的幀緩衝區重新放入視頻採集輸入隊列，這樣可以循環採集，如圖所示：

每一個幀緩衝區都有一個對應的狀態標誌變量，其中每一個比特代表一個狀態
- V4L2_BUF_FLAG_UNMAPPED 0B0000
- V4L2_BUF_FLAG_MAPPED 0B0001
- V4L2_BUF_FLAG_ENQUEUED 0B0010
- V4L2_BUF_FLAG_DONE 0B0100
緩衝區的狀態轉化如圖所示：

3.函數介紹

打開設備－> 檢查和設置設備屬性－> 設置幀格式－> 設置一種輸入輸出方法（緩衝區管理）－> 循環獲取數據－> 關閉設備。

3.1 設備的打開和關閉

#include <fcntl.h>

int open(const char *device_name, int flags);

#include <unistd.h>

int close(int fd);

注意：V4L2 的相關定義包含在頭文件<linux/videodev2.h> 中.

3.2 查詢設備屬性：VIDIOC_QUERYCAP

相關函數

int ioctl(int fd, int request, struct v4l2_capability *argp);

相關結構體

struct v4l2_capability
{

    u8 driver[16]; // 驅動名字

    u8 card[32]; // 設備名字

    u8 bus_info[32]; // 設備在系統中的位置

    u32 version; // 驅動版本號

    u32 capabilities; // 設備支持的操作

    u32 reserved[4]; // 保留字段
};

capabilities 常用值：V4L2_CAP_VIDEO_CAPTURE // 是否支持圖像獲取
例：顯示設備信息

struct v4l2_capability cap;

ioctl(fd,VIDIOC_QUERYCAP,&cap);

printf(“Driver Name:%s\nCard Name:%s\nBus info:%s\nDriver Version:%u.%u.%u\n”,cap.driver,cap.card,cap.bus_info,(cap.version>>16)&0XFF, (cap.version>>8)&0XFF,cap.version&0XFF);

3.3 設置視頻的制式和幀格式

制式包括PAL，NTSC，幀的格式個包括寬度和高度等。
相關函數：

int ioctl(int fd, int request, struct v4l2_fmtdesc *argp);

int ioctl(int fd, int request, struct v4l2_format *argp);

相關結構體：
v4l2_cropcap 結構體用來設置攝像頭的捕捉能力，在捕捉上視頻時應先先設置
v4l2_cropcap 的type域，再通過VIDIO_CROPCAP 操作命令獲取設備捕捉能力的參數，保存於v4l2_cropcap 結構體中，包括 bounds（最大捕捉方框的左上角座標和寬高），defrect（默認捕捉方框的左上角座標和寬高）等。
v4l2_format 結構體用來設置攝像頭的視頻制式、幀格式等，在設置這個參數時應先填好 v4l2_format的各個域，如 type（傳輸流類型），fmt.pix.width(寬)，fmt.pix.heigth(高)，fmt.pix.field(採樣區域，如隔行採樣)，fmt.pix.pixelformat(採樣類型，如 YUV4:2:2)，然後通過 VIDIO_S_FMT 操作命令設置視頻捕捉格式。如下圖所示：

3.3.1 查詢並顯示所有支持的格式：VIDIOC_ENUM_FMT

相關函數

int ioctl(int fd, int request, struct v4l2_fmtdesc *argp);

相關結構體

struct v4l2_fmtdesc
{
    u32 index; // 要查詢的格式序號，應用程序設置

    enum v4l2_buf_type type; // 幀類型，應用程序設置

    u32 flags; // 是否爲壓縮格式

    u8 description[32]; // 格式名稱

    u32 pixelformat; // 格式

    u32 reserved[4]; // 保留
};

例：顯示所有支持的格式

struct v4l2_fmtdesc fmtdesc; 
fmtdesc.index=0; 
fmtdesc.type=V4L2_BUF_TYPE_VIDEO_CAPTURE; 
printf("Support format:\n");

while(ioctl(fd, VIDIOC_ENUM_FMT, &fmtdesc) != -1)
{

    printf("\t%d.%s\n",fmtdesc.index+1,fmtdesc.description);

    fmtdesc.index++;

}

3.3.2 查看或設置當前格式：VIDIOC_G_FMT, VIDIOC_S_FMT

檢查是否支持某種格式：VIDIOC_TRY_FMT
相關函數

int ioctl(int fd, int request, struct v4l2_format *argp);

相關結構體

struct v4l2_format
{
    enum v4l2_buf_type type; // 幀類型，應用程序設置

    union fmt

    {
        struct v4l2_pix_format pix; // 視頻設備使用

        struct v4l2_window win;

        struct v4l2_vbi_format vbi;

        struct v4l2_sliced_vbi_format sliced;

        u8 raw_data[200];
    };
};

struct v4l2_pix_format

{
    u32 width; // 幀寬，單位像素

    u32 height; // 幀高，單位像素

    u32 pixelformat; // 幀格式

    enum v4l2_field field;

    u32 bytesperline;

    u32 sizeimage;

    enum v4l2_colorspace colorspace;

    u32 priv;

};

例：顯示當前幀的相關信息

struct v4l2_format fmt; 
fmt.type=V4L2_BUF_TYPE_VIDEO_CAPTURE; 
ioctl(fd, VIDIOC_G_FMT, &fmt);

printf(“Current data format information:\n\twidth:%d\n\theight:%d\n”,

fmt.fmt.pix.width,fmt.fmt.pix.height);

struct v4l2_fmtdesc fmtdesc; 
fmtdesc.index=0; 
fmtdesc.type=V4L2_BUF_TYPE_VIDEO_CAPTURE; 

while(ioctl(fd,VIDIOC_ENUM_FMT,&fmtdesc)!=-1)
{

    if(fmtdesc.pixelformat & fmt.fmt.pix.pixelformat)
    {
        printf(“\tformat:%s\n”,fmtdesc.description);
        break;
    }

       fmtdesc.index++;
}

例：檢查是否支持某種幀格式

struct v4l2_format fmt; 
fmt.type=V4L2_BUF_TYPE_VIDEO_CAPTURE; 
fmt.fmt.pix.pixelformat=V4L2_PIX_FMT_RGB32; 

if(ioctl(fd,VIDIOC_TRY_FMT,&fmt)==-1) 
if(errno==EINVAL)

printf(“not support format RGB32!\n”);

3.4 圖像的縮放 VIDIOC_CROPCAP

相關函數

int ioctl(int fd, int request, struct v4l2_cropcap *argp);

int ioctl(int fd, int request, struct v4l2_crop *argp);

int ioctl(int fd, int request, const struct v4l2_crop *argp);

相關結構體
Cropping 和 scaling 主要指的是圖像的取景範圍及圖片的比例縮放的支持。Crop就是把得到的數據作一定的裁剪和伸縮，裁剪可以只取樣我們可以得到的圖像大小的一部分，剪裁的主要參數是位置、長度、寬度。而scale 的設置是通過 VIDIOC_G_FMT 和 VIDIOC_S_FMT來獲得和設置當前的image的長度，寬度來實現的。看下圖：

我們可以假設bounds是sensor最大能捕捉到的圖像範圍，而 defrect是設備默認的最大取樣範圍，這個可以通過VIDIOC_CROPCAP 的ioctl來獲得設備的crap相關的屬性v4l2_cropcap，其中的bounds就是這個 bounds，其實就是上限。每個設備都有個默認的取樣範圍，就是defrect，就是default rect的意思，它比 bounds 要小一些。這個範圍也是通過 VIDIOC_CROPCAP 的ioctl 來獲得的 v4l2_cropcap 結構中的defrect 來表示的，我們可以通過VIDIOC_G_CROP 和 VIDIOC_S_CROP來獲取和設置設備當前的crop設置。

3.4.1 設置設備捕捉能力的參數

相關函數

int ioctl(int fd, int request, struct v4l2_cropcap *argp);

相關結構體

struct v4l2_cropcap
{
    enum v4l2_buf_type type; // 數據流的類型，應用程序設置

    struct v4l2_rect bounds; // 這是 camera 的鏡頭能捕捉到的窗口大小的侷限

    struct v4l2_rect defrect; // 定義默認窗口大小，包括起點位置及長,寬的大小，大小以像素爲單位

    struct v4l2_fract pixelaspect; // 定義了圖片的寬高比
};

3.4.2 設置窗口取景參數 VIDIOC_G_CROP 和 VIDIOC_S_CROP

相關函數

int ioctl(int fd, int request, struct v4l2_crop *argp);

int ioctl(int fd, int request, const struct v4l2_crop *argp);

相關結構體

struct v4l2_crop
{
    enum v4l2_buf_type type;// 應用程序設置

    struct v4l2_rect c;
}

3.5 video Inputs and Outputs

VIDIOC_G_INPUT和VIDIOC_S_INPUT用來查詢和選則當前的input，一個video設備節點可能對應多個視頻源，比如saf7113 可以最多支持四路cvbs 輸入，如果上層想在四個cvbs視頻輸入間切換，那麼就要調用 ioctl(fd, VIDIOC_S_INPUT, &input) 來切換。
VIDIOC_G_INPUT and VIDIOC_G_OUTPUT返回當前的video input和output的index.
相關函數：

int ioctl(int fd, int request, struct v4l2_input *argp);

相關結構體

struct v4l2_input 
{
    __u32 index; /* Which input */
    __u8 name[32]; /* Label */
    __u32 type; /* Type of input */
    __u32 audioset; /* Associated audios (bitfield) */
    __u32 tuner; /* Associated tuner */
    v4l2_std_id std;
    __u32 status;
    __u32 reserved[4];
};

我們可以通過VIDIOC_ENUMINPUT and VIDIOC_ENUMOUTPUT 分別列舉一個input或者 output的信息，我們使用一個v4l2_input結構體來存放查詢結果，這個結構體中有一個 index域用來指定你索要查詢的是第幾個input/ouput,如果你所查詢的這個input是當前正在使用的，那麼在v4l2_input還會包含一些當前的狀態信息，如果所查詢的input/output 不存在，那麼回返回EINVAL錯誤，所以，我們通過循環查找，直到返回錯誤來遍歷所有的 input/output. VIDIOC_G_INPUT and VIDIOC_G_OUTPUT 返回當前的video input和output 的index。
例：列舉當前輸入視頻所支持的視頻格式

struct v4l2_input input;
struct v4l2_standard standard;

memset (&input, 0, sizeof (input));

// 首先獲得當前輸入的 index,注意只是 index，要獲得具體的信息，就的調用列舉操作
if (-1 == ioctl (fd, VIDIOC_G_INPUT, &input.index)) 
{
    perror (”VIDIOC_G_INPUT”);
    exit (EXIT_FAILURE);
}

// 調用列舉操作，獲得 input.index 對應的輸入的具體信息
if (-1 == ioctl (fd, VIDIOC_ENUMINPUT, &input)) 
{
    perror (”VIDIOC_ENUM_INPUT”);
    exit (EXIT_FAILURE);
}

printf (”Current input %s supports:\n”, input.name); 
memset (&standard, 0, sizeof (standard)); 
standard.index = 0;

// 列舉所有的所支持的 standard，如果 standard.id 與當前 input 的 input.std 有共同的

bit flag，意味着當前的輸入支持這個 standard,這樣將所有驅動所支持的 standard 列舉一個

遍，就可以找到該輸入所支持的所有 standard 了。

while (0 == ioctl (fd, VIDIOC_ENUMSTD, &standard))
 {
    if (standard.id & input.std)
        printf (”%s\n”, standard.name);

    standard.index++;
}

/* EINVAL indicates the end of the enumeration, which cannot be empty unless this device falls under the USB exception. */

if (errno != EINVAL || standard.index == 0) 
{
    perror (”VIDIOC_ENUMSTD”);
    exit (EXIT_FAILURE);
}

3.6 Video standards

相關函數

v4l2_std_id std_id; // 這個就是個64bit得數

int ioctl(int fd, int request, struct v4l2_standard *argp);

相關結構體

typedef u64 v4l2_std_id;

struct v4l2_standard 
{
    u32 index;

    v4l2_std_id id;

    u8 name[24];

    struct v4l2_fract frameperiod; /* Frames, not fields */

    u32 framelines;

    u32 reserved[4];
};

當然世界上現在有多個視頻標準，如NTSC和PAL，他們又細分爲好多種，那麼我們的設備輸入/輸出究竟支持什麼樣的標準呢？我們的當前在使用的輸入和輸出正在使用的是哪個標準呢？我們怎麼設置我們的某個輸入輸出使用的標準呢？這都是有方法的。
查詢我們的輸入支持什麼標準，首先就得找到當前的這個輸入的index，然後查出它的屬性，在其屬性裏面可以得到該輸入所支持的標準，將它所支持的各個標準與所有的標準的信息進行比較，就可以獲知所支持的各個標準的屬性。一個輸入所支持的標準應該是一個集合，而這個集合是用bit與的方式用一個64位數字表示。因此我們所查到的是一個數字。

struct v4l2_standard standard;

// VIDIOC_G_STD就是獲得當前輸入使用的standard，不過這裏只是得到了該標準的id

// 即flag，還沒有得到其具體的屬性信息，具體的屬性信息要通過列舉操作來得到。

if (-1 == ioctl (fd, VIDIOC_G_STD, &std_id)) 
{ 
    //獲得了當前輸入使用的standard
    // Note when VIDIOC_ENUMSTD always returns EINVAL this is no video device
    // or it falls under the USB exception, and VIDIOC_G_STD returning EINVAL
    // is no error.
    perror (”VIDIOC_G_STD”);
    exit (EXIT_FAILURE);
}

memset (&standard, 0, sizeof (standard));

standard.index = 0; // 從第一個開始列舉

// VIDIOC_ENUMSTD用來列舉所支持的所有的video標準的信息，不過要先給standard
// 結構的index域制定一個數值，所列舉的標 準的信息屬性包含在standard裏面，
// 如果我們所列舉的標準和std_id有共同的bit，那麼就意味着這個標準就是當前輸
// 入所使用的標準，這樣我們就得到了當前輸入使用的標準的屬性信息

while (0 == ioctl (fd, VIDIOC_ENUMSTD, &standard)) 
{
    if (standard.id & std_id) 
    {
        printf (”Current video standard: %s\n”, standard.name);
        exit (EXIT_SUCCESS);
    }

    standard.index++;
}

/* EINVAL indicates the end of the enumeration, which cannot be empty unless this device falls under the USB exception. */

if (errno == EINVAL || standard.index == 0) 
{
   perror (”VIDIOC_ENUMSTD”);
   exit (EXIT_FAILURE);
}

3.7 申請和管理緩衝區

應用程序和設備有三種交換數據的方法，直接read/write、內存映射(memory mapping)和用戶指針。這裏只討論內存映射(memory mapping)。

3.7.1 向設備申請緩衝區 VIDIOC_REQBUFS

相關函數

int ioctl(int fd, int request, struct v4l2_requestbuffers *argp);

相關結構體

struct v4l2_requestbuffers
{
    u32 count; // 緩衝區內緩衝幀的數目

    enum v4l2_buf_type type; // 緩衝幀數據格式

    enum v4l2_memory memory; // 區別是內存映射還是用戶指針方式

    u32 reserved[2];
};

注：enum v4l2_memoy
{
V4L2_MEMORY_MMAP, V4L2_MEMORY_USERPTR
};
// count,type,memory 都要應用程序設置
例：申請一個擁有四個緩衝幀的緩衝區

struct v4l2_requestbuffers req; 

req.count=4; req.type=V4L2_BUF_TYPE_VIDEO_CAPTURE; 

req.memory=V4L2_MEMORY_MMAP; 

ioctl(fd,VIDIOC_REQBUFS,&req);

3.7.2 獲取緩衝幀的地址，長度：VIDIOC_QUERYBUF

相關函數

int ioctl(int fd, int request, struct v4l2_buffer *argp);

相關結構體

struct v4l2_buffer
{
    u32 index; // buffer 序號
    enum v4l2_buf_type type; // buffer 類型
    u32 byteused; // buffer 中已使用的字節數
    u32 flags; // 區分是MMAP 還是USERPTR
    enum v4l2_field field;
    struct timeval timestamp; // 獲取第一個字節時的系統時間
    struct v4l2_timecode timecode;
    u32 sequence; // 隊列中的序號
    enum v4l2_memory memory; // IO 方式，被應用程序設置
    
    union m
    {
        u32 offset; // 緩衝幀地址，只對MMAP 有效
        unsigned long userptr;            
    };

    u32 length; // 緩衝幀長度
    u32 input;
    u32 reserved;
};

3.7.3 內存映射MMAP 及定義一個結構體來映射每個緩衝幀。

相關結構體

struct buffer
{
    void* start;
    unsigned int length;
}*buffers;

相關函數

#include <sys/mman.h>

void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset)

addr映射起始地址，一般爲NULL，讓內核自動選擇
length被映射內存塊的長度
prot標誌映射後能否被讀寫，其值爲PROT_EXEC，PROT_READ,PROT_WRITE，PROT_NONE
flags 確定此內存映射能否被其他進程共享，MAP_SHARED,MAP_PRIVATE
fd，offset, 確定被映射的內存地址返回成功映射後的地址，不成功返回MAP_FAILED ((void*)-1)
相關函數：

int munmap(void *addr, size_t length);  // 斷開映射

addr爲映射後的地址，length爲映射後的內存長度
例：將四個已申請到的緩衝幀映射到應用程序，用buffers指針記錄。

buffers = (buffer *)calloc (req.count, sizeof (*buffers));

if (!buffers) 
{
    // 映射
    fprintf (stderr, "Out of memory/n");
    exit (EXIT_FAILURE);
}

for (unsigned int n_buffers = 0; n_buffers < req.count; ++n_buffers)
{
    struct v4l2_buffer buf;

    memset(&buf,0,sizeof(buf));

    buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buf.memory = V4L2_MEMORY_MMAP;
    buf.index = n_buffers;

    // 查詢序號爲n_buffers 的緩衝區，得到其起始物理地址和大小
    if (-1 == ioctl (fd, VIDIOC_QUERYBUF, &buf))
        exit(-1);

    buffers[n_buffers].length = buf.length;

    // 映射內存
    buffers[n_buffers].start =mmap (NULL,buf.length,PROT_READ | PROT_WRITE ,MAP_SHARED,fd, buf.m.offset);

    if (MAP_FAILED == buffers[n_buffers].start)
        exit(-1);
}

3.8 緩衝區處理好之後，就可以開始獲取數據了

3.8.1 啓動或停止數據流 VIDIOC_STREAMON， VIDIOC_STREAMOFF

int ioctl(int fd, int request, const int *argp);

3.8.2 在開始之前，還應當把緩衝幀放入緩衝隊列

VIDIOC_QBUF // 把幀放入隊列
VIDIOC_DQBUF // 從隊列中取出幀

int ioctl(int fd, int request, struct v4l2_buffer *argp);

例：把四個緩衝幀放入隊列，並啓動數據流

unsigned int i;
enum v4l2_buf_type type;

for (i = 0; i < 4; ++i) // 將緩衝幀放入隊列
{
    struct v4l2_buffer buf;

    buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buf.memory = V4L2_MEMORY_MMAP;
    buf.index = i;

    ioctl (fd, VIDIOC_QBUF, &buf);
}

type = V4L2_BUF_TYPE_VIDEO_CAPTURE;

ioctl (fd, VIDIOC_STREAMON, &type);

// 這有個問題，這些buf 看起來和前面申請的buf 沒什麼關係，爲什麼呢?

例：獲取一幀並處理

struct v4l2_buffer buf; CLEAR (buf);

buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory = V4L2_MEMORY_MMAP;

ioctl (fd, VIDIOC_DQBUF, &buf); // 從緩衝區取出一個緩衝幀

process_image (buffers[buf.index.]start); //

ioctl (fdVIDIOC_QBUF&buf); //

4.實例代碼

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <assert.h>
#include <getopt.h>           
#include <fcntl.h>            
#include <unistd.h>
#include <errno.h>
#include <malloc.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <sys/time.h>
#include <sys/mman.h>
#include <sys/ioctl.h>
 
#include <asm/types.h>        
#include <linux/videodev2.h>

struct buffer
{
	void *start;
	size_t length; 	
};

struct buffer *buffers;
int fd;
int file_fd; 

void read_frame()
{
    struct v4l2_buffer buf; 
	
    // 1.取出幀緩衝（出隊）
    buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buf.memory = V4L2_MEMORY_MMAP;
    ioctl (fd, VIDIOC_DQBUF, &buf);
    
    // 2.訪問幀緩衝
    write(file_fd,buffers[buf.index].start,buffers[buf.index].length);
    
    // 3.幀緩衝重新入隊
    ioctl(fd, VIDIOC_QBUF, &buf);
}

int main()
{
	struct v4l2_capability cap;
	struct v4l2_format fmt;
	struct v4l2_requestbuffers req; 
	struct v4l2_buffer buf; 
	enum v4l2_buf_type type;
	
	int i;	
	fd_set fds;
	
	file_fd = open("test.jpg", O_RDWR | O_CREAT, 0777);
	
	// 1.打開攝像頭設備文件
	fd = open("/dev/video0", O_RDWR | O_NONBLOCK, 0);	
	
	// 2.獲取驅動信息
	ioctl(fd, VIDIOC_QUERYCAP, &cap);
	printf("Driver Name:%s\nCard Name:%s\nBus info:%s\n\n", cap.driver, cap.card, cap.bus_info);
	
	// 3.設置圖像格式
	fmt.type		        = V4L2_BUF_TYPE_VIDEO_CAPTURE;
	fmt.fmt.pix.width       = 320;
	fmt.fmt.pix.height     = 240;
	fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_MJPEG;

	ioctl(fd, VIDIOC_S_FMT, &fmt);
	
	// 4.申請幀緩衝區
	req.count 	= 4;
	req.type	= V4L2_BUF_TYPE_VIDEO_CAPTURE;
	req.memory  = V4L2_MEMORY_MMAP;
	
	ioctl(fd, VIDIOC_REQBUFS, &req);
	
	buffers =calloc(4, sizeof(*buffers));
	
	for (i = 0; i < req.count; ++i)
	{
		// 5.獲取幀緩衝的地址以及長度信息
		buf.type	= V4L2_BUF_TYPE_VIDEO_CAPTURE;  
		buf.memory  = V4L2_MEMORY_MMAP;  
		buf.index	= i;
		
		ioctl(fd, VIDIOC_QUERYBUF, &buf);
		
		buffers[i].length = buf.length;	
		
		// 6.使用mmp把內核空間的幀緩衝映射到用戶空間
		buffers[i].start = mmap (NULL ,buf.length, PROT_READ | PROT_WRITE, MAP_SHARED,fd, buf.m.offset); // 通過mmap建立映射關係                                                                                                                                                                                                                               
	}
	
	// 7.幀緩衝入隊列
	for (i = 0; i< 4; ++i) 
	{
		buf.type	= V4L2_BUF_TYPE_VIDEO_CAPTURE;  
		buf.memory  = V4L2_MEMORY_MMAP;  
		buf.index   = i;
		  
		ioctl (fd,VIDIOC_QBUF, &buf); 	
	}
	
	// 8.開始採集圖像
	type = V4L2_BUF_TYPE_VIDEO_CAPTURE;  
	ioctl(fd, VIDIOC_STREAMON, &type);
	
	// 判斷設備是否準備好 
	FD_ZERO(&fds);
    FD_SET(fd, &fds);
	select(fd + 1, &fds, NULL, NULL, NULL);
	
	// 讀取一幅圖像
	read_frame();
	
	// 取消映射
	for (i = 0; i < 4; ++i)
      	munmap (buffers[i].start, buffers[i].length); 
      	
   close (fd);
   close (file_fd);
   printf("Camera Done.\n");

   return 0;
}

我們可以得出如下的操作流程：

1. 打開攝像頭設備文件。
2. 獲取驅動信息-VIDIOC_QUERYCAP；在此之後可以獲取更多的信息，不僅僅是本程序中後面的獲取設置圖像格式，我們還可以獲取攝像頭所支持的圖像格式等信息。
3. 設置圖像格式-VIDIOC_S_FMT；
4. 申請幀緩衝區-VIDIOC_REQBUFS；在Linux裏面，必須要有幀緩衝區纔可以進行圖像的捕獲，有了幀緩衝區以後，可以將幀緩衝區設置爲輸入隊列，經過驅動程序以後，就將圖像信息寫到幀緩衝區，寫入圖像數據以後的幀緩衝區會加入輸出隊列，用戶空間的應用程序最重要取出輸出隊列的幀緩衝區，然後讀裏面的內容，最後將被讀取數據以後的幀緩衝區再次放回到輸入隊列，如此循環完成視頻監控功能。但是要注意的是，這裏申請的幀緩衝區是內核空間的，所以應用程序不能直接訪問，需要通過映射等操作。而且輸入隊列和輸出隊列都是幀緩衝構成的。
5. 獲取幀緩衝的地址以及長度信息-VIDIOC_QUERYBUF；
6. 使用mmap將內核空間的幀緩衝映射到用戶空間；
7. 幀緩衝入隊列-VIDIOC_QBUF；
8. 開始採集圖像-VIDIOC_STREAMON；在此之後需要使用select函數等待輸出緩衝有數據可讀再進行下一步操作。
9. 取出幀緩衝（出隊）-VIDIOC_DQBUF；
10. 訪問幀緩衝讀取數據-使用write等函數將數據寫入到目標文件。
11. 幀緩衝重新入隊列-VIDIOC_QBUF；已經讀取過數據的幀緩衝要放入輸入隊列。
12. 關閉相關設備和文件進行以及解除映射等掃尾工作。

移動物體監控系統(2)—攝像頭子系統開發

c語言深度剖析(27)—數組的本質分析

c語言深度剖析(31)—字符串典型問題分析

c語言深度剖析(33)—main函數與命令行參數

SPI驅動程序設計(1)—SPI總線介紹

c語言深度剖析(35)—數組參數和指針參數分析

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結