對使用uvc免驅的攝像頭的讀取視頻流
- 首先對於Linux系統上的攝像頭讀取,應該首選基於v4l2的API去進行開發,避免使用Opencv的VideoCapture,因爲v4l2提供的API更全面,方便我們獲取攝像頭的狀態。
- 面對一個 video 設備 節點可能對應多個視頻源,獲取對應的視頻源。
- 在v4l2的基礎上採集視頻圖像,並封裝成opencv的cv::Mat 方便後續算法開發使用。
- 在以上的需求上,我開發封裝了一套C++的接口,以實現對應的功能。
下面是我開源的實現該功能的代碼:
https://github.com/xxradon/libv4l2_opencv_mat
下面介紹來源於
鏈接:https://www.jianshu.com/p/fd5730e939e7
https://www.cnblogs.com/edver/p/7749628.html
感謝分享
V4L2
簡介
Video for Linuxtwo(Video4Linux2)簡稱V4L2,是V4L的改進版。V4L2是linux操作系統下用於採集圖片、視頻和音頻數據的API接口,配合適當的視頻採集設備和相應的驅動程序,可以實現圖片、視頻、音頻等的採集。可以對uvc免驅攝像頭直接操作。在遠程會議、可視電話、視頻監控系統和嵌入式多媒體終端中都有廣泛的應用。
V4L2視頻採集原理
V4L2支持內存映射方式(mmap)和直接讀取方式(read)來採集數據,前者一般用於連續視頻數據的採集,後者常用於靜態圖片數據的採集。我們一般使用內存映射方式來進行視頻採集。
V4L2採集視頻數據的五個步驟:
首先,打開視頻設備文件,進行視頻採集的參數初始化,通過V4L2接口設置視頻圖像的採集窗口、採集的點陣大小和格式;
其次,申請若干視頻採集的幀緩衝區,並將這些幀緩衝區從內核空間映射到用戶空間,便於應用程序讀取/處理視頻數據;
第三,將申請到的幀緩衝區在視頻採集輸入隊列排隊,並啓動視頻採集;
第四,驅動開始視頻數據的採集,應用程序從視頻採集輸出隊列取出幀緩衝區,處理完後,將幀緩衝區重新放入視頻採集輸入隊列,循環往復採集連續的視頻數據;
第五,停止視頻採集。
打開設備-> 檢查和設置設備屬性-> 設置幀格式-> 設置一種輸入輸出方法(緩衝 區管理)-> 循環獲取數據-> 關閉設備。
具體實現流程圖如下:
其實其他的都比較簡單,就是通過ioctl這個接口去設置一些參數。最主要linux opencv imshow 編譯的就是buf管理。他有一個或者多個輸入隊列和輸出隊列。
啓動視頻採集後,驅動程序開始採集一幀數據,把採集的數據放入視頻採集輸入隊列的第一個幀緩衝區,一幀數據採集完成,也就是第一個幀緩衝區存滿一幀數據後,驅動程序將該幀緩衝區移至視頻採集輸出隊列,等待應用程序從輸出隊列取出。驅動程序接下來採集下一幀數據,放入第二個幀緩衝區,同樣幀緩衝區存滿下一幀數據後,被放入視頻採集輸出隊列。
應用程序從視頻採集輸出隊列中取出含有視頻數據的幀緩衝區,處理幀緩衝區中的視頻數據,如存儲或壓縮。
最後,應用程序將處理完數據的幀緩衝區重新放入視頻採集輸入隊列,這樣可以循環採集,如圖所示。
下面主要講解一下v4l2的主要使用的操作,就是open, close, ioctl
V4L2(Video For Linux Two) 是內核提供給應用程序訪問音、視頻驅動的統一接口。V4L2 的相關定義包含在頭文件<linux/videodev2.h> 中.
1.設備打開和關閉
//打開
#include <fcntl.h>
int open(const char *device_name, int flags);
//關閉
#include <unistd.h>
int close(int fd);
實驗使用UVC攝像頭,插入後自動生成設備“/dev/vedio0”,打開關閉實例如下
int fd = open("/dev/video0",O_RDWR);
close(fd);
2. 查詢設備屬性: VIDIOC_QUERYCAP
函數使用:
int ioctl(int fd, int request, struct v4l2_capability *argp);
v4l2相關結構體定義:
struct v4l2_capability
{
u8 driver[16]; // 驅動名字
u8 card[32]; // 設備名字
u8 bus_info[32]; // 設備在系統中的位置
u32 version;// 驅動版本號
u32 capabilities;// 設備支持的操作
u32 reserved[4]; // 保留字段
};
capabilities 常用值:
V4L2_CAP_VIDEO_CAPTURE // 是否支持圖像獲取
例如:顯示設備信息
struct v4l2_capability cap;
ioctl(fd,VIDIOC_QUERYCAP,&cap);
//printf(“Driver Name:%s\nCard Name:%s\nBus info:%s\nDriver Version:%u.%u.%u\n”,cap.driver,cap.card,cap.bus_info,cap.capabilities);
std::cout << "driver:" << cap.driver << " capabilities:" << std::hex << cap.capabilities << " mandatory:" << mandatoryCapabilities << std::dec;
std::cout << "card:" << cap.card << " Bus info: " << cap.bus_info;
3. 設置視頻的制式和幀格式
制式包括PAL,NTSC,幀的格式個包括寬度和高度等。
相關函數:
int ioctl(int fd, int request, struct v4l2_fmtdesc *argp);
int ioctl(int fd, int request, struct v4l2_format *argp);
相關結構體:
struct v4l2_format
{
enum v4l2_buf_type type; // 幀類型,應用程序設置
union fmt
{
struct v4l2_pix_format pix; // 視頻設備使用
struct v4l2_window win;
struct v4l2_vbi_format vbi;struct v4l2_sliced_vbi_format sliced;
u8 raw_data[200];
};
};
v4l2_format 結構體用來設置攝像頭的視頻制式、幀格式等,在設置這個參數時應先填 好 v4l2_format 的各個域,如 type(傳輸流類型),fmt.pix.width(寬),
fmt.pix.heigth(高),fmt.pix.field(採樣區域,如隔行採樣),fmt.pix.pixelformat(採樣類型,如 YUV4:2:2),然後通過 VIDIO_S_FMT 操作命令設置視頻捕捉格式。
v4l2_cropcap 結構體用來設置攝像頭的捕捉能力,在捕捉上視頻時應先先設置v4l2_cropcap 的 type 域,再通過 VIDIO_CROPCAP 操作命令獲取設備捕捉能力的參數,保存於 v4l2_cropcap 結構體中,包括 bounds(最大捕捉方框的左上角座標和寬高),defrect(默認捕捉方框的左上角座標和寬高)等。
3.1 查詢並顯示所有支持的格式:VIDIOC_ENUM_FMT
int ioctl(int fd, int request, struct v4l2_fmtdesc *argp);
v4l2_fmtdesc結構體定義:
struct v4l2_fmtdesc
{
u32 index;// 要查詢的格式序號,應用程序設置
enum v4l2_buf_type type; // 幀類型,應用程序設置
u32 flags;// 是否爲壓縮格式
u8 description[32]; // 格式名稱
u32 pixelformat;// 格式
u32 reserved[4]; // 保留
};
例:顯示所有支持的格式
struct v4l2_fmtdesc fmtdesc;
fmtdesc.index=0;
fmtdesc.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;
printf("Support format:\n");
while(ioctl(fd, VIDIOC_ENUM_FMT, &fmtdesc) != -1)
{
printf("\t%d.%s\n",fmtdesc.index+1,fmtdesc.description);
fmtdesc.index++;
}
5.2 查看或設置當前格式: VIDIOC_G_FMT, VIDIOC_S_FMT
檢查是否支持某種格式:VIDIOC_TRY_FMT
相關函數:
int ioctl(int fd, int request, struct v4l2_format *argp);
v4l2_format結構體定義
struct v4l2_format
{
enum v4l2_buf_type type; // 幀類型,應用程序設置
union fmt
{
struct v4l2_pix_format pix; // 視頻設備使用
struct v4l2_window win;
struct v4l2_vbi_format vbi;struct v4l2_sliced_vbi_format sliced;
u8 raw_data[200];
};
};
struct v4l2_pix_format
{
u32 width;// 幀寬,單位像素
u32 height;// 幀高,單位像素
u32 pixelformat;// 幀格式
enum v4l2_field field;
u32 bytesperline;
u32 sizeimage;
enum v4l2_colorspace colorspace;
u32 priv;
};
例:顯示當前幀的相關信息
struct v4l2_format fmt;
fmt.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;
ioctl(fd, VIDIOC_G_FMT, &fmt);
printf("Current data format information:\n\twidth:%d\n\theight:%d\n",fmt.fmt.pix.width,fmt.fmt.pix.height);
struct v4l2_fmtdesc fmtdesc;
fmtdesc.index=0;
fmtdesc.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;
while(ioctl(fd,VIDIOC_ENUM_FMT,&fmtdesc)!=-1)
{
if(fmtdesc.pixelformat & fmt.fmt.pix.pixelformat)
{
printf("\tformat:%s\n",fmtdesc.description);
break;
}
fmtdesc.index++;
}
例:檢查是否支持某種幀格式(如RGB32)
struct v4l2_format fmt;
fmt.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;
fmt.fmt.pix.pixelformat=V4L2_PIX_FMT_RGB32;
if(ioctl(fd,VIDIOC_TRY_FMT,&fmt)==-1)
if(errno==EINVAL)
printf("not support format RGB32!\n");
4. 圖像的縮放 VIDIOC_CROPCAP
相關函數:
int ioctl(int fd, int request, struct v4l2_cropcap *argp);
int ioctl(int fd, int request, struct v4l2_crop *argp);
int ioctl(int fd, int request, const struct v4l2_crop *argp);
相關結構體:
Cropping 和 scaling 主要指的是圖像的取景範圍及圖片的比例縮放的支持。Crop 就 是把得到的數據作一定的裁剪和伸縮,裁剪可以只取樣我們可以得到的圖像大小的一部分, 剪裁的主要參數是位置、長度、寬度。而 scale 的設置是通過 VIDIOC_G_FMT 和 VIDIOC_S_FMT 來獲得和設置當前的 image 的長度,寬度來實現的。看下圖
image
我們可以假設 bounds 是 sensor 最大能捕捉到的圖像範圍,而 defrect 是設備默認 的最大取樣範圍,這個可以通過 VIDIOC_CROPCAP 的 ioctl 來獲得設備的 crap 相關的屬 性 v4l2_cropcap,其中的 bounds 就是這個 bounds,其實就是上限。每個設備都有個默 認的取樣範圍,就是 defrect,就是 default rect 的意思,它比 bounds 要小一些。這 個範圍也是通過 VIDIOC_CROPCAP 的 ioctl 來獲得的 v4l2_cropcap 結構中的 defrect 來表示的,我們可以通過 VIDIOC_G_CROP 和 VIDIOC_S_CROP 來獲取和設置設備當前的 crop 設置。
4.1 設置設備捕捉能力的參數
相關函數:
int ioctl(int fd, int request, struct v4l2_cropcap *argp);
v4l2_cropcap結構體定義:
struct v4l2_cropcap
{
enum v4l2_buf_type type; // 數據流的類型,應用程序設置
struct v4l2_rect bounds; // 這是 camera 的鏡頭能捕捉到的窗口大小的侷限
struct v4l2_rect defrect; // 定義默認窗口大小,包括起點位置及長,寬的大小,大小以像素爲單位
struct v4l2_fract pixelaspect; // 定義了圖片的寬高比
};
6.2 設置窗口取景參數 VIDIOC_G_CROP 和 VIDIOC_S_CROP
相關函數:
int ioctl(int fd, int request, struct v4l2_crop *argp);
int ioctl(int fd, int request, const struct v4l2_crop *argp);
相關結構體:
struct v4l2_crop
{
enum v4l2_buf_type type;// 應用程序設置
struct v4l2_rect c;
}
7.video Inputs and Outputs
VIDIOC_G_INPUT 和 VIDIOC_S_INPUT 用來查詢和選則當前的 input,一個 video 設備 節點可能對應多個視頻源,比如 saf7113 可以最多支持四路 cvbs 輸入,如果上層想在四 個cvbs視頻輸入間切換,那麼就要調用 ioctl(fd, VIDIOC_S_INPUT, &input) 來切換。
VIDIOC_G_INPUT and VIDIOC_G_OUTPUT 返回當前的 video input和output的index.
相關函數:
int ioctl(int fd, int request, struct v4l2_input *argp);
v4l2_input結構體定義:
struct v4l2_input {
__u32 index;/* Which input*/
__u8 name[32]; /* Label*/
__u32 type;/* Type of input*/
__u32 audioset;/* Associated audios (bitfield)*/
__u32 tuner;/* Associated tuner*/
v4l2_std_id std;
__u32 status;
__u32 reserved[4];
};
我們可以通過VIDIOC_ENUMINPUT and VIDIOC_ENUMOUTPUT 分別列舉一個input或者 output的信息,我們使用一個v4l2_input結構體來存放查詢結果,這個結構體中有一個 index域用來指定你索要查詢的是第幾個input/ouput,如果你所查詢的這個input是當前正 在使用的,那麼在v4l2_input還會包含一些當前的狀態信息,如果所 查詢的input/output 不存在,那麼回返回EINVAL錯誤,所以,我們通過循環查找,直到返回錯誤來遍歷所有的 input/output. VIDIOC_G_INPUT and VIDIOC_G_OUTPUT 返回當前的video input和output 的index.
例: 列舉當前輸入視頻所支持的視頻格式
struct v4l2_input input;
struct v4l2_standard standard;
memset (&input, 0, sizeof (input));
//首先獲得當前輸入的 index,注意只是 index,要獲得具體的信息,就的調用列舉操作
if (-1 == ioctl (fd, VIDIOC_G_INPUT, &input.index)) {
perror (”VIDIOC_G_INPUT”);
exit (EXIT_FAILURE);
}
//調用列舉操作,獲得 input.index 對應的輸入的具體信息
if (-1 == ioctl (fd, VIDIOC_ENUMINPUT, &input)) {
perror (”VIDIOC_ENUM_INPUT”);
exit (EXIT_FAILURE);
}
printf (”Current input%s supports:\n”, input.name); memset (&standard, 0, sizeof (standard)); standard.index = 0;
//列舉所有的所支持的 standard,如果 standard.id 與當前 input 的 input.std 有共同的
//bit flag,意味着當前的輸入支持這個 standard,這樣將所有驅動所支持的 standard 列舉一個
//遍,就可以找到該輸入所支持的所有 standard 了。
while (0 == ioctl (fd, VIDIOC_ENUMSTD, &standard)) {
if (standard.id & input.std)
printf (”%s\n”, standard.name);
standard.index++;
}
/* EINVAL indicates the end of the enumeration, which cannot be empty unless this device falls under the USB exception.*/
if (errno != EINVAL || standard.index == 0) {
perror (”VIDIOC_ENUMSTD”);
exit (EXIT_FAILURE);
}
6. Video standards
相關函數:
v4l2_std_id std_id; //這個就是個64bit得數
int ioctl(int fd, int request, struct v4l2_standard *argp);
v4l2_standard結構體定義:
typedef u64 v4l2_std_id;
struct v4l2_standard {
u32 index;
v4l2_std_id id;
u8 name[24];
struct v4l2_fract frameperiod; /* Frames, not fields */
u32 framelines;
u32 reserved[4];
};
當然世界上現在有多個視頻標準,如NTSC和PAL,他們又細分爲好多種,那麼我們的設 備輸入/輸出究竟支持什麼樣的標準呢?我們的當前在使用的輸入和輸出正在使用的是哪 個標準呢?我們怎麼設置我們的某個輸入輸出使用的標準呢?這都是有方法的。
查詢我們的輸入支持什麼標準,首先就得找到當前的這個輸入的index,然後查出它的 屬性,在其屬性裏面可以得到該輸入所支持的標準,將它所支持的各個標準與所有的標準 的信息進行比較,就可以獲知所支持的各個標準的屬性。一個輸入所支持的標準應該是一 個集合,而這個集合是用bit與的方式用一個64位數字表示。因此我們所查到的是一個數字。
Example: Information about the current video standard v4l2_std_id std_id; //這個就是個64bit得數
struct v4l2_standard standard;
// VIDIOC_G_STD就是獲得當前輸入使用的standard,不過這裏只是得到了該標準的id
// 即flag,還沒有得到其具體的屬性信息,具體的屬性信息要通過列舉操作來得到。
if (-1 == ioctl (fd, VIDIOC_G_STD, &std_id)) { //獲得了當前輸入使用的standard
// Note when VIDIOC_ENUMSTD always returns EINVAL this is no video device
// or it falls under the USB exception, and VIDIOC_G_STD returning EINVAL
// is no error.
perror (”VIDIOC_G_STD”);
exit (EXIT_FAILURE);
}
memset (&standard, 0, sizeof (standard));
standard.index= 0; //從第一個開始列舉
// VIDIOC_ENUMSTD用來列舉所支持的所有的video標準的信息,不過要先給standard
// 結構的index域制定一個數值,所列舉的標 準的信息屬性包含在standard裏面,
// 如果我們所列舉的標準和std_id有共同的bit,那麼就意味着這個標準就是當前輸
// 入所使用的標準,這樣我們就得到了當前輸入使用的標準的屬性信息
while (0 == ioctl (fd, VIDIOC_ENUMSTD, &standard)) {
if (standard.id & std_id) {
printf (”Current video standard:%s\n”, standard.name);
exit (EXIT_SUCCESS);
}
standard.index++;
}
/* EINVAL indicates the end of the enumeration, which cannot be empty unless this device falls under the USB exception.*/
if (errno == EINVAL || standard.index == 0) {
perror (”VIDIOC_ENUMSTD”);
exit (EXIT_FAILURE);
}
7. 申請和管理緩衝區
應用程序和設備有三種交換數據的方法,直接 read/write、內存映射(memory mapping)和用戶指針。這裏只討論內存映射(memory mapping)。
7.1 向設備申請緩衝區 VIDIOC_REQBUFS
相關函數:
int ioctl(int fd, int request, struct v4l2_requestbuffers *argp);
相關結構體:
struct v4l2_requestbuffers
{
u32 count;// 緩衝區內緩衝幀的數目
enum v4l2_buf_type type; // 緩衝幀數據格式
enum v4l2_memory memory; // 區別是內存映射還是用戶指針方式
u32 reserved[2];
};
注:enum v4l2_memoy
{
V4L2_MEMORY_MMAP, V4L2_MEMORY_USERPTR
};
//count,type,memory 都要應用程序設置
例:申請一個擁有四個緩衝幀的緩衝區
struct v4l2_requestbuffers req;
req.count=4; req.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;
req.memory=V4L2_MEMORY_MMAP;
ioctl(fd,VIDIOC_REQBUFS,&req);
7.2 獲取緩衝幀的地址,長度:VIDIOC_QUERYBUF
相關函數:
int ioctl(int fd, int request, struct v4l2_buffer *argp);
相關結構體:
struct v4l2_buffer
{
u32 index;//buffer 序號
enum v4l2_buf_type type; //buffer 類型
u32 byteused;//buffer 中已使用的字節數
u32 flags;// 區分是MMAP 還是USERPTR
enum v4l2_field field;
struct timeval timestamp; // 獲取第一個字節時的系統時間
struct v4l2_timecode timecode;
u32 sequence;// 隊列中的序號
enum v4l2_memory memory; //IO 方式,被應用程序設置
union m
{
u32 offset;// 緩衝幀地址,只對MMAP 有效
unsignedlong userptr;
};
u32 length;// 緩衝幀長度
u32 input;
u32 reserved;
};
9.3 內存映射MMAP 及定義一個結構體來映射每個緩衝幀。
相關結構體:
struct buffer
{
void* start;
unsigned int length;
}*buffers;
相關函數:
#include <sys/mman.h>
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset)
//addr 映射起始地址,一般爲NULL ,讓內核自動選擇
//length 被映射內存塊的長度
//prot 標誌映射後能否被讀寫,其值爲PROT_EXEC,PROT_READ,PROT_WRITE, PROT_NONE
//flags 確定此內存映射能否被其他進程共享,MAP_SHARED,MAP_PRIVATE
//fd,offset, 確定被映射的內存地址 返回成功映射後的地址,不成功返回MAP_FAILED ((void*)-1)
相關函數:
int munmap(void *addr, size_t length);// 斷開映射
//addr 爲映射後的地址,length 爲映射後的內存長度
例:將四個已申請到的緩衝幀映射到應用程序,用buffers 指針記錄。
複製代碼
buffers = (buffer*)calloc (req.count, sizeof (*buffers));
if (!buffers) {
// 映射
fprintf (stderr,"Out of memory/n");
exit (EXIT_FAILURE);
}
for (unsigned int n_buffers = 0; n_buffers < req.count; ++n_buffers)
{
struct v4l2_buffer buf;
memset(&buf,0,sizeof(buf));
buf.type= V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory= V4L2_MEMORY_MMAP;
buf.index= n_buffers;
// 查詢序號爲n_buffers 的緩衝區,得到其起始物理地址和大小
if (-1 == ioctl (fd, VIDIOC_QUERYBUF, &buf))
exit(-1);
buffers[n_buffers].length= buf.length;
// 映射內存
buffers[n_buffers].start=mmap (NULL,buf.length,PROT_READ | PROT_WRITE ,MAP_SHARED,fd, buf.m.offset);
if (MAP_FAILED == buffers[n_buffers].start)
exit(-1);
}
8. 緩衝區處理好之後,就可以開始獲取數據了
8.1 啓動 或 停止數據流 VIDIOC_STREAMON, VIDIOC_STREAMOFF
int ioctl(int fd, int request, const int *argp);
//argp 爲流類型指針,如V4L2_BUF_TYPE_VIDEO_CAPTURE.
10.2 在開始之前,還應當把緩衝幀放入緩衝隊列:
VIDIOC_QBUF// 把幀放入隊列
VIDIOC_DQBUF// 從隊列中取出幀
int ioctl(int fd, int request, struct v4l2_buffer *argp);
例:把四個緩衝幀放入隊列,並啓動數據流
unsigned int i;
enum v4l2_buf_type type;
for (i = 0; i < 4; ++i) // 將緩衝幀放入隊列
{
struct v4l2_buffer buf;
buf.type= V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory= V4L2_MEMORY_MMAP;
buf.index= i;
ioctl (fd, VIDIOC_QBUF,&buf);
}
type= V4L2_BUF_TYPE_VIDEO_CAPTURE;
ioctl (fd, VIDIOC_STREAMON,&type);
// 這有個問題,這些buf 看起來和前面申請的buf 沒什麼關係,爲什麼呢?
例:獲取一幀並處理
struct v4l2_buffer buf; CLEAR (buf);
buf.type= V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory= V4L2_MEMORY_MMAP;
ioctl (fd, VIDIOC_DQBUF,&buf); // 從緩衝區取出一個緩衝幀
process_image (buffers[buf.index.]start);//
ioctl (fdVIDIOC_QBUF&buf); //