Difference between revisions of "MV Camera on Radxa Boards/zh"

From wiki_veye
Jump to navigation Jump to search
(Created page with "English '''<big>怎样在Radxa板子上使用MV系列和RAW系列相机</big>''' ===概述=== MV系列和RAW系列相机是为工业领域的AI...")
 
 
(6 intermediate revisions by the same user not shown)
Line 71: Line 71:
 
|[[File:Radxa Zero 3W connect to RAW-MIPI-SC132M 2.jpg|alt=|center|thumb|600x600px|Radxa Zero 3W connect to RAW-MIPI-SC132M 2]]
 
|[[File:Radxa Zero 3W connect to RAW-MIPI-SC132M 2.jpg|alt=|center|thumb|600x600px|Radxa Zero 3W connect to RAW-MIPI-SC132M 2]]
 
|}
 
|}
=====其他RAW系列摄像头与Radxa ZERO 3W的连接=====
+
====其他RAW系列摄像头与Radxa ZERO 3W的连接====
 
二者使用0.5mm间距*22P的FFC异面线连接,注意接触面向外。
 
二者使用0.5mm间距*22P的FFC异面线连接,注意接触面向外。
 
{| class="wikitable"
 
{| class="wikitable"
Line 89: Line 89:
 
*应用层demo
 
*应用层demo
  
此外,在[https://github.com/veyeimaging/rk356x_radxa/releases releases]中,提供了编译好的linux系统镜像。
+
此外,在[https://github.com/veyeimaging/rk35xx_radxa/releases releases]中,提供了编译好的linux系统镜像。
===更新ubuntu系统===
+
===更新主板的Radxa Debain系统===
对于ROC-RK3566-PC和ROC-RK3588S-PC,我们提供了发布系统的烧写镜像。
+
====概述====
 +
本章节描述怎样更新RK356x系统以支持我们的摄像头模组。我们提供了deb安装包,可以直接安装。
 +
======烧写Radxa官方标准系统======
 +
参考Radxa文档,烧写标准系统。
  
下载[https://github.com/veyeimaging/rk356x_firefly/releases/ https://github.com/veyeimaging/rk35xx_Radxa/releases/]中最新的支持MV和RAW系列的镜像。
+
我们现在发布的安装包,基于[https://github.com/radxa-build/radxa-zero3/releases/download/b6/radxa-zero3_debian_bullseye_xfce_b6.img.xz 这个烧写镜像版本]制作。
 +
======使用编译好的debain安装包======
 +
在RK35xx板子上,执行:
  
参考Radxa文档([https://wiki.t-firefly.com/en/ROC-RK3588S-PC/upgrade_bootmode.html ROC-RK3588S-PC] [https://wiki.t-firefly.com/en/ROC-RK3566-PC/03-upgrade_firmware.html ROC-RK3566-PC]),烧写系统。
+
下载[https://github.com/veyeimaging/rk356x_radxa/releases/ https://github.com/veyeimaging/rk35xx_radxa/releases/]中最新的rk356x_radxa_zero3w.tar.gz。
 +
 
 +
<code>tar -xavf rk356x_radxa_zero3w.tar.gz</code>
 +
 
 +
<code>cd rk356x_radxa_zero3w/released_images/mvcam</code>
 +
 
 +
<code>sudo dpkg -i linux-headers-5.10.160-36-rk356x_5.10.160-36_arm64_mvcam.deb</code>
 +
 
 +
<code>sudo dpkg -i linux-image-5.10.160-36-rk356x_5.10.160-36_arm64_mvcam.deb</code>
 +
 
 +
<code>sudo reboot</code>
 +
 
 +
如果版本不匹配,需要从源代码进行编译。
 
===系统状态检测===
 
===系统状态检测===
 
====是否正确识别到了相机====
 
====是否正确识别到了相机====
Line 104: Line 121:
 
应当有类似下面的提示:
 
应当有类似下面的提示:
  
<code>mvcam 7-003b: camera is:MV-MIPI-IMX296M</code>
+
<code>mvcam 2-003b: camera is:MV-MIPI-IMX296M</code>
  
<code>mvcam 7-003b: firmware version: 0x1290133</code>
+
<code>mvcam 2-003b: firmware version: 0x1290133</code>
  
 
可以看到识别到当前的摄像机模组的型号,版本号。
 
可以看到识别到当前的摄像机模组的型号,版本号。
  
在ROC-RK3588S-PC上,摄像机挂载在i2c-7, i2c地址是0x3b。
+
正确识别摄像头之后,MIPI-CSI2接口的摄像头识别为/dev/video0。对于Radxa zero 3W,相机挂载在i2c-2。
 
 
在ROC-RK3566-PC上,摄像机挂载在i2c-4。
 
  
 
*执行如下命令检查video0设备节点
 
*执行如下命令检查video0设备节点
Line 134: Line 149:
 
以MV-MIPI-IMX296M为例:
 
以MV-MIPI-IMX296M为例:
  
<code>- entity 63: m00_b_mvcam 7-003b (1 pad, 1 link)</code>
+
<code>- entity 63: m00_b_mvcam 2-003b (1 pad, 1 link)</code>
  
 
<code>             type V4L2 subdev subtype Sensor flags 0</code>
 
<code>             type V4L2 subdev subtype Sensor flags 0</code>
Line 148: Line 163:
 
可以看到:
 
可以看到:
  
*该Entity完整的名称是: <code>m00_b_mvcam 7-003b</code>。(在ROC-RK3566-PC上该Entity名称是<code>m00_b_mvcam 4-003b</code>)
+
*该Entity完整的名称是: <code>m00_b_mvcam 2-003b</code>
 
*它是一个 V4L2 subdev (Sub-Device) Sensor。
 
*它是一个 V4L2 subdev (Sub-Device) Sensor。
 
*它对应的节点是 <code>/dev/v4l-subdev2</code> ,应用程序(如<code>v4l2-ctl</code>)可以打开它,并进行配置。
 
*它对应的节点是 <code>/dev/v4l-subdev2</code> ,应用程序(如<code>v4l2-ctl</code>)可以打开它,并进行配置。
Line 181: Line 196:
 
|}
 
|}
 
===raw图片格式说明===
 
===raw图片格式说明===
RK3588的VICAP模块支持两种数据保存格式,Compact和Noncompact RAW。可以通过RKCIF的RKCIF_CMD_SET_CSI_MEMORY_MODE ioctl指令修改模式。默认情况下,输出的是Compact RAW格式。[[File:Compact raw and noncompact raw of rk3588 vicap.png|center|thumb|800x800px|Compact raw and noncompact raw of rk3588 VICAP|link=http://wiki.veye.cc/index.php/File:Compact_raw_and_noncompact_raw_of_rk3588_vicap.png]]<br />
+
RK35xx的VICAP模块支持两种数据保存格式,Compact和Noncompact RAW。可以通过RKCIF的RKCIF_CMD_SET_CSI_MEMORY_MODE ioctl指令修改模式。默认情况下,输出的是Compact RAW格式。[[File:Compact raw and noncompact raw of rk3588 vicap.png|center|thumb|800x800px|Compact raw and noncompact raw of rk3588 VICAP|link=http://wiki.veye.cc/index.php/File:Compact_raw_and_noncompact_raw_of_rk3588_vicap.png]]<br />
 
====具有填充位的图片格式(Noncompact RAW)====
 
====具有填充位的图片格式(Noncompact RAW)====
 
对于10bit深度、12bit深度的像素数据,总是使用两个字节来存储一个像素。这种存储方式方便软件处理,缺点是空间占用较大。根据数据有效数据保存在高位还是低位,又分为high align和low align两种。
 
对于10bit深度、12bit深度的像素数据,总是使用两个字节来存储一个像素。这种存储方式方便软件处理,缺点是空间占用较大。根据数据有效数据保存在高位还是低位,又分为high align和low align两种。
Line 218: Line 233:
 
根据主板型号,配置I2C_BUS全局变量。
 
根据主板型号,配置I2C_BUS全局变量。
  
*ROC-RK3588S-PC
+
*Radxa Zero 3W
 
 
<code>export I2C_BUS=7</code>
 
 
 
*ROC-RK3566-PC
 
  
<code>export I2C_BUS=4</code>
+
<code>export I2C_BUS=2</code>
  
 
为了后面描述方便,此处根据sensor尺寸,配置全局变量。
 
为了后面描述方便,此处根据sensor尺寸,配置全局变量。
Line 358: Line 369:
 
<code>media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam '"$I2C_BUS"'-003b":0[fmt:Y8_1X8/'"$WIDTH"'x'"$HEIGHT"'@1/'"$FPS"']'</code>
 
<code>media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam '"$I2C_BUS"'-003b":0[fmt:Y8_1X8/'"$WIDTH"'x'"$HEIGHT"'@1/'"$FPS"']'</code>
  
其中:<code>"m00_b_mvcam 7-003b"</code>指的相机的<code>entity</code>完整名称,<code>Y8_1X8</code>为<code>mbus-code</code>,<code>'"$WIDTH"'x'"$HEIGHT"'</code>指明了分辨率,<code>1/'"$FPS"'</code>指明了帧率。
+
其中:<code>"m00_b_mvcam 2-003b"</code>指的相机的<code>entity</code>完整名称,<code>Y8_1X8</code>为<code>mbus-code</code>,<code>'"$WIDTH"'x'"$HEIGHT"'</code>指明了分辨率,<code>1/'"$FPS"'</code>指明了帧率。
  
 
此处的width和height配合v4l2-ctl命令的<code>roi_x</code>和<code>roi_y</code>共同组成了ROI参数。
 
此处的width和height配合v4l2-ctl命令的<code>roi_x</code>和<code>roi_y</code>共同组成了ROI参数。
Line 364: Line 375:
 
比如,对于MV-MIPI-IMX296M,这个命令经过变量替换后的结果是:
 
比如,对于MV-MIPI-IMX296M,这个命令经过变量替换后的结果是:
  
<code>media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam 7-003b":0[fmt:Y8_1X8/1456x1088@1/60 field:none]'</code>
+
<code>media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam 2-003b":0[fmt:Y8_1X8/1456x1088@1/60 field:none]'</code>
  
 
不仅可以在一个命令中同时配置数据格式,分辨率,帧率,也可以单独修改某一项或某几项。
 
不仅可以在一个命令中同时配置数据格式,分辨率,帧率,也可以单独修改某一项或某几项。
Line 407: Line 418:
 
<code>sudo apt install python3-opencv</code>
 
<code>sudo apt install python3-opencv</code>
  
详见github上的[https://github.com/veyeimaging/rk356x_firefly/tree/main/linux/samples samples]目录。
+
详见github上的[https://github.com/veyeimaging/rk35xx_radxa/tree/main/linux/samples/ samples]目录。
  
<code>python ./v4l2dev_2_opencv_show_grey.py --width 1456 --height 1088 --fps 60 --i2c 7</code>
+
<code>python3 ./v4l2dev_2_opencv_show_grey.py --width 1456 --height 1088 --fps 60 --i2c 2</code>
 
=====gstreamer应用范例=====
 
=====gstreamer应用范例=====
 
为了方便进行安装和调试,MV系列相机提供了UYVY模式。UYVY模式支持的最大宽度为2880,使用如下命令可以进行实时预览。
 
为了方便进行安装和调试,MV系列相机提供了UYVY模式。UYVY模式支持的最大宽度为2880,使用如下命令可以进行实时预览。
Line 451: Line 462:
  
 
[[mv_mipi_i2c.sh user guide]]
 
[[mv_mipi_i2c.sh user guide]]
===问题反馈===
+
===从源码编译驱动和dtb===
我们致力于为嵌入式平台的图像应用提供更丰富的可能性。因此,我们在嵌入式平台的软件基于开源的原则而进行。
+
 
 +
*RK356x
  
如对我们现有软件有任何的问题、建议,欢迎提交到[http://forum.veye.cc/ 论坛:],或者给我们的技术人员发邮件xumm#csoneplus.com。
+
https://github.com/veyeimaging/rk35xx_radxa/tree/main/linux/drivers/rk356x
 
===参考资料===
 
===参考资料===
  
*ROC-RK3588S-PC 手册
+
* Radxa Zero 3W Manual
  
[https://wiki.t-firefly.com/zh_CN/ROC-RK3588S-PC/ https://wiki.t-Radxa.com/zh_CN/ROC-RK3588S-PC/]
+
https://docs.radxa.com/zero/zero3
===本文修改记录===
 
  
*2024-04-17
+
*BSP toolkit
  
支持 RK3566.
+
https://radxa-repo.github.io/bsp/
 
+
===本文修改记录===
*2024-03-10
 
 
 
增加新版本ADP-MV2的硬件连接的图片和说明。
 
 
 
*2023-08-30
 
 
 
增加对RAW-MIPI-IMX462M和RAW-MIPI-AR0234M的支持。
 
 
 
*2023-07-31
 
 
 
在ubuntu系统下,已经调通V-by-One连接的驱动。
 
  
*2023-04-12
+
*2024-04-25
  
第一个版本。
+
发布第一个版本。
 +
<br />

Latest revision as of 17:02, 30 October 2024

English

怎样在Radxa板子上使用MV系列和RAW系列相机

1 概述

MV系列和RAW系列相机是为工业领域的AI应用推出的相机。其使用MIPI CSI-2接口,尤其适合嵌入式运算平台使用。它具备丰富的数据格式和触发特性,极低的延时,极高的带宽和可靠的稳定性。

本文以Radxa的ZERO 3W主板为例,介绍怎样将MV和RAW系列摄像机接入RK3566/3K3568系统。

我们提供了Linux(以Radxa OS Debain为例)操作系统下的驱动。

1.1 支持的模组

系列 型号 状态
MV系列 MV-MIPI-IMX178M 完成
MV系列 MV-MIPI-SC130M 完成
MV系列 MV-MIPI-IMX287M 完成
MV系列 MV-MIPI-IMX296M 完成
MV系列 MV-MIPI-IMX265M 完成
MV系列 MV-MIPI-IMX264M 完成
RAW系列 RAW-MIPI-SC132M 完成
RAW系列 RAW-MIPI-IMX462M 完成
RAW系列 RAW-MIPI-AR0234M 完成

2 硬件准备及安装

2.1 MV相机与Radxa ZERO 3W的连接

MV系列相机需要使用ADP-MV1转接板才能连接到Radxa ZERO 3W主板。

ADP-MV1和Zero 3W之间使用15转22P的FFC同面线连接,注意接触面向外。

TOP BOTTOM
Radxa Zero 3W connect to MV camera
Radxa Zero 3W connect to MV camera 2


2.2 RAW-MIPI-SC132M与Radxa ZERO 3W的连接

二者使用15转22P的FFC同面线连接,注意接触面向外。

TOP BOTTOM
Radxa Zero 3W connect to RAW-MIPI-SC132M
Radxa Zero 3W connect to RAW-MIPI-SC132M 2

2.3 其他RAW系列摄像头与Radxa ZERO 3W的连接

二者使用0.5mm间距*22P的FFC异面线连接,注意接触面向外。

TOP BOTTOM
Radxa Zero 3W connect to RAW series camera
ADP-MV2 to RAW series camera No.2
Radxa Zero 3W connect to RAW series camera 2

3 github库介绍

https://github.com/veyeimaging/rk35xx_radxa

包括以下主要内容:

  • driver和dts源码
  • i2c通信工具集
  • 应用层demo

此外,在releases中,提供了编译好的linux系统镜像。

4 更新主板的Radxa Debain系统

4.1 概述

本章节描述怎样更新RK356x系统以支持我们的摄像头模组。我们提供了deb安装包,可以直接安装。

4.1.1 烧写Radxa官方标准系统

参考Radxa文档,烧写标准系统。

我们现在发布的安装包,基于这个烧写镜像版本制作。

4.1.2 使用编译好的debain安装包

在RK35xx板子上,执行:

下载https://github.com/veyeimaging/rk35xx_radxa/releases/中最新的rk356x_radxa_zero3w.tar.gz。

tar -xavf rk356x_radxa_zero3w.tar.gz

cd rk356x_radxa_zero3w/released_images/mvcam

sudo dpkg -i linux-headers-5.10.160-36-rk356x_5.10.160-36_arm64_mvcam.deb

sudo dpkg -i linux-image-5.10.160-36-rk356x_5.10.160-36_arm64_mvcam.deb

sudo reboot

如果版本不匹配,需要从源代码进行编译。

5 系统状态检测

5.1 是否正确识别到了相机

完成系统安装后,系统上电。在Radxa板端执行以下命令来检测是否正确连接相机。

dmesg | grep mvcam

应当有类似下面的提示:

mvcam 2-003b: camera is:MV-MIPI-IMX296M

mvcam 2-003b: firmware version: 0x1290133

可以看到识别到当前的摄像机模组的型号,版本号。

正确识别摄像头之后,MIPI-CSI2接口的摄像头识别为/dev/video0。对于Radxa zero 3W,相机挂载在i2c-2。

  • 执行如下命令检查video0设备节点

ls /dev/video0

可以看到

video0

正确识别摄像头之后,相机被识别为/dev/video0。

5.2 使用media-ctl查看拓扑结构

使用media-ctl指令,可以清晰的展现出当前的拓扑结构。

media-ctl -p -d /dev/media0

5.2.1 链接关系

mv camera->rockchip-csi2-dphy0->rockchip-mipi-csi2->stream_cif_mipi_id0 - - ->DDR(/dev/video0)

应用程序可以通过/dev/video0节点获取图像。

5.2.2 mv camera entity信息

以MV-MIPI-IMX296M为例:

- entity 63: m00_b_mvcam 2-003b (1 pad, 1 link)

             type V4L2 subdev subtype Sensor flags 0

             device node name /dev/v4l-subdev2

        pad0: Source

                [fmt:Y8_1X8/1456x1088@100/6000 field:none]

                -> "rockchip-csi2-dphy0":0 [ENABLED]

可以看到:

  • 该Entity完整的名称是: m00_b_mvcam 2-003b
  • 它是一个 V4L2 subdev (Sub-Device) Sensor。
  • 它对应的节点是 /dev/v4l-subdev2 ,应用程序(如v4l2-ctl)可以打开它,并进行配置。
  • 它的输出格式是 [fmt:Y8_1X8/1456x1088@100/6000 field:none] ,其中Y8_1X8是一种mbus-code的简写,下一小节会列出支持的mbus-code。
  • 当前分辨率是1456x1088。
  • 当前帧间隔是100/6000,即帧率是60。

摄像机输出的数据格式,可以通过media-ctl指令修改。

5.3 相机支持的mbus-code

MV系列和RAW系列相机具备不同的数据格式能力,具体请参考每个型号的相机的数据手册。

格式对应关系
Format on datasheet mbus-code for media-ctl FourCC pixelformat for v4l2-ctl
RAW8 Y8_1X8 GREY
RAW10 Y10_1X10 'Y10 '
RAW12 Y12_1X12 'Y12 '
UYVY UYVY8_2X8 UYVY

6 raw图片格式说明

RK35xx的VICAP模块支持两种数据保存格式,Compact和Noncompact RAW。可以通过RKCIF的RKCIF_CMD_SET_CSI_MEMORY_MODE ioctl指令修改模式。默认情况下,输出的是Compact RAW格式。

Compact raw and noncompact raw of rk3588 VICAP


6.1 具有填充位的图片格式(Noncompact RAW)

对于10bit深度、12bit深度的像素数据,总是使用两个字节来存储一个像素。这种存储方式方便软件处理,缺点是空间占用较大。根据数据有效数据保存在高位还是低位,又分为high align和low align两种。

6.1.1 Noncompact RAW(high align)

数据保存到高位,用不到的低位以0填充。RK VICAP支持的一种数据格式。

6.1.2 Noncompact RAW(low align)

数据保存到低位,用不到的高位以0填充。V4L2标准的'Y10 ' (10-bit Greyscale),'Y12 ' (12-bit Greyscale)格式都是以这种方式存储的。

后文提到的pixel_layer_convert转换工具,也是将Compact RAW转换为此种存储方式。方便使用图片播放器打开显示。

6.2 紧密排列的图片格式(Compact RAW)

如上图所示,像素和像素之间不会进行空bit位填充。

6.3 行对齐(line stride)

为了方便对图像进行快速操作,系统通常为每行数据提供行对齐的buffer大小。RK3588使用256字节对齐。

line_stride = ALIGN_UP(image_width*bits_per_pixel/8,256)

比如当图像宽度是1456时:

8bit depth,line_stride=1536。

10bit depth,preferred_stride=2048。

12bit depth,preferred_stride=2304。

6.4 转换工具

我们编写了一个小工具:pixel_layer_convert,可以很方便的将紧密排列的图片(Compact RAW)转为具有填充位的图片(Noncompact RAW(low align))。

比如下面的命令,可以将一个1456宽度的compact raw10 图片转为noncompact raw10。

./pixel_layer_convert -I R10C -i y10-1456x1088_0001.raw -o y10-1456x1088_0001_new.raw -w 1456

6.5 raw图片播放器

推荐使用vooya作为播放器,支持GREY, 和具有填充位的图片格式。

Y8文件可以用这个播放器: YUV Displayer Deluxe

7 应用范例

7.1 配置命令行全局变量

根据主板型号,配置I2C_BUS全局变量。

  • Radxa Zero 3W

export I2C_BUS=2

为了后面描述方便,此处根据sensor尺寸,配置全局变量。

  • MV-MIPI-IMX178M

export WIDTH=3088

export HEIGHT=2064

export FPS=22

  • MV-MIPI-SC130M

export WIDTH=1280

export HEIGHT=1024

export FPS=108

  • MV-MIPI-IMX296M

export WIDTH=1456

export HEIGHT=1088

export FPS=60

  • MV-MIPI-IMX287M

export WIDTH=704

export HEIGHT=544

export FPS=319

  • MV-MIPI-IMX265M

export WIDTH=2048

export HEIGHT=1544

export FPS=45

  • MV-MIPI-IMX264M

export WIDTH=2432

export HEIGHT=2056

export FPS=28

  • RAW-MIPI-SC132M

export WIDTH=1024

export HEIGHT=1280

export FPS=120

  • RAW-MIPI-IMX462M

export WIDTH=1920

export HEIGHT=1088

export FPS=60

  • RAW-MIPI-AR0234M

export WIDTH=1920

export HEIGHT=1200

export FPS=60

7.2 使用v4l2-ctl配置参数

$ v4l2-ctl -d /dev/v4l-subdev2 -L

User Controls

                   trigger_mode 0x00981901 (int)    : min=0 max=2 step=1 default=0 value=0 flags=volatile, execute-on-write

                    trigger_src 0x00981902 (int)    : min=0 max=1 step=1 default=1 value=1 flags=volatile, execute-on-write

                    soft_trgone 0x00981903 (button) : flags=write-only, execute-on-write

                     frame_rate 0x00981904 (int)    : min=1 max=60 step=1 default=60 value=60 flags=volatile, execute-on-write

                          roi_x 0x00981905 (int)    : min=0 max=1376 step=8 default=0 value=0

                          roi_y 0x00981906 (int)    : min=0 max=1024 step=4 default=0 value=0

可以使用下面的方法设置和获取参数。

v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl [ctrl_type]=[val]

v4l2-ctl -d /dev/v4l-subdev2 --get-ctrl [ctrl_type]

以上所有功能,均可使用mv_mipi_i2c.sh实现。

需要指出的是,以上参数在取图过程中均不可修改。下面进行逐个说明:

7.2.1 配置触发模式

v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl trigger_mode=[0-2]

0:流模式

1:普通触发模式

2:快速连续触发模式

7.2.2 配置触发源

v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl trigger_src=[0-1]

0: 软触发

1: 硬触发

7.2.3 软触发一次

v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl soft_trgone=1

7.2.4 设置帧率

v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl frame_rate=[1-max]

随分辨率的调整,最大帧率会自动更新。

7.2.5 设置ROI起始位置

v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl roi_x=0

v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl roi_y=0

ROI其实位置设置之后,需要通过media-ctl命令完成完整的ROI配置。

设置roi后,最大帧率会自动调整。请注意,摄像机roi参数需要符合摄像机手册中的要求。

7.3 使用media-ctl配置图像格式

可以通过下面的命令,配置摄像机的数据格式,分辨率,帧率。

media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam '"$I2C_BUS"'-003b":0[fmt:Y8_1X8/'"$WIDTH"'x'"$HEIGHT"'@1/'"$FPS"']'

其中:"m00_b_mvcam 2-003b"指的相机的entity完整名称,Y8_1X8mbus-code'"$WIDTH"'x'"$HEIGHT"'指明了分辨率,1/'"$FPS"'指明了帧率。

此处的width和height配合v4l2-ctl命令的roi_xroi_y共同组成了ROI参数。

比如,对于MV-MIPI-IMX296M,这个命令经过变量替换后的结果是:

media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam 2-003b":0[fmt:Y8_1X8/1456x1088@1/60 field:none]'

不仅可以在一个命令中同时配置数据格式,分辨率,帧率,也可以单独修改某一项或某几项。

7.4 流模式

7.4.1 设置数据格式,分辨率,帧率

v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl roi_x=0

v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl roi_y=0

media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam '"$I2C_BUS"'-003b":0[fmt:Y8_1X8/'"$WIDTH"'x'"$HEIGHT"'@1/'"$FPS"']'

7.4.2 帧率统计

v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=-1 --stream-to=/dev/null

或者

./yavta -c-1 --skip 0 -f Y8 -s ${WIDTH}x${HEIGHT} /dev/video0

7.4.3 保存图片到文件
  • raw8格式

v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-${WIDTH}x${HEIGHT}.raw

  • raw10格式

v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-${WIDTH}x${HEIGHT}.raw

  • raw12格式

v4l2-ctl -d /dev/video0 --set-fmt-video=$WIDTH,height=$HEIGHT,pixelformat='Y12 ' --stream-mmap --stream-count=1 --stream-to=y12-${WIDTH}x${HEIGHT}.raw

图片格式请参考前面章节的描述。

7.4.4 yavta应用范例
7.4.4.1 yavta安装

git clone git://git.ideasonboard.org/yavta.git

cd yavta;make

7.4.4.2 保存图片到文件

配置完数据格式,分辨率,帧率之后,执行:

./yavta -c1 -Fy8-${WIDTH}x${HEIGHT}.raw --skip 0 -f Y8 -s ${WIDTH}x${HEIGHT} /dev/video0

7.4.5 将相机数据导入OpenCV的范例

sudo apt install python3-opencv

详见github上的samples目录。

python3 ./v4l2dev_2_opencv_show_grey.py --width 1456 --height 1088 --fps 60 --i2c 2

7.4.6 gstreamer应用范例

为了方便进行安装和调试,MV系列相机提供了UYVY模式。UYVY模式支持的最大宽度为2880,使用如下命令可以进行实时预览。

:为了提高最高帧率和带宽,部分模组升级固件后不再提供UYVY格式。具体请通过脚本的fmtcap指令读取寄存器确认。

注意RAW系列不支持UYVY格式。

我们提供了几个gstreamer例程,实现了预览功能。详见github上的samples目录。

7.5 触发模式

7.5.1 设置数据格式,分辨率,帧率

v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl roi_x=0

v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl roi_y=0

media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam '"$I2C_BUS"'-003b":0[fmt:Y8_1X8/'"$WIDTH"'x'"$HEIGHT"'@1/'"$FPS"']'

7.5.2 软触发模式
7.5.2.1 设置模式

v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl trigger_mode=1

v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl trigger_src=0

7.5.2.2 开始取图

v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-${WIDTH}x${HEIGHT}.raw

7.5.2.3 进行软触发操作

在其他的shell终端,可以多次执行下面命令进行多次触发。

v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl soft_trgone=1

7.5.3 硬触发模式
7.5.3.1 设置模式

v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl trigger_mode=1

v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl trigger_src=1

可以使用mv_mipi_i2c.sh脚本进行丰富的触发参数设置。

7.5.3.2 开始取图

v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-${WIDTH}x${HEIGHT}.raw

7.5.3.3 进行硬触发操作

将合适的触发信号连接到摄像机的trigger引脚并进行触发。

8 i2c脚本使用说明

我们提供了shell脚本来配置参数。

mv_mipi_i2c.sh user guide

9 从源码编译驱动和dtb

  • RK356x

https://github.com/veyeimaging/rk35xx_radxa/tree/main/linux/drivers/rk356x

10 参考资料

  • Radxa Zero 3W Manual

https://docs.radxa.com/zero/zero3

  • BSP toolkit

https://radxa-repo.github.io/bsp/

11 本文修改记录

  • 2024-04-25

发布第一个版本。