Difference between revisions of "MV Camera on Radxa Boards/zh"
| Line 460: | Line 460: | ||
[[mv_mipi_i2c.sh user guide]] | [[mv_mipi_i2c.sh user guide]] | ||
| − | === | + | ===从源码编译驱动和dtb=== |
| − | |||
| − | + | *RK356x | |
| + | |||
| + | https://github.com/veyeimaging/rk35xx_radxa/tree/main/linux/drivers/rk356x | ||
===参考资料=== | ===参考资料=== | ||
Revision as of 15:35, 25 April 2024
怎样在Radxa板子上使用MV系列和RAW系列相机
1 概述
MV系列和RAW系列相机是为工业领域的AI应用推出的相机。其使用MIPI CSI-2接口，尤其适合嵌入式运算平台使用。它具备丰富的数据格式和触发特性，极低的延时，极高的带宽和可靠的稳定性。
本文以Radxa的ZERO 3W主板为例，介绍怎样将MV和RAW系列摄像机接入RK3566/3K3568系统。
我们提供了Linux(以Radxa OS Debain为例)操作系统下的驱动。
1.1 支持的模组
| 系列 | 型号 | 状态 |
|---|---|---|
| MV系列 | MV-MIPI-IMX178M | 完成 |
| MV系列 | MV-MIPI-SC130M | 完成 |
| MV系列 | MV-MIPI-IMX287M | 完成 |
| MV系列 | MV-MIPI-IMX296M | 完成 |
| MV系列 | MV-MIPI-IMX265M | 完成 |
| MV系列 | MV-MIPI-IMX264M | 完成 |
| RAW系列 | RAW-MIPI-SC132M | 完成 |
| RAW系列 | RAW-MIPI-IMX462M | 完成 |
| RAW系列 | RAW-MIPI-AR0234M | 完成 |
2 硬件准备及安装
2.1 MV相机与Radxa ZERO 3W的连接
MV系列相机需要使用ADP-MV1转接板才能连接到Radxa ZERO 3W主板。
ADP-MV1和Zero 3W之间使用15转22P的FFC同面线连接，注意接触面向外。
| TOP | BOTTOM |
|---|---|
2.2 RAW-MIPI-SC132M与Radxa ZERO 3W的连接
二者使用15转22P的FFC同面线连接，注意接触面向外。
| TOP | BOTTOM |
|---|---|
2.2.1 其他RAW系列摄像头与Radxa ZERO 3W的连接
二者使用0.5mm间距*22P的FFC异面线连接，注意接触面向外。
| TOP | BOTTOM |
|---|---|
3 github库介绍
https://github.com/veyeimaging/rk35xx_radxa
包括以下主要内容：
- driver和dts源码
- i2c通信工具集
- 应用层demo
此外，在releases中，提供了编译好的linux系统镜像。
4 更新主板的Radxa Debain系统
4.1 概述
本章节描述怎样更新RK356x系统以支持我们的摄像头模组。我们提供了deb安装包，可以直接安装。
4.1.1 烧写Radxa官方标准系统
参考Radxa文档，烧写标准系统。
4.1.2 使用编译好的debain安装包
在RK35xx板子上，执行:
下载https://github.com/veyeimaging/rk35xx_radxa/releases/中最新的rk356x_radxa_zero3w.tar.gz。
tar -xavf rk356x_radxa_zero3w.tar.gz
cd rk356x_radxa_zero3w/released_images/mvcam
sudo dpkg -i linux-headers-5.10.160-36-rk356x_5.10.160-36_arm64_mvcam.deb
sudo dpkg -i linux-image-5.10.160-36-rk356x_5.10.160-36_arm64_mvcam.deb
sudo reboot
如果版本不匹配，需要从源代码进行编译。
5 系统状态检测
5.1 是否正确识别到了相机
完成系统安装后，系统上电。在Radxa板端执行以下命令来检测是否正确连接相机。
dmesg | grep mvcam
应当有类似下面的提示：
mvcam 2-003b: camera is：MV-MIPI-IMX296M
mvcam 2-003b: firmware version: 0x1290133
可以看到识别到当前的摄像机模组的型号，版本号。
正确识别摄像头之后，MIPI-CSI2接口的摄像头识别为/dev/video0。对于Radxa zero 3W，相机挂载在i2c-2。
- 执行如下命令检查video0设备节点
ls /dev/video0
可以看到
video0
正确识别摄像头之后，相机被识别为/dev/video0。
5.2 使用media-ctl查看拓扑结构
使用media-ctl指令，可以清晰的展现出当前的拓扑结构。
media-ctl -p -d /dev/media0
5.2.1 链接关系
mv camera->rockchip-csi2-dphy0->rockchip-mipi-csi2->stream_cif_mipi_id0 - - ->DDR(/dev/video0)
应用程序可以通过/dev/video0节点获取图像。
5.2.2 mv camera entity信息
以MV-MIPI-IMX296M为例：
- entity 63: m00_b_mvcam 2-003b (1 pad, 1 link)
type V4L2 subdev subtype Sensor flags 0
device node name /dev/v4l-subdev2
pad0: Source
[fmt:Y8_1X8/1456x1088@100/6000 field:none]
-> "rockchip-csi2-dphy0":0 [ENABLED]
可以看到：
- 该Entity完整的名称是：
m00_b_mvcam 2-003b。 - 它是一个 V4L2 subdev (Sub-Device) Sensor。
- 它对应的节点是
/dev/v4l-subdev2，应用程序（如v4l2-ctl）可以打开它，并进行配置。 - 它的输出格式是 [
fmt:Y8_1X8/1456x1088@100/6000 field:none] ，其中Y8_1X8是一种mbus-code的简写，下一小节会列出支持的mbus-code。 - 当前分辨率是
1456x1088。 - 当前帧间隔是
100/6000,即帧率是60。
摄像机输出的数据格式，可以通过media-ctl指令修改。
5.3 相机支持的mbus-code
MV系列和RAW系列相机具备不同的数据格式能力，具体请参考每个型号的相机的数据手册。
| Format on datasheet | mbus-code for media-ctl | FourCC pixelformat for v4l2-ctl |
|---|---|---|
| RAW8 | Y8_1X8 | GREY |
| RAW10 | Y10_1X10 | 'Y10 ' |
| RAW12 | Y12_1X12 | 'Y12 ' |
| UYVY | UYVY8_2X8 | UYVY |
6 raw图片格式说明
RK35xx的VICAP模块支持两种数据保存格式，Compact和Noncompact RAW。可以通过RKCIF的RKCIF_CMD_SET_CSI_MEMORY_MODE ioctl指令修改模式。默认情况下，输出的是Compact RAW格式。
6.1 具有填充位的图片格式（Noncompact RAW）
对于10bit深度、12bit深度的像素数据，总是使用两个字节来存储一个像素。这种存储方式方便软件处理，缺点是空间占用较大。根据数据有效数据保存在高位还是低位，又分为high align和low align两种。
6.1.1 Noncompact RAW(high align)
数据保存到高位，用不到的低位以0填充。RK VICAP支持的一种数据格式。
6.1.2 Noncompact RAW(low align)
数据保存到低位，用不到的高位以0填充。V4L2标准的'Y10 ' (10-bit Greyscale),'Y12 ' (12-bit Greyscale)格式都是以这种方式存储的。
后文提到的pixel_layer_convert转换工具，也是将Compact RAW转换为此种存储方式。方便使用图片播放器打开显示。
6.2 紧密排列的图片格式（Compact RAW）
如上图所示，像素和像素之间不会进行空bit位填充。
6.3 行对齐（line stride）
为了方便对图像进行快速操作，系统通常为每行数据提供行对齐的buffer大小。RK3588使用256字节对齐。
line_stride = ALIGN_UP（image_width*bits_per_pixel/8,256）
比如当图像宽度是1456时：
8bit depth，line_stride=1536。
10bit depth，preferred_stride=2048。
12bit depth，preferred_stride=2304。
6.4 转换工具
我们编写了一个小工具：pixel_layer_convert，可以很方便的将紧密排列的图片（Compact RAW）转为具有填充位的图片(Noncompact RAW(low align))。
比如下面的命令，可以将一个1456宽度的compact raw10 图片转为noncompact raw10。
./pixel_layer_convert -I R10C -i y10-1456x1088_0001.raw -o y10-1456x1088_0001_new.raw -w 1456
6.5 raw图片播放器
推荐使用vooya作为播放器，支持GREY, 和具有填充位的图片格式。
Y8文件可以用这个播放器： YUV Displayer Deluxe。
7 应用范例
7.1 配置命令行全局变量
根据主板型号，配置I2C_BUS全局变量。
- Radxa Zero 3W
export I2C_BUS=2
为了后面描述方便，此处根据sensor尺寸，配置全局变量。
- MV-MIPI-IMX178M
export WIDTH=3088
export HEIGHT=2064
export FPS=22
- MV-MIPI-SC130M
export WIDTH=1280
export HEIGHT=1024
export FPS=108
- MV-MIPI-IMX296M
export WIDTH=1456
export HEIGHT=1088
export FPS=60
- MV-MIPI-IMX287M
export WIDTH=704
export HEIGHT=544
export FPS=319
- MV-MIPI-IMX265M
export WIDTH=2048
export HEIGHT=1544
export FPS=45
- MV-MIPI-IMX264M
export WIDTH=2432
export HEIGHT=2056
export FPS=28
- RAW-MIPI-SC132M
export WIDTH=1024
export HEIGHT=1280
export FPS=120
- RAW-MIPI-IMX462M
export WIDTH=1920
export HEIGHT=1088
export FPS=60
- RAW-MIPI-AR0234M
export WIDTH=1920
export HEIGHT=1200
export FPS=60
7.2 使用v4l2-ctl配置参数
$ v4l2-ctl -d /dev/v4l-subdev2 -L
User Controls
trigger_mode 0x00981901 (int) : min=0 max=2 step=1 default=0 value=0 flags=volatile, execute-on-write
trigger_src 0x00981902 (int) : min=0 max=1 step=1 default=1 value=1 flags=volatile, execute-on-write
soft_trgone 0x00981903 (button) : flags=write-only, execute-on-write
frame_rate 0x00981904 (int) : min=1 max=60 step=1 default=60 value=60 flags=volatile, execute-on-write
roi_x 0x00981905 (int) : min=0 max=1376 step=8 default=0 value=0
roi_y 0x00981906 (int) : min=0 max=1024 step=4 default=0 value=0
可以使用下面的方法设置和获取参数。
v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl [ctrl_type]=[val]
v4l2-ctl -d /dev/v4l-subdev2 --get-ctrl [ctrl_type]
以上所有功能，均可使用mv_mipi_i2c.sh实现。
需要指出的是，以上参数在取图过程中均不可修改。下面进行逐个说明：
7.2.1 配置触发模式
v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl trigger_mode=[0-2]
0：流模式
1：普通触发模式
2：快速连续触发模式
7.2.2 配置触发源
v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl trigger_src=[0-1]
0: 软触发
1: 硬触发
7.2.3 软触发一次
v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl soft_trgone=1
7.2.4 设置帧率
v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl frame_rate=[1-max]
随分辨率的调整，最大帧率会自动更新。
7.2.5 设置ROI起始位置
v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl roi_x=0
v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl roi_y=0
ROI其实位置设置之后，需要通过media-ctl命令完成完整的ROI配置。
设置roi后，最大帧率会自动调整。请注意，摄像机roi参数需要符合摄像机手册中的要求。
7.3 使用media-ctl配置图像格式
可以通过下面的命令，配置摄像机的数据格式，分辨率，帧率。
media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam '"$I2C_BUS"'-003b":0[fmt:Y8_1X8/'"$WIDTH"'x'"$HEIGHT"'@1/'"$FPS"']'
其中："m00_b_mvcam 2-003b"指的相机的entity完整名称，Y8_1X8为mbus-code，'"$WIDTH"'x'"$HEIGHT"'指明了分辨率，1/'"$FPS"'指明了帧率。
此处的width和height配合v4l2-ctl命令的roi_x和roi_y共同组成了ROI参数。
比如，对于MV-MIPI-IMX296M,这个命令经过变量替换后的结果是：
media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam 2-003b":0[fmt:Y8_1X8/1456x1088@1/60 field:none]'
不仅可以在一个命令中同时配置数据格式，分辨率，帧率，也可以单独修改某一项或某几项。
7.4 流模式
7.4.1 设置数据格式，分辨率，帧率
v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl roi_x=0
v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl roi_y=0
media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam '"$I2C_BUS"'-003b":0[fmt:Y8_1X8/'"$WIDTH"'x'"$HEIGHT"'@1/'"$FPS"']'
7.4.2 帧率统计
v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=-1 --stream-to=/dev/null
或者
./yavta -c-1 --skip 0 -f Y8 -s ${WIDTH}x${HEIGHT} /dev/video0
7.4.3 保存图片到文件
- raw8格式
v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-${WIDTH}x${HEIGHT}.raw
- raw10格式
v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-${WIDTH}x${HEIGHT}.raw
- raw12格式
v4l2-ctl -d /dev/video0 --set-fmt-video=$WIDTH,height=$HEIGHT,pixelformat='Y12 ' --stream-mmap --stream-count=1 --stream-to=y12-${WIDTH}x${HEIGHT}.raw
图片格式请参考前面章节的描述。
7.4.4 yavta应用范例
7.4.4.1 yavta安装
git clone git://git.ideasonboard.org/yavta.git
cd yavta;make
7.4.4.2 保存图片到文件
配置完数据格式，分辨率，帧率之后，执行：
./yavta -c1 -Fy8-${WIDTH}x${HEIGHT}.raw --skip 0 -f Y8 -s ${WIDTH}x${HEIGHT} /dev/video0
7.4.5 将相机数据导入OpenCV的范例
sudo apt install python3-opencv
详见github上的samples目录。
python ./v4l2dev_2_opencv_show_grey.py --width 1456 --height 1088 --fps 60 --i2c 2
7.4.6 gstreamer应用范例
为了方便进行安装和调试，MV系列相机提供了UYVY模式。UYVY模式支持的最大宽度为2880，使用如下命令可以进行实时预览。
注：为了提高最高帧率和带宽，部分模组升级固件后不再提供UYVY格式。具体请通过脚本的fmtcap指令读取寄存器确认。
注意RAW系列不支持UYVY格式。
我们提供了几个gstreamer例程，实现了预览功能。详见github上的samples目录。
7.5 触发模式
7.5.1 设置数据格式，分辨率，帧率
v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl roi_x=0
v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl roi_y=0
media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam '"$I2C_BUS"'-003b":0[fmt:Y8_1X8/'"$WIDTH"'x'"$HEIGHT"'@1/'"$FPS"']'
7.5.2 软触发模式
7.5.2.1 设置模式
v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl trigger_mode=1
v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl trigger_src=0
7.5.2.2 开始取图
v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-${WIDTH}x${HEIGHT}.raw
7.5.2.3 进行软触发操作
在其他的shell终端，可以多次执行下面命令进行多次触发。
v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl soft_trgone=1
7.5.3 硬触发模式
7.5.3.1 设置模式
v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl trigger_mode=1
v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl trigger_src=1
可以使用mv_mipi_i2c.sh脚本进行丰富的触发参数设置。
7.5.3.2 开始取图
v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-${WIDTH}x${HEIGHT}.raw
7.5.3.3 进行硬触发操作
将合适的触发信号连接到摄像机的trigger引脚并进行触发。
8 i2c脚本使用说明
我们提供了shell脚本来配置参数。
9 从源码编译驱动和dtb
- RK356x
https://github.com/veyeimaging/rk35xx_radxa/tree/main/linux/drivers/rk356x
10 参考资料
- Radxa Zero 3W Manual
https://docs.radxa.com/zero/zero3
- BSP toolkit
https://radxa-repo.github.io/bsp/
11 本文修改记录
- 2024-04-25
发布第一个版本。