Changes

2,793 bytes added , 17 April

→‎概述

Line 6: Line 6:

MV系列和RAW系列相机是为工业领域的AI应用推出的相机。其使用MIPI CSI-2接口，尤其适合嵌入式运算平台使用。它具备丰富的数据格式和触发特性，极低的延时，极高的带宽和可靠的稳定性。

−

本文以Firefly的ROC-RK3588S-~~PC主板为例，介绍怎样将MV和RAW系列摄像机接入RK3588S~~/RK3588系统。

+

本文以Firefly的ROC-RK3588S-PC和ROC-RK3566-PC主板为例，介绍怎样将MV和RAW系列摄像机接入RK3566/3K3568和RK3588S/RK3588系统。

我们提供了Linux(以Ubuntu为例)操作系统下的驱动。

Line 42: Line 42:

|RAW系列

|RAW-MIPI-SC132M

+

|完成

+

|-

+

|RAW系列

+

|RAW-MIPI-IMX462M

+

|完成

+

|-

+

|RAW系列

+

|RAW-MIPI-AR0234M

|完成

|}

Line 49: Line 57:

MV系列和RAW系列相机需要使用[[ADP-MV2 Adapter Board Data Sheet/zh|ADP-MV2]]转接板才能连接到ROC-RK35xx-PC主板。

−

==== MV相机与ADP-MV2的连接 ====

+

==== 新版本ADP-MV2的连接 ====

+

===== MV相机与ADP-MV2的连接 =====

+

二者使用0.5mm间距*30P的FFC异面线连接，注意接触面向外。

+

{| class="wikitable"

+

!TOP

+

!BOTTOM

+

|-

+

+

+

|}

+

===== RAW-MIPI-SC132M与ADP-MV2的连接 =====

+

二者使用1.0mm间距*15P的FFC异面线连接，注意接触面向外。

+

{| class="wikitable"

+

!TOP

+

!BOTTOM

+

|-

+

+

+

|}

+

===== 其他RAW系列摄像头与ADP-MV2的连接 =====

+

二者使用0.5mm间距*22P的FFC异面线连接，注意接触面向外。

+

{| class="wikitable"

+

!TOP

+

!BOTTOM

+

|-

+

+

+

|}

+

+

===== ADP-MV2与主板的连接 =====

+

二者使用0.5mm间距*30P的FFC同面线连接，注意接触面方向，ADP-MV2上向外，RK board上向内。

+

+

+

==== 老版本ADP-MV2的连接 ====

+

===== MV相机与ADP-MV2的连接 =====

二者使用0.5mm间距*30P的FFC异面线连接，注意接触面向外。

{| class="wikitable"

Line 59: Line 105:

|}

−

==== ~~RAW相机与ADP~~-MV2的连接 ====

+

===== RAW-MIPI-SC132M与ADP-MV2的连接 =====

−

~~二者使用0~~.~~5mm间距~~*~~30P的FFC异面线连接，注意接触面向外。~~

+

二者使用1.0mm间距*15P的FFC异面线连接，注意接触面向外。

{| class="wikitable"

!TOP

!BOTTOM

|-

−

+

−

+

−

|}

+

|}

−

==== ADP-MV2与主板的连接 ====

+

===== 其他RAW系列摄像头与ADP-MV2的连接 =====

+

二者使用15转22P的FFC同面线连接，注意接触面向外。

+

[[File:RAW-MIPI-AR0234-ADP-MV2.jpg|center|thumb|800x800px|ADP-MV2 to RAW series camera]]

+

+

===== ADP-MV2与主板的连接 =====

二者使用0.5mm间距*30P的FFC同面线连接，注意接触面向内。

[[File:RK-ADP-MV2-MV-MIPI 01.jpg|center|thumb|800x800px|RK to ADP-MV2 and MV cam]]

Line 87: Line 137:

此外，在[https://github.com/veyeimaging/rk356x_firefly/releases releases]中，提供了编译好的linux系统镜像。

=== 更新ubuntu系统 ===

−

对于ROC-RK3588S-PC，我们提供了发布系统的烧写镜像。

+

对于ROC-RK3566-PC和ROC-RK3588S-PC，我们提供了发布系统的烧写镜像。

下载[https://github.com/veyeimaging/rk356x_firefly/releases/ https://github.com/veyeimaging/rk35xx_firefly/releases/]中最新的支持MV和RAW系列的镜像。

−

~~参考Firefly~~[https://wiki.t-firefly.com/~~zh_CN~~/ROC-RK3588S-PC/upgrade_bootmode.html 文档]~~，烧写系统。~~

+

参考Firefly文档([https://wiki.t-firefly.com/en/ROC-RK3588S-PC/upgrade_bootmode.html ROC-RK3588S-PC] [https://wiki.t-firefly.com/en/ROC-RK3566-PC/03-upgrade_firmware.html ROC-RK3566-PC]），烧写系统。

=== 系统状态检测 ===

Line 105: Line 155:

<code>mvcam 7-003b: firmware version: 0x1290133</code>

−

~~可以看到识别到当前的摄像机模组的型号，版本号。摄像机挂载在i2c~~-7, i2c地址是0x3b。

+

可以看到识别到当前的摄像机模组的型号，版本号。

+

在ROC-RK3588S-PC上，摄像机挂载在i2c-7, i2c地址是0x3b。

+

在ROC-RK3566-PC上，摄像机挂载在i2c-4。

*执行如下命令检查video0设备节点

Line 144: Line 198:

可以看到：

−

* 该Entity完整的名称是： <code>m00_b_mvcam 7-003b</code>。

+

* 该Entity完整的名称是： <code>m00_b_mvcam 7-003b</code>。（在ROC-RK3566-PC上该Entity名称是<code>m00_b_mvcam 4-003b</code>）

* 它是一个 V4L2 subdev (Sub-Device) Sensor。

* 它对应的节点是 <code>/dev/v4l-subdev2</code> ，应用程序（如<code>v4l2-ctl</code>）可以打开它，并进行配置。

Line 220: Line 274:

=== 应用范例 ===

====配置命令行全局变量 ====

+

根据主板型号，配置I2C_BUS全局变量。

+

* ROC-RK3588S-PC

+

<code>export I2C_BUS=7</code>

+

* ROC-RK3566-PC

+

<code>export I2C_BUS=4</code>

+

为了后面描述方便，此处根据sensor尺寸，配置全局变量。

Line 272: Line 336:

*RAW-MIPI-SC132M

−

<code>export WIDTH=~~1080~~</code>

+

<code>export WIDTH=1024</code>

<code>export HEIGHT=1280</code>

Line 278: Line 342:

<code>export FPS=120</code>

+

*RAW-MIPI-IMX462M

+

<code>export WIDTH=1920</code>

+

<code>export HEIGHT=1088</code>

+

<code>export FPS=60</code>

+

*RAW-MIPI-AR0234M

+

<code>export WIDTH=1920</code>

+

<code>export HEIGHT=1200</code>

+

<code>export FPS=60</code>

==== 使用v4l2-ctl配置参数 ====

<code>$ v4l2-ctl -d /dev/v4l-subdev2 -L</code>

Line 338: Line 417:

可以通过下面的命令，配置摄像机的数据格式，分辨率，帧率。

−

<code>media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam 7-003b":0[fmt:Y8_1X8/'"$WIDTH"'x'"$HEIGHT"'@1/'"$FPS"']'</code>

+

<code>media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam '"$I2C_BUS"'-003b":0[fmt:Y8_1X8/'"$WIDTH"'x'"$HEIGHT"'@1/'"$FPS"']'</code>

其中：<code>"m00_b_mvcam 7-003b"</code>指的相机的<code>entity</code>完整名称，<code>Y8_1X8</code>为<code>mbus-code</code>，<code>'"$WIDTH"'x'"$HEIGHT"'</code>指明了分辨率，<code>1/'"$FPS"'</code>指明了帧率。

Line 357: Line 436:

<code>v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl roi_y=0</code>

−

<code>media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam 7-003b":0[fmt:Y8_1X8/'"$WIDTH"'x'"$HEIGHT"'@1/'"$FPS"']'</code>

+

<code>media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam '"$I2C_BUS"'-003b":0[fmt:Y8_1X8/'"$WIDTH"'x'"$HEIGHT"'@1/'"$FPS"']'</code>

===== 帧率统计 =====

−

<code>v4l2-ctl --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=-1 --stream-to=/dev/null</code>

+

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=-1 --stream-to=/dev/null</code>

+

或者

+

<code>./yavta -c-1 --skip 0 -f Y8 -s ${WIDTH}x${HEIGHT} /dev/video0</code>

===== 保存图片到文件 =====

Line 366: Line 449:

* raw8格式

−

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-$~~WIDTHx~~$HEIGHT.raw</code>

+

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-${WIDTH}x${HEIGHT}.raw</code>

* raw10格式

−

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-$~~WIDTHx~~$HEIGHT.raw</code>

+

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-${WIDTH}x${HEIGHT}.raw</code>

* raw12格式

−

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=$WIDTH,height=$HEIGHT,pixelformat='Y12 ' --stream-mmap --stream-count=1 --stream-to=y12-$~~WIDTHx~~$HEIGHT.raw</code>

+

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=$WIDTH,height=$HEIGHT,pixelformat='Y12 ' --stream-mmap --stream-count=1 --stream-to=y12-${WIDTH}x${HEIGHT}.raw</code>

图片格式请参考前面章节的描述。

Line 394: Line 477:

详见github上的[https://github.com/veyeimaging/rk356x_firefly/tree/main/linux/samples samples]目录。

−

<code>python ./v4l2dev_2_opencv_show_grey.py --width 1456 --height 1088 --fps 60</code>

+

<code>python ./v4l2dev_2_opencv_show_grey.py --width 1456 --height 1088 --fps 60 --i2c 7</code>

===== gstreamer应用范例 =====

Line 411: Line 494:

<code>v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl roi_y=0</code>

−

<code>media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam 7-003b":0[fmt:Y8_1X8/'"$WIDTH"'x'"$HEIGHT"'@1/'"$FPS"']'</code>

+

<code>media-ctl -d /dev/media0 --set-v4l2 '"m00_b_mvcam '"$I2C_BUS"'-003b":0[fmt:Y8_1X8/'"$WIDTH"'x'"$HEIGHT"'@1/'"$FPS"']'</code>

=====软触发模式=====

======设置模式======

Line 418: Line 501:

<code>v4l2-ctl -d /dev/v4l-subdev2 --set-ctrl trigger_src=0</code>

======开始取图======

−

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-$~~WIDTHx~~$HEIGHT.raw</code>

+

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-${WIDTH}x${HEIGHT}.raw</code>

======进行软触发操作======

在其他的shell终端，可以多次执行下面命令进行多次触发。

Line 431: Line 514:

可以使用[[Mv mipi i2c.sh user guide|mv_mipi_i2c.sh]]脚本进行丰富的触发参数设置。

======开始取图======

−

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-$~~WIDTHx~~$HEIGHT.raw</code>

+

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-${WIDTH}x${HEIGHT}.raw</code>

======进行硬触发操作======

将合适的触发信号连接到摄像机的trigger引脚并进行触发。

Line 448: Line 531:

https://wiki.t-firefly.com/zh_CN/ROC-RK3588S-PC/

=== 本文修改记录 ===

+

* 2024-04-17

+

支持 RK3566.

+

* 2024-03-10

+

增加新版本ADP-MV2的硬件连接的图片和说明。

+

*2023-08-30

+

增加对RAW-MIPI-IMX462M和RAW-MIPI-AR0234M的支持。

* 2023-07-31

Xumm

Administrators

2,062

edits

Changes

MV Camera on Firfly Boards/zh (view source)

Revision as of 15:36, 17 April 2024

Navigation menu

Search