2,021
edits
Changes
Jump to navigation
Jump to search
Line 38:
Line 38: + + + + + + + + − MV系列相机需要使用ADP-MV1转接板才能连接到树莓派。下面以MV-MIPI-IMX178M为例，介绍硬件的安装方法。 − + + + + Line 52:
Line 62: − <br /> − − ==== ADP-MV1与树莓派的连接 ==== − − + + + + + + + + + Line 68:
Line 82: − + − + + + + + + + + + + + + + + + Line 82:
Line 110: − + − 这两个模式的区别，树莓派官网有详细的[https://www.raspberrypi.com/documentation/accessories/camera.html#libcamera-and-the-legacy-raspicam-camera-stack 介绍]。树莓派网站上提到的libcamera-stack模式与我们所说的V4L2模式架构上一致。+ + + + + + + + Line 100:
Line 135: − − ==== libcamera以及V4L2模式 ==== − 现在piOS已全面切换为libcamera-stack模式。 − − libcamera-stack本质上以实现isp功能为核心，这点是MV系列相机不需要的。因此，我们采用了'''V4L2模式'''，而不是使用libcamera-stack。 − − 与libcamera-stack相同，我们的'''V4L2模式'''，也实现了linux驱动层标准的V4L2驱动。基于此驱动，应用层可以直接开发程序获取图像并进行进一步处理。 Line 161:
Line 189: − + + + + + + + + + + + + + + + + + Line 177:
Line 221: + + + + + + + + Line 199:
Line 251: + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + Line 235:
Line 329: − <small><code> [5]: 'UYVY' (UYVY 4:2:2)</code></small>+ − − <small><code> Size: Discrete 3088x2064</code></small> − − 需要特别说明的是，MV系列相机提供的UYVY模式仅作调试使用，且图像宽度不能超过2880。 − + − + − + − + − + − + − + Line 266:
Line 356: − 以上所有功能，均可使用[[Mv mipi i2c.sh user guide|mv_mipi_i2c.sh]]实现。 − 需要指出的是，以上参数在开始取图的状态均不可修改。下面进行逐个说明：+ − ====== 配置翻转 ======+ − * 水平翻转+ − <code>v4l2-ctl --set-ctrl horizontal_flip=1</code> − * 垂直翻转+ − <code>v4l2-ctl --set-ctrl <small>vertical_flip</small>=1</code>+ Line 305:
Line 393: − 举例： − + + + + + − <code>v4l2-ctl --set-selection=target=crop,top=32,left=64,width=2592,height=1944</code>+ − + − + − 设置roi后，最大帧率会自动调整。+ + − + + + + + Line 326:
Line 422: − + Line 396:
Line 492: − + − + Line 414:
Line 510: + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + Line 461:
Line 602: + + Line 466:
Line 609: − + + + + + Line 502:
Line 649: + + Line 535:
Line 684: + + + Line 647:
Line 799: − + Line 658:
Line 810: + + + + + + + + + + + + Line 693:
Line 857: + + Line 706:
Line 872: + + + + + + + + + + + + + + + +
→shell脚本进行参数配置
|RAW系列
|RAW系列
|RAW-MIPI-SC132M
|RAW-MIPI-SC132M
|完成
|-
|RAW系列
|RAW-MIPI-IMX462M
|完成
|-
|RAW系列
|RAW-MIPI-AR0234M
|完成
|完成
|}
|}
=== 硬件准备及安装 ===
=== 硬件准备及安装 ===
==== MV-MIPI-IMX178M与ADP-MV1的连接 ====
==== MV系列摄像头使用ADP-MV1的连接方式 ====
MV系列相机需要使用ADP-MV1转接板才能连接到树莓派。
===== MV系列摄像头与ADP-MV1的连接 =====
二者使用0.5mm间距*30P的FFC异面线连接，注意接触面向外。
二者使用0.5mm间距*30P的FFC异面线连接，注意接触面向外。
{| class="wikitable"
{| class="wikitable"
|[[File:ADP-MV1-MV-MIPI-X 02.jpg|alt=|center|thumb|600x600px|ADP-MV1 to MV-MIPI-X]]
|[[File:ADP-MV1-MV-MIPI-X 02.jpg|alt=|center|thumb|600x600px|ADP-MV1 to MV-MIPI-X]]
|}
|}
===== 供电 =====
===== 供电 =====
ADP-MV1需要独立的5V供电，可以使用杜邦线直接从树莓派主板取电。
ADP-MV1需要独立的5V供电，可以使用杜邦线直接从树莓派主板取电。
[[File:ADP-MV1-MV-MIPI-X 07.jpg|center|thumb|800x800px|ADP-MV1 power supply]]
[[File:ADP-MV1-MV-MIPI-X 07.jpg|center|thumb|800x800px|ADP-MV1 power supply]]
<br />
<br />
===== 树莓派5 =====
二者使用15P转22P的FFC同面线连接，注意接触面安装方向。
{| class="wikitable"
!TOP
!BOTTOM
|-
|[[File:ADP-MV1 to RPI5.jpg|center|thumb|600x600px|ADP-MV1 to RPI5]]
|[[File:ADP-MV1 to RPI5 2.jpg|alt=|center|thumb|600x600px|ADP-MV1 to RPI5_2]]
|}<br />
===== 树莓派Model B和Model B+ =====
===== 树莓派Model B和Model B+ =====
二者使用1mm间距*15P的FFC异面线连接，注意接触面安装方向。
二者使用1mm间距*15P的FFC异面线连接，注意接触面安装方向。
===== 树莓派Zero,Zero W和Computer Module =====
===== 树莓派Zero,Zero W和Computer Module =====
二者使用15P转22P的FFC同面线连接，注意接触面安装方向。
二者使用15P转22P的FFC同面线连接，注意接触面安装方向。
[[File:MV-MIPI-X-RPI Z 01.jpg|center|thumb|800x800px|MV camera and Raspberry Pi zero connection]]
[[File:MV-MIPI-X-RPI Z 01.jpg|center|thumb|800x800px|MV camera and Raspberry Pi zero connection]]<br />[[File:MV-MIPI-X-RPI IOB 03.jpg|center|thumb|800x800px|MV camera and Raspberry Pi CM4]]
[[File:MV-MIPI-X-RPI IOB 03.jpg|center|thumb|800x800px|MV camera and Raspberry Pi CM4]]
<br />
==== RAW系列摄像头连接到树莓派 ====
===== 树莓派5 =====
RAW-MIPI-SC132M使用15to22pin同面FFC线，其他RAW系列相机使用22pin异面FFC线。
[[File:RAW CAM to RPI5.jpg|center|thumb|800x800px|RAW CAM to RPI5]]
<br />
<br />
===== 树莓派Model B和Model B+ =====
RAW-MIPI-SC132M使用15pin异面FFC线，其他RAW系列相机使用15to22pin同面FFC线。
[[File:RAW-MIPI-AR0234-RPI4.jpg|center|thumb|800x800px|RAW series camera and RPI connection]]
===== 树莓派Zero,Zero W和Computer Module =====
RAW-MIPI-SC132M使用15to22pin同面FFC线，其他RAW系列相机使用22pin异面FFC线。
[[File:RAW-MIPI-AR0234-RPI ZERO.jpg|center|thumb|800x800px|RAW-MIPI-AR0234-RPI ZERO]]
=== piOS的配置 ===
=== piOS的配置 ===
建议启用树莓派系统的ssh服务及samba服务，这里不再赘述树莓派系统如何开启ssh和samba服务。
建议启用树莓派系统的ssh服务及samba服务，这里不再赘述树莓派系统如何开启ssh和samba服务。
=== Legacy模式和V4L2模式介绍 ===
=== V4L2模式和Legacy模式介绍 ===
在最新的树莓派bookworm系统中，已经去掉了对Legacy模式的支持。建议客户使用V4L2模式。
==== libcamera以及V4L2模式 ====
现在piOS已全面切换为libcamera-stack模式。
libcamera-stack本质上以实现isp功能为核心，这点是MV系列相机不需要的。因此，我们采用了'''V4L2模式'''，而不是使用libcamera-stack。
与libcamera-stack相同，我们的'''V4L2模式'''，也实现了linux驱动层标准的V4L2驱动。基于此驱动，应用层可以直接开发程序获取图像并进行进一步处理。
==== Legacy模式 ====
==== Legacy模式 ====
由于两种工作模式不能共存，因此使用V4L2模式时需要关闭Legacy模式。
由于两种工作模式不能共存，因此使用V4L2模式时需要关闭Legacy模式。
=== 配置命令行全局变量 ===
=== 配置命令行全局变量 ===
*RAW-MIPI-SC132M
*RAW-MIPI-SC132M
<code>export WIDTH=1080</code>
<code>export WIDTH=1024</code>
<code>export HEIGHT=1280</code>
<code>export HEIGHT=1280</code>
<code>export FPS=120</code>
<code>export FPS=120</code>
*RAW-MIPI-IMX462M
<code>export WIDTH=1920</code>
<code>export HEIGHT=1088</code>
<code>export FPS=60</code>
*RAW-MIPI-AR0234M
<code>export WIDTH=1920</code>
<code>export HEIGHT=1200</code>
<code>export FPS=60</code>
=== V4L2模式用法 ===
=== V4L2模式用法 ===
我们在这个[https://github.com/veyeimaging/raspberrypi_v4l2 github仓库]保存了v4l2模式的代码。
我们在这个[https://github.com/veyeimaging/raspberrypi_v4l2 github仓库]保存了v4l2模式的代码。
<code>chmod +x *</code>
<code>chmod +x *</code>
* 对于树莓派5
<code>sudo ./install_driver_rpi5.sh veye_mvcam</code>
会在/boot/config.txt中安装CAM1和CAM0两个dtvoerlay。
* 其他树莓派
<code>sudo ./install_driver.sh veye_mvcam</code>
<code>sudo ./install_driver.sh veye_mvcam</code>
并且/dev/video0 节点存在，证明摄像头状态正常。
并且/dev/video0 节点存在，证明摄像头状态正常。
==== 树莓派5的配置 ====
在树莓派5上，驱动程序现在使用media control API，我们必须先正确设置media graph。这包括正确设置media pad的格式并正确链接它们。
我们提供了一系列脚本实现这个功能，保存在rpi5_scripts目录。
* ./find_entity.sh
<code>$ ./find_entity.sh</code>
<code>Found mvcam @ i2c-4 entity on /dev/media3</code>
<code>Plese get frame from /dev/video0 and use /dev/v4l-subdev2 for camera setting.</code>
<code>Found mvcam @ i2c-6 entity on /dev/media0</code>
<code>Plese get frame from /dev/video8 and use /dev/v4l-subdev5 for camera setting.</code>
树莓派5重启之后，相机的media node，video node可能发生变化，因此，建议执行后续操作前执行<code>./find_entity.sh</code>以明确设备节点。
上述提示信息中，可以看到系统插入了两个相机，以及每个相机的对应的设备节点。
<code>i2c-4</code>对应板子上的CAM1插口，<code>i2c-6</code>对应板子上的CAM0插口。
* media_setting_rpi5.sh
<code>./media_setting_rpi5.sh</code>
<code>Usage: ./media_setting_rpi5.sh veyecam2m/csimx307/cssc132/mvcam -fmt [UYVY/RAW8/RAW10/RAW12] -w [width] -h [height]</code>
<code>This shell script is designed to detect the connection of a camera on Raspberry Pi 5.</code>
<code> It utilizes media-ctl and v4l2-ctl commands to configure the linking relationships and data formats of the media pad.</code>
<code> Once completed, you can directly use /dev/video0 or /dev/video8 to obtain image data</code>
在进行后续操作前，必须执行此脚本以完成参数的配置。
举例来说，对于RAW-MIPI-AR0234M:
<code>./media_setting_rpi5.sh mvcam -fmt RAW8 -w 1920 -h 1200</code>
====v4l2-ctl 应用范例====
====v4l2-ctl 应用范例====
=====安装v4l2-utils=====
=====安装v4l2-utils=====
<small><code> Size: Discrete 3088x2064</code></small>
<small><code> Size: Discrete 3088x2064</code></small>
注：对于树莓派5，实际支持的图像格式取决于相机能力，而不是此处的列表。
====== 列出驱动中实现的相机的可配置参数 ======
====== 列出驱动中实现的相机的可配置参数 ======
<code>v4l2-ctl -L</code>
<code>v4l2-ctl -L</code>
<code><small>User Controls</small></code>
<code>User Controls</code>
<code><small> horizontal_flip 0x00980914 (bool) : default=0 value=0</small></code>
<code> trigger_mode 0x00981901 (int) : min=0 max=2 step=1 default=0 value=0 flags=volatile, execute-on-write</code>
<code><small> vertical_flip 0x00980915 (bool) : default=0 value=0</small></code>
<code> trigger_src 0x00981902 (int) : min=0 max=1 step=1 default=1 value=1 flags=volatile, execute-on-write</code>
<code><small> trigger_mode 0x00981901 (int) : min=0 max=2 step=1 default=0 value=0 flags=volatile</small></code>
<code> soft_trgone 0x00981903 (button) : flags=write-only, execute-on-write</code>
<code><small> trigger_src 0x00981902 (int) : min=0 max=1 step=1 default=1 value=1 flags=volatile</small></code>
<code> frame_rate 0x00981904 (int) : min=1 max=60 step=1 default=30 value=30 flags=volatile, execute-on-write</code>
<code><small> soft_trgone 0x00981903 (button) : flags=write-only, execute-on-write</small></code>
<code> roi_x 0x00981905 (int) : min=0 max=1376 step=8 default=0 value=0</code>
<code><small> frame_rate 0x00981904 (int) : min=0 max=22 step=1 default=22 value=22 flags=volatile</small></code>
<code> roi_y 0x00981906 (int) : min=0 max=1024 step=4 default=0 value=0</code>
*
*
<code>v4l2-ctl --get-ctrl [ctrl_type]</code>
<code>v4l2-ctl --get-ctrl [ctrl_type]</code>
注：对于树莓派5，本节的所有使用v4l2-ctl配置参数的命令需要增加 -d参数来指明配置参数使用的subdev。
比如执行./media_setting_rpi5.sh或者./find_entity.sh的时候提示使用/dev/v4l-subdev2进行参数配置。
则<code>v4l2-ctl -L</code>需要变更为<code>v4l2-ctl -L -d /dev/v4l-subdev2</code>。
注：以上所有功能，均可使用[[Mv mipi i2c.sh user guide|mv_mipi_i2c.sh]]实现。
需要指出的是，以上参数在开始取图的状态均不可修改。下面进行逐个说明：
====== 配置触发模式 ======
====== 配置触发模式 ======
====== 设置ROI ======
====== 设置ROI ======
* 对于MV-MIPI-IMX178M
* 方法1，使用selection
<code>v4l2-ctl --set-selection=target=crop,top=0,left=0,width=$WIDTH,height=$HEIGHT</code>
设置roi后，最大帧率会自动调整。
注：此方法不适用于树莓派5。
* 对于MV-MIPI-SC130M
* 方法2，使用自定义roi_x，roi_y配合<code>--set-fmt-video</code>
<code>v4l2-ctl --set-selection=target=crop,top=32,left=64,width=640,height=640</code>
<code>v4l2-ctl --set-ctrl roi_x=0</code>
<code>v4l2-ctl --set-ctrl roi_y=0</code>
<code>v4l2-ctl --set-fmt-video=width=$WIDTH,height=$HEIGHT</code>
==== 流模式 ====
==== 流模式 ====
===== 设置ROI =====
===== 设置ROI =====
<code>v4l2-ctl --set-selection=target=crop,top=0,left=0,width=$WIDTH,height=$HEIGHT</code>
<code>v4l2-ctl --set-ctrl roi_x=0</code>
<code>v4l2-ctl --set-ctrl roi_y=0</code>
<code>v4l2-ctl --set-fmt-video=width=$WIDTH,height=$HEIGHT</code>
===== 设置帧率 =====
===== 设置帧率 =====
===== 可使用如下命令进行帧率统计 =====
===== 可使用如下命令进行帧率统计 =====
<code>v4l2-ctl --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=-1 --stream-to=/dev/null</code>
<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=-1 --stream-to=/dev/null</code>
===== 保存图片到文件 =====
===== 保存图片到文件 =====
*raw8格式
*raw8格式
<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1080,height=1280,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-1088x1280.raw</code>
<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1024,height=1280,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-1024x1280.raw</code>
*raw10格式
*raw10格式
<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1080,height=1280,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-1088x1280.raw</code>
<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1024,height=1280,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-1024x1280.raw</code>
======MV-MIPI-IMX287M======
======MV-MIPI-IMX287M======
<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=704,height=544,pixelformat='Y12 ' --stream-mmap --stream-count=1 --stream-to=y12-704x544.raw</code>
<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=704,height=544,pixelformat='Y12 ' --stream-mmap --stream-count=1 --stream-to=y12-704x544.raw</code>
======RAW-MIPI-IMX462M======
*raw10格式
<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1920,height=1088,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-1920x1088.raw</code>
*raw12格式
<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1920,height=1088,pixelformat='Y12 ' --stream-mmap --stream-count=1 --stream-to=y12-1920x1088.raw</code>
======RAW-MIPI-AR0234M======
*raw8格式
<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1920,height=1200,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-1920x1200.raw</code>
*raw10格式
<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1920,height=1200,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-1920x1200.raw</code>
图片格式请参考下面：raw data图片格式说明 章节。
图片格式请参考下面：raw data图片格式说明 章节。
===== 实时预览 =====
===== 实时预览 =====
在树莓派5上，vlc进行播放现在有问题，不能使用。
====== 使用vlc播放图像 ======
1. Open VLC with command line <code>vlc</code> , or click the icon to launch.
2. Hit the <code>▶</code>(Play) button to call the open media window.
3. In <code>Capture Device</code> >> <code>Device Selection</code> >> <code>Video device name</code>, select the camera video node.
4. Hit <code>Advanced Options...</code> button
5. Type in the <code>width</code> and <code>height</code>, for example, 1280 and 1024.
6. Hit <code>OK</code> to save the settings and see the video feed.
[[File:Mvcam via VLC.png|center|thumb|800x800px|Play mv camera using VLC on RPI]]
====== 使用qv4l2播放图像 ======
首先安装qv4l2
<code>sudo apt install qv4l2</code>
1. Open VLC with command line <code>vlc</code> to launch.
2. Hit the <code>▶</code>(Play) button to call the open media window.
[[File:Mvcam via qv4l2.png|center|thumb|800x800px|Play mv camera using qv4l2 on RPI]]
<br />
====== 使用gstreamer预览UYVY格式图像 ======
====== 使用gstreamer预览UYVY格式图像 ======
<code>export DISPLAY=:0</code>
<code>export DISPLAY=:0</code>
为了方便进行安装和调试，MV系列相机提供了UYVY模式。UYVY模式支持的最大宽度为2880，使用如下命令可以进行实时预览。
为了方便进行安装和调试，MV系列相机提供了UYVY模式。UYVY模式支持的最大宽度为2880，使用如下命令可以进行实时预览。
注：为了提高最高帧率和带宽，部分模组升级固件后不再提供UYVY格式。具体请通过脚本的fmtcap指令读取寄存器确认。
* install gstreamer
* install gstreamer
<code>python ./v4l2dev_2_opencv_show_grey.py --width 640 --height 480 --fps 30</code>
<code>python ./v4l2dev_2_opencv_show_grey.py --width 640 --height 480 --fps 30</code>
对于树莓派5，需要增加一个<code>--ctldev /dev/v4l-subdev*</code>参数用于指明配置参数的subdev。
==== 触发模式 ====
==== 触发模式 ====
===== 设置ROI和帧率 =====
===== 设置ROI和帧率 =====
<code>v4l2-ctl --set-selection=target=crop,top=0,left=0,width=$WIDTH,height=$HEIGHT</code>
<code>v4l2-ctl --set-ctrl roi_x=0</code>
<code>v4l2-ctl --set-ctrl roi_y=0</code>
<code>v4l2-ctl --set-fmt-video=width=$WIDTH,height=$HEIGHT</code>
<code>v4l2-ctl --set-ctrl frame_rate=$FPS</code>
<code>v4l2-ctl --set-ctrl frame_rate=$FPS</code>
====== 进行硬触发操作 ======
====== 进行硬触发操作 ======
在其他的shell终端，可以多次执行下面命令进行多次触发。
<code>python gpio_trigger.py</code>
<code>python gpio_trigger.py</code>
!description
!description
!i2c bus num
!i2c bus num
!lane num
!video node
!video node
|-
|-
|CAM0
|CAM0
|0
|0
|2lane
|video0
|video0
|-
|-
|CAM1
|CAM1
|10
|10
|2lane or 4lane
|video2（Buster），video1（Bullseye）
|video2（Buster），video1（Bullseye）
|}注：只连一个摄像头，无论CAM0还是CAM1，都是video0。
|}注：只连一个摄像头，无论CAM0还是CAM1，都是video0。
设置上升沿触发
设置上升沿触发
<code>./mv_mipi_i2c.sh -w -f trgedge -p1</code>
<code>./mv_mipi_i2c.sh -w -f trgedge -p1 0</code>
此外，还可以对硬触发设置丰富的触发属性，如触发延迟、信号过滤等。
此外，还可以对硬触发设置丰富的触发属性，如触发延迟、信号过滤等。
Note:触发脚本[https://github.com/veyeimaging/mvcam_raspberrypi/tree/main/mv_tools_rpi 链接]。
Note:触发脚本[https://github.com/veyeimaging/mvcam_raspberrypi/tree/main/mv_tools_rpi 链接]。
====CM4的补充说明====
关于硬件连接、dtbo以及i2cbus的描述，请参考前面的章节。
===== mv_raspicam分别访问两个camera的方法： =====
* 预览CAM0
<code>./mv_raspicam -t -1 -c 0 -y 0</code>
* 预览CAM1
<code>./mv_raspicam -t -1 -c 1 -y 10</code>
=== raw data图片格式说明 ===
=== raw data图片格式说明 ===
=== shell脚本进行参数配置 ===
=== shell脚本进行参数配置 ===
我们提供了shell脚本来配置参数。
我们提供了shell脚本来配置参数。
https://github.com/veyeimaging/raspberrypi_v4l2/tree/main/mv_tools_rpi
[[mv_mipi_i2c.sh user guide]]
[[mv_mipi_i2c.sh user guide]]
=== 本文修改记录 ===
=== 本文修改记录 ===
* 2024-01-01
增加对树莓派5的相关说明。
*2023-08-16
增加对RAW-MIPI-IMX462M和RAW-MIPI-AR0234M的支持。
* 2023-06-07
增加使用qv4l2和VLC预览画面的方法。
* 2023-04-14
配合新版本驱动，去掉了翻转操作，增加了一种roi配置方法。
* 20230329
* 20230329