Changes

1,493 bytes removed , 23 March

→‎状态检测并配置环境变量

Line 34: Line 34:

|MV系列

|MV-MIPI-IMX264M

+

|完成

+

|-

+

|MV系列

+

|MV-MIPI-GMAX4002M

|完成

|-

Line 46: Line 50:

|RAW系列

|RAW-MIPI-AR0234M

+

|完成

+

|-

+

|RAW系列

+

|RAW-MIPI-SC535M

|完成

|}

+

+

=== 硬件准备及安装 ===

Line 65: Line 75:

ADP-MV1需要独立的5V供电，可以使用杜邦线直接从树莓派主板取电。

[[File:ADP-MV1-MV-MIPI-X 07.jpg|center|thumb|800x800px|ADP-MV1 power supply]]

−

~~ ~~

===== 树莓派5 =====

二者使用15P转22P的FFC同面线连接，注意接触面安装方向。

+

{| class="wikitable"

+

!TOP

+

!BOTTOM

+

|-

+

+

+

|}

===== 树莓派Model B和Model B+ =====

二者使用1mm间距*15P的FFC异面线连接，注意接触面安装方向。

Line 77: Line 93:

二者使用15P转22P的FFC同面线连接，注意接触面安装方向。

+

[[File:CM5-MV-connect.jpg|center|thumb|800x800px|MV camera connect to CM5]]

Line 83: Line 100:

===== 树莓派5 =====

RAW-MIPI-SC132M使用15to22pin同面FFC线，其他RAW系列相机使用22pin异面FFC线。

+

[[File:RAW CAM to RPI5.jpg|center|thumb|800x800px|RAW CAM to RPI5]]

+

===== 树莓派Model B和Model B+ =====

Line 91: Line 110:

RAW-MIPI-SC132M使用15to22pin同面FFC线，其他RAW系列相机使用22pin异面FFC线。

[[File:RAW-MIPI-AR0234-RPI ZERO.jpg|center|thumb|800x800px|RAW-MIPI-AR0234-RPI ZERO]]

−

+

[[File:CM5-RAW-connect.jpg|center|thumb|800x800px|RAW-MIPI-SC535M connect to CM5]]

+

=== piOS的配置 ===

具体安装树莓派系统方法请参考官方文档，详见：[https://www.raspberrypi.org/documentation/installation/ Install raspberrypi guide]。

Line 127: Line 147:

由于两种工作模式不能共存，因此使用V4L2模式时需要关闭Legacy模式。

−

~~=== 配置命令行全局变量 ===~~

−

~~为了后面描述方便，此处根据sensor尺寸，配置全局变量。~~

−

*MV-MIPI-IMX178M

−

~~<code>export WIDTH=3088</code>~~

−

~~<code>export HEIGHT=2064</code>~~

−

~~<code>export FPS=22</code>~~

−

*MV-MIPI-SC130M

−

~~<code>export WIDTH=1280</code>~~

−

~~<code>export HEIGHT=1024</code>~~

−

~~<code>export FPS=108</code>~~

−

* MV-MIPI-IMX296M

−

~~<code>export WIDTH=1440</code>~~

−

~~<code>export HEIGHT=1088</code>~~

−

~~<code>export FPS=60</code>~~

−

*MV-MIPI-IMX287M

−

~~<code>export WIDTH=704</code>~~

−

~~<code>export HEIGHT=544</code>~~

−

~~<code>export FPS=319</code>~~

−

*MV-MIPI-IMX265M

−

~~<code>export WIDTH=2048</code>~~

−

~~<code>export HEIGHT=1544</code>~~

−

~~<code>export FPS=45</code>~~

−

*MV-MIPI-IMX264M

−

~~<code>export WIDTH=2432</code>~~

−

~~<code>export HEIGHT=2056</code>~~

−

~~<code>export FPS=28</code>~~

−

*RAW-MIPI-SC132M

−

~~<code>export WIDTH=1024</code>~~

−

~~<code>export HEIGHT=1280</code>~~

−

~~<code>export FPS=120</code>~~

−

*RAW-MIPI-IMX462M

−

~~<code>export WIDTH=1920</code>~~

−

~~<code>export HEIGHT=1088</code>~~

−

~~<code>export FPS=60</code>~~

−

*RAW-MIPI-AR0234M

−

~~<code>export WIDTH=1920</code>~~

−

~~<code>export HEIGHT=1200</code>~~

−

~~<code>export FPS=60</code>~~

=== V4L2模式用法 ===

我们在这个[https://github.com/veyeimaging/raspberrypi_v4l2 github仓库]保存了v4l2模式的代码。

Line 227: Line 172:

备注：如果提示无法找到对应版本的驱动，说明我们没有提供对应您的piOS版本编译后的驱动程序。请尝试从源码编译。

+

===== mvcam使用4lane模式 =====

+

对于mvcam，默认的dtbo是2lane的，如需使用4lane模式，请先确认你的树莓派主板和相机都支持4lane。然后，请在驱动安装完成后，额外执行：

+

<code>sudo cp driver_bin/$(uname -r)/veye_mvcam_4lane.dtbo /boot/overlays/veye_mvcam.dtbo</code>

+

====卸载驱动====

如需更换为Legacy模式，或者想要更换成其他摄像头模组型号的驱动，必须要先卸载现在的驱动。

Line 244: Line 195:

并且/dev/video0 节点存在，证明摄像头状态正常。

+

==== 状态检测并配置环境变量 ====

+

在[https://github.com/veyeimaging/raspberrypi_v4l2/tree/main/mv_tools_rpi 这里]，我们提供了一个<code>mv_probe.sh</code>脚本，用于自动检测识别到的相机并将相机默认的型号、宽、高、帧率等信息配置到环境变量中。

+

使用方法是：

+

<code>source ./mv_probe.sh</code>

+

一个典型的输出如下：

+

<code>$ source ./mv_probe.sh</code>

+

<code>The mvcam driver is loaded on i2c-10, but the camera is not detected!</code>

+

<code>Found veye_mvcam camera on i2c-11.</code>

+

<code>Setenv CAMERAMODEL = RAW-MIPI-SC535M</code>

+

<code>Setenv FPS = 49</code>

+

<code>Setenv WIDTH = 2432</code>

+

<code>Setenv HEIGHT = 2048</code>

+

可以通过 <code>echo $CAMERAMODEL</code>来验证环境变量的输出结果。注意，此环境变量只对当前会话有效。

+

注意：此脚本需要mvcam的驱动版本大于等于1.1.06才可以支持。

+

如你使用的驱动版本小于1.1.06，或者你希望使用不同于当前值的宽、高、帧率。请参考相机模组的手册，手动配置如下<code>WIDTH HEIGHT FPS</code>环境变量，否则可能导致后面的程序运行不正常。如：

+

<code>export WIDTH=2432</code>

+

<code>export HEIGHT=2048</code>

+

<code>export FPS=50</code>

==== 树莓派5的配置 ====

在树莓派5上，驱动程序现在使用media control API，我们必须先正确设置media graph。这包括正确设置media pad的格式并正确链接它们。

Line 271: Line 256:

<code>./media_setting_rpi5.sh</code>

−

<code>Usage: ./media_setting_rpi5.sh veyecam2m/csimx307/cssc132/mvcam -fmt [UYVY/RAW8/RAW10/RAW12] -w [width] -h [height]</code>

+

<code>This is a Raspberry Pi 5.</code>

+

<code>Kernel version is 6.6.51, do not support unpacked format.</code>

+

<code>Usage: ./media_setting_rpi5.sh veyecam2m/csimx307/cssc132/mvcam -fmt [UYVY/RAW8/RAW10/RAW12] -x [roi_x] -y [roi_y] -w [width] -h [height] -c [cam 0|1]</code>

<code>This shell script is designed to detect the connection of a camera on Raspberry Pi 5.</code>

Line 277: Line 266:

<code> It utilizes media-ctl and v4l2-ctl commands to configure the linking relationships and data formats of the media pad.</code>

−

<code> Once completed, you can directly use /dev/video0 or /dev/video8 to obtain image data</code>

+

<code> Once completed, you can directly use /dev/video0 or /dev/video8 to obtain image data.</code>

在进行后续操作前，必须执行此脚本以完成参数的配置。

Line 283: Line 272:

举例来说，对于RAW-MIPI-AR0234M:

−

<code>./media_setting_rpi5.sh mvcam -fmt RAW8 -w 1920 -h 1200</code>

+

<code>./media_setting_rpi5.sh mvcam -fmt RAW8 -x 0 -y 0 -w 1920 -h 1200</code>

====v4l2-ctl 应用范例====

Line 354: Line 343:

则<code>v4l2-ctl -L</code>需要变更为<code>v4l2-ctl -L -d /dev/v4l-subdev2</code>。

−

注：以上所有功能，均可使用[[Mv mipi i2c.sh user guide|mv_mipi_i2c.sh]]实现。

Line 401: Line 389:

<code>v4l2-ctl --set-fmt-video=width=$WIDTH,height=$HEIGHT</code>

+

备注：对于树莓派5，可以直接使用media_setting_rpi5.sh脚本完成roi的配置，因为media_setting_rpi5.sh脚本中已经包含roi配置。

==== 流模式 ====

Line 417: Line 407:

===== 保存图片到文件 =====

−

~~======MV-MIPI-IMX178M======~~

*raw8格式

−

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=~~3088~~,height=~~2064~~,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-~~3104x2064~~.raw</code>

+

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-$WIDTHx$HEIGHT.raw</code>

或者

−

<code>./yavta -c1 -~~Fy8~~-~~3104x2064~~.raw --skip 0 -f Y8 -s ~~3088x2064~~ /dev/video0</code>

+

<code>./yavta -c1 -F"y8-${WIDTH}x${HEIGHT}.raw" --skip 0 -f Y8 -s "${WIDTH}x${HEIGHT}" /dev/video0</code>

−

~~由于Raspberry Pi为图像申请的内存，宽度为32对齐，高度为16对齐，所以3088*2064的图像将被保存为3104*2064大小。~~

*raw10格式

−

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=~~3088~~,height=~~2064~~,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-~~3088x2064~~.raw</code>

+

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-$WIDTHx$HEIGHT.raw</code>

*raw12格式

−

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=~~3088~~,height=~~2064~~,pixelformat='Y12 ' --stream-mmap --stream-count=1 --stream-to=y12-~~3088x2064~~.raw</code>

+

<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat='Y12 ' --stream-mmap --stream-count=1 --stream-to=y12-$WIDTHx$HEIGHT.raw</code>

−

~~======MV-MIPI-SC130M======~~

−

*~~raw8格式~~

+

由于Raspberry Pi为图像申请的内存，宽度为32对齐，高度为16对齐，所以3088*2064的图像将被保存为3104*2064大小。

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1280,height=1024,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-1280x1024.raw</code>~~

−

*~~raw10格式~~

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1280,height=1024,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-1280x1024.raw</code>~~

−

~~======MV-MIPI-IMX296M ======~~

−

*raw8格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1440,height=1088,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-1440x1088.raw</code>~~

−

*raw10格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1440,height=1088,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-1440x1088.raw</code>~~

−

~~======MV-MIPI-IMX265M======~~

−

*raw8格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=2048,height=1544,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-2048x1544.raw</code>~~

−

*raw10格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=2048,height=1544,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-2048x1544.raw</code>~~

−

*raw12格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=2048,height=1544,pixelformat='Y12 ' --stream-mmap --stream-count=1 --stream-to=y12-2048x1544.raw</code>~~

−

~~======MV-MIPI-IMX264M======~~

−

*raw8格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=2432,height=2056,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-2432x2056.raw</code>~~

−

*raw10格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=2432,height=2056,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-2432x2056.raw</code>~~

−

*raw12格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=2432,height=2056,pixelformat='Y12 ' --stream-mmap --stream-count=1 --stream-to=y12-2432x2056.raw</code>~~

−

~~======RAW-MIPI-SC132M======~~

−

*raw8格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1024,height=1280,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-1024x1280.raw</code>~~

−

*raw10格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1024,height=1280,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-1024x1280.raw</code>~~

−

~~======MV-MIPI-IMX287M======~~

−

*raw8格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=704,height=544,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-704x544.raw</code>~~

−

*raw10格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=704,height=544,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-704x544.raw</code>~~

−

*raw12格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=704,height=544,pixelformat='Y12 ' --stream-mmap --stream-count=1 --stream-to=y12-704x544.raw</code>~~

−

~~======RAW-MIPI-IMX462M======~~

−

*raw10格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1920,height=1088,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-1920x1088.raw</code>~~

−

*raw12格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1920,height=1088,pixelformat='Y12 ' --stream-mmap --stream-count=1 --stream-to=y12-1920x1088.raw</code>~~

−

~~======RAW-MIPI-AR0234M======~~

−

*raw8格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1920,height=1200,pixelformat=GREY --stream-mmap --stream-count=1 --stream-to=y8-1920x1200.raw</code>~~

−

*raw10格式

−

~~<code>v4l2-ctl -d /dev/video0 --set-fmt-video=width=1920,height=1200,pixelformat='Y10 ' --stream-mmap --stream-count=1 --stream-to=y10-1920x1200.raw</code>~~

图片格式请参考下面：raw data图片格式说明章节。

===== 实时预览 =====

−

~~在树莓派5上，vlc进行播放现在有问题，不能使用。~~

+

在最新版树莓派piOS，vlc进行播放现在有问题，不能使用，请使用qv4l2代替。

====== 使用vlc播放图像 ======

Line 550: Line 455:

[[File:Mvcam via qv4l2.png|center|thumb|800x800px|Play mv camera using qv4l2 on RPI]]

−

~~====== 使用gstreamer预览UYVY格式图像 ======~~

−

~~<code>export DISPLAY=:0</code>~~

−

~~为了方便进行安装和调试，MV系列相机提供了UYVY模式。UYVY模式支持的最大宽度为2880，使用如下命令可以进行实时预览。~~

−

~~注：为了提高最高帧率和带宽，部分模组升级固件后不再提供UYVY格式。具体请通过脚本的fmtcap指令读取寄存器确认。~~

−

* install gstreamer

−

~~<code>sudo apt-get install gstreamer1.0-tools</code>~~

−

~~<code>sudo apt-get install libx264-dev libjpeg-dev</code>~~

−

~~<code>sudo apt-get install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libgstreamer-plugins-bad1.0-dev gstreamer1.0-plugins-ugly gstreamer1.0-tools gstreamer1.0-gl gstreamer1.0-gtk3</code>~~

−

* MV-MIPI-IMX178M

−

~~<code>v4l2-ctl --set-selection=target=crop,top=0,left=0,width=2816,height=2064</code>~~

−

<code>gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)2816, height=(int)2064, framerate=(fraction)22/1" ! v4l2convert ! "video/x-raw,format=(string)NV12" ! autovideosink sync=false -v</code>

−

* MV-MIPI-SC130M, MV-MIPI-IMX296M, MV-MIPI-IMX265M，MV-MIPI-IMX264M，MV-MIPI-IMX287M

−

~~<code>v4l2-ctl --set-selection=target=crop,top=0,left=0,width=$WIDTH,height=$HEIGHT</code>~~

−

~~<code>v4l2-ctl --set-ctrl frame_rate=$FPS</code>~~

−

<code>gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)$WIDTH, height=(int)$HEIGHT,framerate=(fraction)$FPS/1" ! v4l2convert ! "video/x-raw,format=(string)NV12" ! autovideosink sync=false -v</code>

−

~~或者简单的~~

−

~~<code>gst-launch-1.0 v4l2src device=/dev/video0 ! videoconvert ! autovideosink</code>~~

−

====== 使用opencv预览GREY格式图像 ======

Line 594: Line 466:

<code>python ./v4l2dev_2_opencv_show_grey.py --width 640 --height 480 --fps 30</code>

+

对于树莓派5，需要增加一个<code>--ctldev /dev/v4l-subdev*</code>参数用于指明配置参数的subdev。

+

====== 使用gstreamer预览GREY格式图像 ======

+

<code>export DISPLAY=:0</code>

+

<code>gst-launch-1.0 v4l2src device=/dev/video0 ! video/x-raw,format=GRAY8,width=$WIDTH,height=$HEIGHT,framerate=$FPS/1 ! videoconvert ! autovideosink</code>

==== 触发模式 ====

Line 614: Line 493:

====== 开始取图 ======

−

<code>v4l2-ctl --set-fmt-video=width=~~3088~~,height=~~2064~~,pixelformat=GREY --stream-mmap --stream-count=5 --stream-to=y8-~~3104x2064~~.yuv</code>

+

<code>v4l2-ctl --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=5 --stream-to=y8-$WIDTHx$HEIGHT.yuv</code>

====== 进行软触发操作 ======

Line 636: Line 515:

====== 开始取图 ======

−

<code>v4l2-ctl --set-fmt-video=width=~~3088~~,height=~~2064~~,pixelformat=GREY --stream-mmap --stream-count=5 --stream-to=y8-~~3104x2064~~.raw</code>

+

<code>v4l2-ctl --set-fmt-video=width=$WIDTH,height=$HEIGHT,pixelformat=GREY --stream-mmap --stream-count=5 --stream-to=y8-$WIDTHx$HEIGHT.raw</code>

====== 进行硬触发操作 ======

+

在其他的shell终端，可以多次执行下面命令进行多次触发。

+

<code>python gpio_trigger.py</code>

Line 842: Line 723:

Y8文件可以用这个播放器： [https://yuv-player-deluxe.software.informer.com/2.6/ YUV Displayer Deluxe]。

+

==== 树莓派官方对于Packed format和Unpacked format的解释 ====

+

===== Packed format details =====

+

The packed format uses less storage for pixel data.

+

''On Raspberry Pi 4 and earlier devices'', the packed format packs pixels using the MIPI CSI-2 standard. This means:

+

* 10-bit camera modes pack 4 pixels into 5 bytes. The first 4 bytes contain the 8 most significant bits (MSBs) of each pixel, and the final byte contains the 4 pairs of least significant bits (LSBs).

+

* 12-bit camera modes pack 2 pixels into 3 bytes. The first 2 bytes contain the 8 most significant bits (MSBs) of each pixel, and the final byte contains the 4 least significant bits (LSBs) of both pixels.

+

''On Raspberry Pi 5 and later devices'', the packed format compresses pixel values with a visually lossless compression scheme into 8 bits (1 byte) per pixel.

+

===== Unpacked format details =====

+

The unpacked format provides pixel values that are much easier to manually manipulate, at the expense of using more storage for pixel data.

+

On all devices, the unpacked format uses 2 bytes per pixel.

+

''On Raspberry Pi 4 and earlier devices'', applications apply zero padding at the '''most significant end'''. In the unpacked format, a pixel from a 10-bit camera mode cannot exceed the value 1023.

+

''On Raspberry Pi 5 and later devices'', applications apply zero padding at the '''least significant end''', so images use the full 16-bit dynamic range of the pixel depth delivered by the sensor.

=== shell脚本进行参数配置 ===

我们提供了shell脚本来配置参数。

+

https://github.com/veyeimaging/raspberrypi_v4l2/tree/main/mv_tools_rpi

[[mv_mipi_i2c.sh user guide]]

Line 858: Line 762:

=== 本文修改记录 ===

+

* 2025-03-23

+

增加对MV-MIPI-GMAX4002M的支持。

+

增加mv_probe.sh脚本的使用描述。

+

去掉使用gstreamer预览UYVY格式的描述。

+

*2024-07-08

+

增加对RAW-MIPI-SC535M的支持。

* 2024-01-01

Line 875: Line 791:

配合新版本驱动，去掉了翻转操作，增加了一种roi配置方法。

−

* ~~20230329~~

+

* 2023-03-29

增加opencv sample。

−

*~~20230326~~

+

*2023-03-26

增加MV-MIPI-IMX287M的支持。

−

*~~20230304~~

+

*2023-03-04

增加Bullseye系统中CM4的相关说明。

−

* ~~20230210~~

+

* 2023-02-10

V4L2模式下增加了CM4的说明。

−

*~~20221208~~

+

*2022-12-08

增加了MV-MIPI-IMX264M的支持。

−

* ~~20221102~~

+

* 2022-11-02

增加了IMX265和SC132新型号的支持。

Xumm

Administrators

2,537

edits

Changes

Mv series camera appnotes 4 rpi/zh (view source)

Revision as of 15:03, 23 March 2025

Navigation menu

Search