View source for V4L2 mode for Raspberry Pi/zh

[[V4L2 mode for Raspberry Pi|English]]

'''<big>如何在树莓派平台使用VEYE和CS系列摄像头模组（V4L2模式）</big>'''

=== 概述 ===
针对VEYE系列和CS系列摄像头模组在树莓派平台的使用方式，我们提供了类似raspicam模式的应用层开源软件——'''[https://github.com/veyeimaging/raspberrypi veye_raspicam]软件'''。

该系列软件，无需驱动支持，对piOS不同版本的兼容性好。

但是，我们认为'''V4L2驱动模式'''，也有比较广泛的应用场合。'''两种模式不能同时使用'''，具体体现在驱动是否安装上。后文会有详细描述。

本文描述怎样在树莓派平台，通过V4L2方式调用VEYE系列和CS系列的摄像头模组。

=== 硬件准备及安装 ===
[[VEYE MIPI 290/327 for Raspberry Pi/zh#.E7.A1.AC.E4.BB.B6.E5.87.86.E5.A4.87.E5.8F.8A.E5.AE.89.E8.A3.85|VEYE系列的硬件准备及安装]]

[[CS-MIPI-X for Raspberry Pi/zh#.E7.A1.AC.E4.BB.B6.E5.87.86.E5.A4.87.E5.8F.8A.E5.AE.89.E8.A3.85|CS系列的硬件准备及安装]]

=== 树莓派系统配置 ===
[[CS-MIPI-X for Raspberry Pi/zh#.E6.A0.91.E8.8E.93.E6.B4.BE.E7.B3.BB.E7.BB.9F.E5.AE.89.E8.A3.85.E5.8F.8A.E9.85.8D.E7.BD.AE|树莓派系统配置]]

=== 驱动安装 ===
====下载驱动包====
<code>wget <nowiki>https://github.com/veyeimaging/raspberrypi_v4l2/releases/latest/download/raspberrypi_v4l2.tgz</nowiki></code>
====安装驱动 ====
<code>tar -xzvf raspberrypi_v4l2.tgz</code>

<code>cd raspberrypi_v4l2/release/</code>

<code>chmod +x *</code>

<code>sudo ./install_driver.sh [camera module]</code>

camera module：可以是veye327,csimx307,cssc132,veyecam2m等。

备注：如果提示无法找到对应版本的驱动，说明我们没有提供对应您的piOS版本编译后的驱动程序。请尝试从源码编译。

'''备注：veyecam2m是新版本驱动，可以替代veye327,支持VEYE系列200w分辨率的所有模组。请使用veyecam2m，而不是veye327,以后我们会废弃掉veye327.ko。'''

然后重启树莓派。

Note: For VEYE-MIPI-IMX327S or VEYE-MIPI-IMX462, please make sure '''hdver''' must >= 0x5.

<nowiki>http://wiki.veye.cc/index.php/VEYE-MIPI-IMX327S_version_log</nowiki>

==== 卸载驱动 ====
如需更换为raspicam模式，或者想要更换成其他摄像头模组型号的驱动，必须要先卸载现在的驱动。

<code>sudo ./uninstall_driver.sh [camera module]</code>

camera module：可以是veye327,csimx307,cssc132等。

=== 摄像头状态验证 ===
以veye327为例：

<code>dmesg | grep veye</code>

可以看到：

<code>veye327 camera probed</code><br />并且/dev/video0 节点存在，证明摄像头状态正常。

如果采用veyecam2m驱动，会提示sensor型号及版型，如：

<code>camera id is veyecam2m</code>

<code>sensor is IMX327</code>

<code>board type is ONE board</code>

<code>veyecam2m camera probed</code>
==== 列出支持的模式 ====
<code>v4l2-ctl --list-formats-ext</code>
===使用VLC预览图像===
1. Open VLC with command line <code>vlc</code> , or click the icon to launch.

2. Hit the <code>▶</code>(Play) button to call the open media window.

3. In <code>Capture Device</code> >> <code>Device Selection</code> >> <code>Video device name</code>, select the camera video node.

4. Hit <code>Advanced Options...</code> button

5. In Advanced Options window >> <code>Video input chroma format</code>, type <code>UYUV</code>.

6. Type in the <code>width</code> and <code>height</code>, for example, 1920 and 1080.

7. Hit <code>OK</code> to save the settings and see the video feed.[[File:Play camera using VLC on RPI.png|alt=Play camera using VLC on RPI|center|thumb|1000x1000px|Play camera using VLC on RPI|link=http://wiki.veye.cc/index.php/File:Play_camera_using_VLC_on_RPI.png]]
=== Gstreamer应用范例 ===
<code>export DISPLAY=:0</code>

==== 安装gstreamer ====
<code>sudo apt-get install gstreamer1.0-tools</code>

<code>sudo apt-get install libx264-dev libjpeg-dev</code>

<code>sudo apt-get install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libgstreamer-plugins-bad1.0-dev gstreamer1.0-plugins-ugly gstreamer1.0-tools gstreamer1.0-gl gstreamer1.0-gtk3</code>

==== 运行 gstreamer videotest 命令 ====
<code>gst-launch-1.0 videotestsrc ! videoconvert ! autovideosink</code>

==== 抓拍一张图片(VEYE-MIPI-327,CS-MIPI-IMX307 @1080p mode) ====
<code>gst-launch-1.0 v4l2src num-buffers=1 device=/dev/video0 ! 'video/x-raw, format=(string)UYVY, width=1920,height=1080' ! jpegenc ! filesink location=test_image.jpg</code>

==== 帧率测试(VEYE-MIPI-327,CS-MIPI-IMX307 @1080p mode) ====
<code>gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080,framerate=(fraction)30/1" ! videoconvert ! fpsdisplaysink video-sink=fakesink -v</code>

==== 视频预览(VEYE-MIPI-327,CS-MIPI-IMX307 @1080p mode) ====
<code>gst-launch-1.0 v4l2src io-mode=dmabuf device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080,framerate=(fraction)30/1" ! v4l2convert capture-io-mode=dmabuf output-io-mode=dmabuf ! autovideosink sync=false -v</code>

==== 视频预览并加时间戳显示(VEYE-MIPI-327,CS-MIPI-IMX307 @1080p mode) ====
<code>gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080,framerate=(fraction)30/1"  ! videoconvert ! videoscale ! clockoverlay time-format="%D %H:%M:%S" ! video/x-raw, width=640, height=360 ! autovideosink sync=false -v</code>

==== 视频预览(CS-MIPI-IMX307,CS-MIPI-SC132 @720p mode) ====
<code>gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)1280, height=(int)720,framerate=(fraction)60/1" ! videoconvert ! autovideosink sync=false -v</code>

==== 视频预览(CS-MIPI-IMX307,CS-MIPI-SC132 @vga mode) ====
<code>gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)640, height=(int)480" ! videoconvert ! autovideosink sync=false -v</code>

==== 视频预览(CS-MIPI-SC132 @1280*1080@45 mode) ====
<code>gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)1280, height=(int)1080,framerate=(fraction)45/1" ! videoconvert ! autovideosink sync=false -v</code>

==== h.264编码并保存为mkv文件(VEYE-MIPI-X,CS-MIPI-IMX307 @1080p mode) ====
<code>gst-launch-1.0 -e v4l2src device=/dev/video0  num-buffers=300  ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080,framerate=(fraction)30/1" ! v4l2h264enc extra-controls="controls, h264_profile=4, video_bitrate=6200000" ! 'video/x-h264, profile=high, level=(string)4' ! h264parse ! matroskamux ! filesink location=output.mkv</code>

==== h.264编码并保存为mp4文件(VEYE-MIPI-X,CS-MIPI-IMX307 @1080p mode) ====
<code>gst-launch-1.0 -e v4l2src device=/dev/video0  num-buffers=300  ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080,framerate=(fraction)30/1" ! v4l2h264enc extra-controls="controls, h264_profile=4, video_bitrate=6200000" ! 'video/x-h264, profile=high, level=(string)4' ! h264parse ! mp4mux ! filesink location=video.mp4</code>
==== 网络传输 TCP streaming====
'''''树莓派（Server）一侧执行'''''

<code>gst-launch-1.0 -v v4l2src device=/dev/video0 num-buffers=-1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080,framerate=(fraction)30/1" ! v4l2h264enc extra-controls="controls, h264_profile=4, video_bitrate=4000000" ! 'video/x-h264, profile=high, level=(string)4' ! h264parse ! rtph264pay config-interval=1 pt=96 ! gdppay ! tcpserversink  host=x.x.x.x port=5000</code>

码流带宽为4Mbps,持续传输，监听端口为5000。

'''''Client一侧执行'''''

<code>gst-launch-1.0 -v tcpclientsrc host=x.x.x.x port=5000 ! gdpdepay ! rtph264depay ! avdec_h264 ! autovideosink sync=false</code>

其中x.x.x.x为树莓派(Server)的IP地址。

Client一侧，如为windows系统，建议使用powershell。[https://gstreamer.freedesktop.org/ gstreamer]的windows版本[https://gstreamer.freedesktop.org/documentation/installing/on-windows.html?gi-language=c 下载地址]。只安装runtime files即可。

==== 使用opencv获取视频 ====
<code>gst-launch-1.0 v4l2src device=/dev/video0  ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080,framerate=(fraction)30/1" ! videoscale ! "video/x-raw,width=640,height=480" ! videoconvert ! "video/x-raw, format=(string)BGR" ! appsink</code>
===V4l2-ctl 应用范例===
====安装v4l2-utils====
<code>sudo apt-get install v4l-utils</code>
====v4l2-ctl例程====

*抓拍一张UYVY原始数据图片 (1080p mode)

<code>v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY --stream-mmap --stream-count=1 --stream-to=uyvy-1920x1080.yuv</code>

* 抓拍10张UYVY原始数据图片 (1080p mode)

<code>v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY --stream-mmap --stream-count=10 --stream-to=uyvy-1920x1080_stream.yuv</code>

=== yavta 应用范例 ===

==== 下载并编译yavta ====
<code>git clone <nowiki>git://git.ideasonboard.org/yavta.git</nowiki></code>

<code>cd yavta;make</code>

==== yavta 例程 ====
<code>./yavta -c8 -Fuyvy_1920X1080.yuv --skip 0 -f UYVY -s 1920x1080 /dev/video0</code>

PS, UYVY文件可以用这个播放器： [https://yuv-player-deluxe.software.informer.com/2.6/ YUV Displayer Deluxe].
=== 参数控制软件包使用 ===
由于我们的摄像头参数自由度比较高，并没有采用V4L2参数进行控制，而是使用脚本进行参数配置。

https://github.com/veyeimaging/raspberrypi/tree/master/i2c_cmd

[[VEYE MIPI 290/327 for Raspberry Pi/zh#.E8.A7.86.E9.A2.91.E6.8E.A7.E5.88.B6.E8.BD.AF.E4.BB.B6.E5.8C.85.E4.BD.BF.E7.94.A8|VEYE系列参数控制软件包使用说明]]<br />[[CS-MIPI-X for Raspberry Pi/zh#.E8.A7.86.E9.A2.91.E6.8E.A7.E5.88.B6.E8.BD.AF.E4.BB.B6.E5.8C.85.E4.BD.BF.E7.94.A8|CS系列参数控制软件包使用说明]]

=== CM4的补充说明 ===
cm4支持两路摄像头同时使用,采用上面的步骤安装的dtbo将只能使用CAM1。如需使用两路摄像头，请按如下步骤：

==== 更新dt-blob.bin ====
<code>sudo wget <nowiki>https://datasheets.raspberrypi.com/cmio/dt-blob-dualcam.bin</nowiki> -O /boot/dt-blob.bin</code>

==== 更新双摄像头的dtbo ====
以csimx307为例：

<code>sudo cp raspberrypi_v4l2/release/driver_bin/$(uname -r)/csimx307-dual-cm4.dtbo /boot/overlays/csimx307.dtbo</code>

<code>sudo reboot</code>

==== 设备文件说明 ====
CM4模块采用两路I2C分别与两个摄像头通信。
{| class="wikitable"
!description
!i2c bus num
!video node
|-
|CAM0
|0
|video0
|-
|CAM1
|10
|video2
|}
注：只连一个摄像头，无论CAM0还是CAM1，都是video0。

==== gstreamer应用范例 ====
<code>export DISPLAY=:0</code>

* CAM0视频预览(VEYE-MIPI-327,CS-MIPI-IMX307 @1080p mode)

<code>gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080,framerate=(fraction)30/1" ! videoconvert ! fpsdisplaysink videosink=autovideosink sync=false text-overlay=false -v</code>

* CAM1视频预览(VEYE-MIPI-327,CS-MIPI-IMX307 @1080p mode)

<code>gst-launch-1.0 v4l2src device=/dev/video2 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080,framerate=(fraction)30/1" ! videoconvert ! fpsdisplaysink videosink=autovideosink sync=false text-overlay=false -v</code>

=== 从源代码编译驱动方法 ===
请参考：[[Build drivers from source for rpi/zh|树莓派平台上摄像头驱动源码编译指南]]。

=== 本文修改记录 ===

* 20220505

完善关于CM4的说明。

*20220411

源码编译方法独立到另外一篇文章。

* 20220302

增加v4l2-ctl和yavta例程。

* 20220301

开始支持 64-bit piOS。

* 20220225

增加gstreamer的应用例程。

* 20211125

增加VLC播放图像一节。