Changes

VEYE CS Camera for Jetson TX2/zh (view source)

Revision as of 11:32, 23 January 2025

4,103 bytes removed , 23 January

→‎概述

Line 1: Line 1:

[[VEYE CS Camera for Jetson TX2|English]]

−

'''<big>如何在英伟达Jetsno Nano,TX2,~~AGX Xavier和Xavier NX平台使用VEYE系列和CS系列摄像头模组~~</big>'''

+

'''<big>如何在英伟达Jetsno Nano,TX2,Xavier和Orin平台使用VEYE系列和CS系列摄像头模组</big>'''

===概述===

−

本文讲述怎样将VEYE系列和CS系列模组接入到英伟达公司的Jetson ~~Nano,Jetson Nano 2GB,Jetson TX2，TX2 NX和AGX Xavier开发板,Xavier NX Devkit以及我们兼容的其他主板上。采用的软件版本为~~

+

本文讲述怎样将VEYE系列和CS系列模组接入到英伟达公司的Jetson 板子上。采用的软件版本为：

*Jetpack4.2.2,L4T版本r32.2.1

Line 13: Line 13:

*Jetpack4.5.1,L4T版本r32.5.1

*Jetpack4.6,L4T版本r32.6.1

+

*Jetpack4.6.1,L4T版本r32.7.1

+

*Jetpack4.6.3,L4T版本r32.7.3

+

*Jetpack4.6.2,L4T版本r32.7.2

+

*Jetpack4.6.4,L4T版本r32.7.4

+

*Jetpack5.0.1DP,L4T版本r34.1.1

+

*Jetpack5.0.2,L4T版本r35.1

+

*Jetpack5.1,L4T版本r35.2.1

+

*Jetpack5.1.1,L4T版本r35.3.1

+

*Jetpack5.1.2,L4T版本r35.4.1

+

*Jetpack5.1.3,L4T版本r35.5

+

*Jetpack5.1.4,L4T版本r35.6

+

*Jetpack6.0,L4T版本r36.3

+

*Jetpack6.1,L4T版本r36.4

+

*Jetpack6.2,L4T版本r36.4.3

我们提供了编译好的固件和源代码两种方式来方便用户的使用。

Line 53: Line 67:

|}VEYE系列和CS系列MIPI摄像头模组是内置ISP的，输出为MIPI-CSI2接口。

====怎样查看当前L4T版本====

+

===== 方法1 =====

在jetson板子上，查看当前L4T版本，尽量使用同一版本进行替换。

Line 62: Line 78:

则表示当前L4T版本为32.4.3。

+

===== 方法2 =====

+

参考这个[https://pypi.org/project/jetson-stats/ 链接]，安装jetson-stats:

+

===硬件准备及安装===

−

我们设计了专用的转接板，支持6路摄像头，兼容TX2 ~~Devkit和Xavier。~~

+

我们设计了专用的转接板，支持6路摄像头，兼容TX2 Devkit，Xavier和Orin。

−

[[File:ADP-N1-6CAM YT0.95-4I.jpg|center|thumb|~~800x800px~~|6cam interposer board connected with 6 cameras]]

+

{| class="wikitable"

−

+

!ADP-N1连接图

−

'''特别的，VEYE-MIPI-IMX335由于功耗较高，必须使用12V DC端子提供辅助供电。参考[[ADP-N1-V2.0 Adapter Board Data Sheet#Adapter Board Pinlist.EF.BC.88.E6.8E.A5.E5.8F.A3.E5.92.8C.E5.BC.95.E8.84.9A.E8.AF.B4.E6.98.8E.EF.BC.89|ADP-N1的J11]]。'''

+

!ADP-N1 V2.0连接图

+

|-

+

+

+

|}

+

'''<big><big>特别的，VEYE-MIPI-IMX335由于功耗较高，必须使用12V DC端子提供辅助供电。参考[[ADP-N1-V2.0 Adapter Board Data Sheet#Adapter Board Pinlist.EF.BC.88.E6.8E.A5.E5.8F.A3.E5.92.8C.E5.BC.95.E8.84.9A.E8.AF.B4.E6.98.8E.EF.BC.89|ADP-N1的J11]]。</big></big>'''

====英伟达TX2 Developer Kit====

[[File:TX2 Devkit 6cam.jpg|center|thumb|800x800px|'''TX2 Devkit 6 cameras connection''']]

−

'''~~注意，使用中请务必用螺丝将ADP转接板固定到底板上面。~~'''

+

'''注意，使用中请务必用螺丝将ADP转接板固定到底板上面,以保证转接板安装平正。'''

−

====英伟达AGX Xavier====

+

====英伟达AGX Xavier(AGX Orin与此相同)====

转接板是兼容TX2转接板的，连接方式如图：

−

'''~~注意，使用中请务必用螺丝将ADP转接板固定到底板上面。~~'''

+

'''注意，使用中请务必用螺丝将ADP转接板固定到底板上面,以保证转接板安装平正。'''

====英伟达Nano 、 Xavier NX Devkit和TX2 NX====

Xavier NX 的接口是兼容树莓派和Jetson Nano的。连接方式如图：

Line 83: Line 109:

+

[[File:VEYE camera connection with Orin Nano and Orin NX.jpg|center|thumb|800x800px|VEYE camera connection with Orin Nano and Orin NX]]

−

===~~更新Jetson Nano, Jetson TX2，TX2 NX, AGX Xavier和Xavier NX系统===~~

+

===更新Jetson系统===

−

+

本章节描述怎样更新Jetson的L4T系统以支持MV摄像头模组。操作系统更新方法，请参考[[How to upgrade the Jetson system to support VEYE cameras/zh|更新Jetson操作系统]]。

−

~~====概述====~~

−

~~本章节描述怎样更新Jetson系统以支持我们的摄像头模组。要支持我们的摄像头模组，需要更新Jetson系统的L4T(Linux for Tegra)的两个部分，Image和DTB。~~

−

Image部分，我们增加了摄像头驱动，DTB部分则指明了使用的摄像头型号。一般情况下，只需使用我们已编译好的Image和DTB，非必要情况下，无需根据代码进行编译。

−

~~====BSP包介绍：====~~

−

~~=====路径==~~===

−

[~~https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/kernel_image https://github.com/veyeimaging/nvidia_jetson_veye_bsp]~~

−

~~=====bsp包包括以下主要内容：=====~~

−

*预编译好的linux kernel：Image

−

*预编译好的不同平台下的dtb

−

*driver源码

−

*dts源码

−

*i2c通信工具集

−

~~==== DTB文件名称与板卡对应关系 ====~~

−

~~=====Nano A02=====~~

−

~~<code>tegra210-p3448-0000-p3449-0000-a02.dtb</code>~~

−

~~===== Nano B01 =====~~

−

~~<code>tegra210-p3448-0000-p3449-0000-b00.dtb</code>~~

−

~~===== Nano 2GB =====~~

−

~~<code>tegra210-p3448-0003-p3542-0000.dtb</code>~~

−

~~=====TX2 Devkit=====~~

−

~~<code>tegra186-quill-p3310-1000-c03-00-base.dtb</code>~~

−

~~===== TX2 NX(p3509-0000 carrier board) =====~~

−

~~use~~ the ~~same carrier board with XAVIER NX Devkit~~

−

~~<code>tegra186-p3636-0001-p3509-0000-a01.dtb</code>~~

−

~~=====AGX XAVIER =====~~

−

~~<code>tegra194-p2888-0001-p2822-0000.dtb</code>~~

−

~~=====XAVIER NX Devkit=====~~

−

~~<code>tegra194-p3668-all-p3509-0000.dtb</code>~~

−

~~==== DTB文件名称与摄像头对应关系 ====~~

−

~~每个主板的dtb目录下，存放了对应摄像头型号的目录，一般可以直接通过目录名称知道对应的摄像头型号。~~

−

~~特别的：~~

−

~~1、VEYE-MIPI-CAM2M 是新版本的VEYE系列dtb，支持所有VEYE 200W系列产品，包括VEYE-MIPI-327E、VEYE-MIPI-IMX327S、VEYE-MIPI-IMX462、VEYE-MIPI-IMX385。~~

−

~~2、以fpdlink为后缀的，对应fpdlink同轴型号模组。~~

−

~~====~~Jetson ~~Nano和Xavier NX、AGX Xavier无需HOST PC升级方法====~~

−

~~注：AGX Xavier在Jetpack4.4以后的版本，建议可以使用此方法。以前版本我们未作验证，不建议使用。~~

−

~~=====查看当前L4T版本=====~~

−

~~首先查看当前L4T版本，尽量使用同一版本进行替换。~~

−

~~<code>cat /etc/nv_tegra_release</code>~~

−

~~如显示：~~

−

~~<code># R32 (release), REVISION: 4.3......</code>~~

−

~~则表示当前L4T版本为32.4.3。~~

−

~~=====下载bsp包到Jetson板子=====~~

−

~~在Jetson Nano或者Xavier NX上面，执行：~~

−

~~<code>git clone <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp.git</nowiki></code>~~

−

~~=====升级Image=====~~

−

~~备份原来的Image~~

−

~~<code>cp /boot/Image /boot/Image.backup</code>~~

−

~~<code>cp /boot/Image.sig /boot/Image.sig.backup</code>~~

−

~~在bsp包目录下，找到对应版本的Image压缩包，解压后执行：~~

−

~~<code>sudo cp <path to your Image dir>/Image /boot/Image -f</code>~~

−

~~特别的，对于xavier nx需要使用签名后的文件(比如Image_l4t_r32.*.*_veyecam_signed_4_xavier目录下)，把新的Image和Image.sig拷贝的XAVIER的/boot/目录下。~~

−

~~<code>sudo cp <path to your Image dir>/Image /boot/Image -f</code>~~

−

~~<code>sudo cp <path to your Image dir>/Image.sig /boot/Image.sig -f</code>~~

−

~~重启后生效。~~

−

~~=====升级dtb=====~~

−

~~在bsp包目录下，找到您对应的摄像头模组型号和L4T版本号的dtb文件。~~

−

~~<code>sudo cp <path to your dtb dir>/<DTB file name> /boot/ -f</code>~~

−

~~然后，编辑 /boot/extlinux/extlinux.conf文件，在最下面增加如下一行。~~

−

~~<code>FDT /boot/<DTB file name></code>~~

−

~~注意：<DTB file name>应当替换为主板对应的dtb名称，确保FDT一行所指明的文件确实正确存在。~~

−

~~重启后生效。~~

−

~~====通过HOST PC升级方法====~~

−

~~=====烧写标准版本镜像=====~~

−

~~'''''注意：如您的Jetson板子已经正确烧写了标准版本的镜像，此步骤可以跳过。'''''~~

−

~~可以使用SDK Manager直接烧写标准镜像，也可以按照如下步骤手动烧写。~~

−

*配置环境变量

−

~~以下步骤假设SDK安装目录为<TOPDIR>。~~

−

~~<code>export TOP_DIR=<absolute path to top dir accroding to your jetpack version and board name;for example /home/xumm/nvidia/nvidia_sdk/JetPack_4.5_Linux_JETSON_XAVIER_NX_DEVKIT/></code>~~

−

~~- 通用部分~~

−

~~<code>export L4T_DIR=$TOP_DIR/Linux_for_Tegra</code>~~

−

*生成默认版本烧写镜像,烧写默认镜像到板子，准备好L4T环境

−

~~<code>cd $L4T_DIR</code>~~

−

~~<code>sudo ./apply_binaries.sh</code>~~

−

~~进入recovery mode并烧写标准版本镜像。~~

−

~~- Nano~~

−

~~<code><s>sudo ./flash.sh jetson-qspi-sd mmcblk0p1</s></code>~~

−

~~<code>sudo ./flash.sh jetson-nano-devkit mmcblk0p1</code>~~

−

~~<code>sudo ./flash.sh jetson-nano-2gb-devkit mmcblk0p1</code>~~

−

~~''- TX2''~~

−

~~<code>sudo ./flash.sh jetson-tx2 mmcblk0p1</code>~~

−

~~''- TX2 NX(p3509-0000 carrier board)''~~

−

~~<code>sudo ./flash.sh jetson-xavier-nx-devkit-tx2-nx mmcblk0p1</code>~~

−

~~''- AGX Xavier''~~

−

~~<code>sudo ./flash.sh jetson-xavier mmcblk0p1</code>~~

−

~~''- Xavier NX Devkit''<code><nowiki/></code>~~

−

~~<code>sudo ./flash.sh jetson-xavier-nx-devkit mmcblk0p1</code>~~

−

~~=====下载我们的bsp包=====~~

−

~~<code>cd $L4T_DIR</code>~~

−

~~<code>git clone https://github.com/veyeimaging/nvidia_jetson_veye_bsp<nowiki/>.git</code><code><nowiki/></code>~~

−

~~<code>export RELEASE_PACK_DIR=$L4T_DIR/nvidia_jetson_veye_bsp</code>~~

−

~~=====升级Image和DTB=====~~

−

~~prebuilt Image on github:https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/kernel_image~~

−

*升级Image文件

−

~~无论是使用预编译好的程序还是使用自行编译出的Image：~~

−

~~''- Nano 和 TX2''~~

−

~~把新的Image拷贝的Nano和TX2的/boot/目录下。~~

−

~~在Jetson TX2板子上执行~~

−

~~<code>sudo cp <path to your Image dir>/Image /boot/Image -f</code>~~

−

~~''- AGX Xavier 和Xavier NX''~~

−

~~需要使用签名后的文件(比如Image_l4t_r32.*.*_veyecam_signed_4_xavier目录下)，把新的Image和Image.sig拷贝的XAVIER的/boot/目录下。~~

−

~~<code>sudo cp <path to your Image dir>/Image /boot/Image -f</code>~~

−

~~<code>sudo cp <path~~ to ~~your Image dir>/Image.sig /boot/Image.sig -f</code>~~

−

~~<s>在Host PC执行</s>~~

−

~~<code><s>cd $L4T_DIR</s></code>~~

−

~~<code><s>sudo ./flash.sh -k kernel jetson-xavier mmcblk0p1</s></code>~~

−

~~''<s>- Xavier NX</s>''~~

−

~~<s>在Host PC执行</s>~~

−

~~<code><s>cd $L4T_DIR</s></code>~~

−

~~<code><s>sudo ./flash.sh -k kernel jetson-xavier-nx-devkit mmcblk0p1</s></code>~~

−

*烧写DTS分区，进入烧写模式，在Host PC执行

−

~~<code>cp <path to your dtb dir>/dtbfilename $L4T_DIR/kernel/dtb/ -f</code>~~

−

~~<code>cd $L4T_DIR</code>~~

−

~~- ''Nano''~~

−

~~<code><s>sudo ./flash.sh -r -k DTB jetson-nano-qspi-sd mmcblk0p1</s></code>~~

−

~~<code>sudo ./flash.sh -r -k DTB jetson-nano-devkit mmcblk0p1</code>~~

−

~~<code>sudo ./flash.sh -r -k DTB jetson-nano-2gb-devkit mmcblk0p1</code>~~

−

~~''- TX2''~~

−

~~<code>sudo ./flash.sh -r -k kernel-dtb jetson-tx2 mmcblk0p1</code>~~

−

~~''- TX2 NX(p3509-0000 carrier board)''~~

−

~~<code>sudo ./flash.sh -r -k kernel-dtb jetson-xavier-nx-devkit-tx2-nx mmcblk0p1</code>~~

−

~~''- AGX Xavier''~~

−

~~<code>sudo ./flash.sh -r -k kernel-dtb jetson-xavier mmcblk0p1</code>~~

−

~~''- Xavier NX''~~

−

~~<code>sudo ./flash.sh -r -k kernel-dtb jetson-xavier-nx-devkit mmcblk0p1</code>~~

−

~~烧写完成后，断电重启。~~

−

~~====Image和DTB更新成功了吗？====~~

−

~~完成Image和DTB的更新后，可以使用以下步骤检查操作是否成功。~~

−

~~=====对于Image=====~~

−

~~<code>ls /sys/bus/i2c/drivers/</code>~~

−

~~应当有 veye327 veyecam csx307 cssc132 目录的存在~~

−

~~=====对于DTB=====~~

−

~~DTB在不同的平台和不同的摄像头模组都会有所不同。~~

−

~~- Nano A02/ Nano 2G~~

−

~~<code>ls /proc/device-tree/host1x/i2c@546c0000/</code>~~

−

~~- Nano B01~~

−

~~<code>ls /proc/device-tree/cam_i2cmux/i2c@*</code>~~

−

~~- TX2 Devkit~~

−

~~<code>ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*</code>~~

−

or

−

~~<code>ls /proc/device-tree/i2c@3180000/tca9548@77/i2c@*</code>~~

−

~~- AGX Xavier~~

−

~~<code>ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*</code>~~

−

or

−

~~<code>ls /proc/device-tree/i2c@3180000/tca9548@77/i2c@*</code>~~

−

~~- Xavier NX and TX2 NX(p3509-0000 carrier board)~~

−

~~<code>ls /proc/device-tree/cam_i2cmux/i2c@*</code>~~

−

~~应当可以发现摄像头型号。~~

−

~~==== 防止被升级所覆盖 ====~~

−

~~确定Image和dtb成功更新之后，请执行以下命令，防止kernel和dtb被升级覆盖。~~

−

~~<code>sudo apt-mark hold nvidia-l4t-kernel nvidia-l4t-kernel-dtbs</code>~~

−

~~====使用源码进行编译====~~

−

~~请参考：[[~~VEYE ~~CS Camera source for Jetson~~/zh|~~英伟达Jetson平台上VEYE和CS系列摄像头驱动源码编译指南~~]]

−

~~kernel和DTS编译完成后，可以按照上面的步骤升级Image和DTB。~~

−

===应用和测试===

====系统状态检测====

完成系统安装后，在Jetson板端执行以下命令来检测是否正确连接摄像头。

−

*VEYE-MIPI-327型号(使用VEYE-MIPI-327 dtb)

−

~~<code>dmesg | grep veye327</code>~~

−

~~应当有类似如下提示：~~

−

~~<code>Detected VEYE327 sensor</code>~~

−

~~<code>subdev veye327 X-003b bound</code>~~

−

~~此外，检查/dev/videoX设备节点，应当是存在的。~~

*VEYE-MIPI-X型号(使用VEYE-MIPI-CAM2M dtb)

Line 388: Line 127:

<code>sensor is IMX327/IMX462/IMX385</code>

−

<code>subdev veyecam X-003b bound</code>

+

<code>subdev veyecam [i2c_bus]-003b bound</code>

此外，检查/dev/videoX设备节点，应当是存在的。

Line 400: Line 139:

<code>Detected CS307 sensor</code>

−

<code>subdev csx307 X-003b bound</code>

+

<code>subdev csx307 [i2c_bus]-003b bound</code>

此外，检查/dev/videoX设备节点，应当是存在的。

Line 410: Line 149:

应当有类似如下提示：

−

<code>subdev cssc132 X-003b bound</code>

+

<code>subdev cssc132 [i2c_bus]-003b bound</code>

此外，检查/dev/videoX设备节点，应当是存在的。

Line 422: Line 161:

<code>camera id is VEYE-MIPI-IMX335</code>

−

<code>subdev veye_imx335 10-003b bound</code>

+

<code>subdev veye_imx335 [i2c_bus]-003b bound</code>

此外，检查/dev/videoX设备节点，应当是存在的。

+

*VEYE-MIPI-327型号(使用VEYE-MIPI-327 dtb)

+

<code>dmesg | grep veye327</code>

+

应当有类似如下提示：

+

<code>Detected VEYE327 sensor</code>

+

<code>subdev veye327 [i2c_bus]-003b bound</code>

+

此外，检查/dev/videoX设备节点，应当是存在的。

+

驱动提示信息中的<code>[i2c_bus]</code>表示此摄像头对应的i2c总线。

====视频流软件包和测试====

−

~~我们的摄像头模组，在TX2系统中映射为~~/dev/~~videoX设备节点。X值是按照detect的逻辑顺序[0-5]递增的。举例说，如果只接入一个摄像头，则X为0。如果接入5个，则X体现为[0-4]。~~

+

摄像头模组在Jetson系统中映射为/dev/videoX设备节点。

−

~~gstreamer中，v4l2src可以通过指明device~~=/dev/videoX来访问不同的摄像头。

+

操作系统启动过程中，按照i2c bus从小到大的顺序探测摄像头。X值是按照探测的逻辑顺序[0-5]递增的。

+

举例说，如果只接入一个摄像头，无论硬件连接到哪个位置，X都为0。如果接入5个，则按照i2c bus从小到大，X为[0-4]。

+

gstreamer中，v4l2src和nvv4l2camerasrc可以通过指明device=/dev/videoX来访问不同的摄像头。

=====Gstreamer Usage=====

+

To install the latest accelerated gstreamer plugins and applications, run the following commands:

+

<code>sudo apt-get update</code>

+

<code>sudo apt-get install nvidia-l4t-gstreamer</code>

+

<code>sudo ldconfig</code>

+

<code>rm -rf .cache/gstreamer-1.0/</code>

+

<code>export DISPLAY=:0</code>

*视频预览1080p HD

−

<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! ~~nvoverlaysink~~ sync=false</code>

+

<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>

−

<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! ~~nvoverlaysink~~ sync=false</code>

+

<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nv3dsink sync=false</code>

−

* 视频预览1080p HD(using xvimagesink sink)

+

* 视频预览1080p HD(using xvimagesink sink if supported)

<code>export DISPLAY=:0</code>

Line 446: Line 214:

*视频预览720p@60 HD(模组支持此分辨率时)

−

<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! ~~nvoverlaysink~~ sync=false</code>

+

<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>

*视频预览1280*1080@45fpsHD

−

<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)1080, framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! ~~nvoverlaysink~~ sync=false</code>

+

<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)1080, framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>

*视频预览640*480@130fps(模组支持此分辨率时)

−

<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! ~~nvoverlaysink~~ sync=false</code>

+

<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>

*并列预览两路视频 1080p HD

Line 464: Line 232:

<code>CAPS="video/x-raw(memory:NVMM),format=(string)UYVY, width=1920, height=1080"</code>

−

<code>gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! ~~nvoverlaysink~~ nvv4l2camerasrc device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. nvv4l2camerasrc device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.</code>

+

<code>gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nv3dsink nvv4l2camerasrc device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. nvv4l2camerasrc device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.</code>

* Gstreamer 嵌入到 OpenCV

Line 478: Line 246:

*录像回放

−

<code>gst-launch-1.0 filesrc location=filename.mp4 ! qtdemux ! queue ! h264parse ! nvv4l2decoder ! ~~nvoverlaysink~~ -e</code>

+

<code>gst-launch-1.0 filesrc location=filename.mp4 ! qtdemux ! queue ! h264parse ! nvv4l2decoder ! nv3dsink -e</code>

*抓拍图片

−

<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg</code>

+

<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg</code>

===== VEYE-MIPI-IMX335 的gstreamer例子 =====

由于VEYE-MIPI-IMX335仅支持几种特定的分辨率模式，其驱动我们采用了use_sensor_mode_id模式。

{| class="wikitable"

−

|+VEYE-MIPI-IMX335 mode

+

|+VEYE-MIPI-IMX335 mode

!./veye5_mipi_i2c.sh video mode

!v4l2-ctl sensor_mode

Line 519: Line 287:

<code>v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=0</code>

−

<code>./veye5_mipi_i2c.sh -w -f videomode -p1 1</code>

+

<code>./veye5_mipi_i2c.sh -w -f videomode -p1 1 -b [busnum]</code>

<code>v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5376</code>

Line 525: Line 293:

预览

−

<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM), width=(int)2592, height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! ~~nvoverlaysink~~ sync=false</code>

+

<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM), width=(int)2592, height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>

帧率统计

Line 535: Line 303:

<code>v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=3</code>

−

<code>./veye5_mipi_i2c.sh -w -f videomode -p1 4</code>

+

<code>./veye5_mipi_i2c.sh -w -f videomode -p1 4 -b [busnum]</code>

<code>v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5120</code>

Line 549: Line 317:

抓图

−

<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg</code>

+

<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg</code>

+

===== Jetson multimedia-api samples =====

+

Jetson平台上提供了[https://docs.nvidia.com/jetson/l4t-multimedia/index.html Jetson Linux API] 供开发者使用。具体jetson_multimedia_api包的安装请参考nVidia官方文档。

+

对于VEYE和CS系列相机，已经在相机内集成了ISP功能，因此不能使用libargus获取数据，而可以直接使用使用标准V4L2接口从/dev/videoX设备文件获取数据。

+

下面两个sample可以直接运行：

+

====== 12_camera_v4l2_cuda ======

+

<code>./camera_v4l2_cuda -d /dev/video0 -s 1920x1080 -f UYVY</code>

+

====== v4l2cuda ======

+

<code>./capture-cuda -d /dev/video0 -f UYVY -m -o out.ppm -s 1920x1080 -c 1</code>

+

===== v4l2-ctl 应用范例 =====

+

======安装v4l2-utils======

+

<code>sudo apt-get install v4l-utils</code>

+

======使用v4l2-ctl配置参数 ======

+

* 列出相机支持的数据格式

−

~~====视频控制软件包的使用====~~

+

<code>v4l2-ctl --list-formats-ext</code>

−

~~===== i2c bus说明： =====~~

+

* 帧率统计

−

~~在TX2和AGX-Xavier平台，ADP-N1共6个MIPI接口，CAM0-CAM5对应的i2c地址为[30-35]。~~

−

~~在Xavier NX~~, ~~TX2 NX平台，CAM0对应10，CAM1对应9。~~

+

<code>v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY--stream-mmap --stream-count=-1 --stream-to=/dev/null</code>

−

~~在Nano A02,Nano 2GB平台，i2c地址为6。~~

+

* 保存图片到文件

−

~~在Nano B01平台，CAM0对应7，CAM1对应8。~~

+

<code>v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY --stream-mmap --stream-count=1 --stream-to=uyvy-1920x1080.yuv</code>

−

~~i2cbus与启动阶段dmesg 显示的X部分一致。~~

+

===== yavta =====

−

<code>~~subdev veyeX X-003b bound~~</code>

+

======安装yavta======

+

<code>git clone <nowiki>https://github.com/veyeimaging/yavta.git</nowiki></code>

−

<code>~~subdev csimx307 X-003b bound~~</code>

+

<code>cd yavta;make</code>

−

<code>~~subdev cssc132 X~~-~~003b bound~~</code>

+

====== 保存图片到文件 ======

+

<code>./yavta -c1 -FUYVY-1920x1080.yuv --skip 0 -f UYVY -s 1920x1080 /dev/video0</code>

+

=====Opencv=====

+

为了将摄像头数据从v4l2设备导入到opencv，我们提供了几个sample。

−

~~'''执行i2c控制脚本时，需使用-b选项来指明控制的对应摄像头。'''~~

+

We provide some samples [https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/samples/opencv here].

+

====使用i2c脚本修改摄像机参数====

*VEYE-MIPI-CAM2M系列（VEYE-MIPI-327、VEYE-MIPI-IMX327S、VEYE-MIPI-IMX462、VEYE-MIPI-IMX385）

Line 583: Line 376:

具体使用说明请见：[[5m mipi i2c user guide/zh|VEYE-MIPI-IMX335 I2C脚本使用说明]]。

−

===~~瑞泰RTSO-9001的补充说明~~===

+

===怎样移植驱动到第三方底板===

+

源码编译步骤请参考：[[VEYE CS Camera source for Jetson/zh|英伟达Jetson平台上VEYE和CS系列摄像头驱动源码编译指南]]

+

==== 驱动移植 ====

+

对于Image，我们是在官方标准Image基础上增加了功能，并没有做任何删减。一般情况下，可以直接使用我们编译好的Image。特殊情况请参考源码进行整合。

+

对于modules则更简单，直接使用即可。从源码编译和非常简单，此处不做赘述。

+

==== dts移植 ====

+

我们只提供了Nano、TX2、Xavier、Orin的部分板子的dtb，对于没有提供的类型，需要：

−

~~====硬件连接方法====~~

+

1. 得到该板子的dts源码。

−

~~[[File:CS-MIPI-307 to ruitai 9001tx2~~.~~jpg|center|thumb|800x800px|CS-MIPI-IMX307 与瑞泰RTSO-9001（TX2）]]~~

+

2. 我们camera相关的dts到整体中。

−

~~与瑞泰RTSO-9001配套，需使用树莓派相机扩展板RTST-RPI转接板。~~

+

3. 重新编译得到对应板子的dtb。

−

~~备注：当前版本的RTSO-9001的MIPI CSI-2接口供电能力不足以支撑我们摄像头的功率需求，需要额外5V供电给摄像头。上图中并未提现。~~

+

操作步骤并不复杂，但是有一些第三方底板厂家并不开放dts源码。这就需要各方的配合才能做到了。

−

===~~=软件的补充说明=~~===

+

=== 常见问题和bug列表 ===

−

*针对瑞泰RTSO-~~9001,对应的目录为：~~

+

==== VEYE cameras on Jetpack5.x ====

+

Jetpack5.x在xavier和orin平台对mipi信号的要求更加严格。VEYE-MIPI-xxx系列相机需要固件版本hdver>=7才可以完美支持。

−

~~nvidia_jetson_veye_bsp\TX2\JetPack_4~~.2.~~2_Linux_RTSO~~-~~9001~~

+

==== CS-MIPI-IMX307配合Orin nano以及Orin NX绿屏 ====

+

当CS-MIPI-IMX307使用FFC cable的3.3V供电模式时，现在（Jetpack5.1.1)Orin nano和Orin NX的MIPI接收状态机会进入错误状态。建议参考[[Power supply mode switching/zh|此文章]]，修改CS-MIPI-IMX307的供电模式，使用5V供电模式。

−

*受与瑞泰公司协议限制，我方不发布源代码

+

==== Jetpack5.0.1 DP ====

−

*我方资料已提交瑞泰公司，建议客户与瑞泰联系获取完善版本的支持镜像

+

本版本有很多bug，如不支持nvv4l2camerasrc,不建议使用。

+

==== nv3dsink ====

+

Jetpack5.x不再支持nvoverlaysink，使用nv3dsink替代之。nv3ksink需要使用本地执行，不能ssh远程登陆执行。

=== 文档历史 ===

+

* 2024-10-22

+

将常见问题的一部分转移到驱动升级的文章中。

+

* 2024-08-06

+

将第三章独立成一篇。

+

* 2024-05-22

+

支持Jetpack5.1.3。

+

*20230427

+

支持Jetpack5.1.1。

+

* 20230222

+

支持Jetpack5.1。

+

*20220831

+

完善Jetpack5.0.2下关于VEYE系列和 MV系列的说明。

+

* 20220824

+

支持Jetpack5.0.2。

+

* 20220720

+

增加Jetson multimedia-api和v4l2-ctl描述。

+

* 20220714

+

增加对L4T32.7.2的说明。

+

* 20220629

+

增加Jetpack5.0.1DP的支持，调通AGX-Orin。

* 20220110

Line 614: Line 460:

* 20211025

−

~~gstreamer命令中，普遍采用nvcamerasrc代替v4l2src，数据直接进入DMA内存。~~

+

gstreamer命令中，普遍采用nvv4l2camerasrc代替v4l2src，数据直接进入DMA内存。

===参考资料===

Line 628: Line 474:

L4T Doc: https://docs.nvidia.com/jetson/archives/l4t-archived/l4t-325/

+

https://docs.nvidia.com/jetson/archives/r35.3.1/DeveloperGuide/index.html

TX2 user guide: [https://developer.download.nvidia.cn/embedded/L4T/r28_Release_v2.0/GA/Docs/Jetson_TX1_and_TX2_Developer_Kits_User_Guide.pdf?lumI95GW6BEyMmhP1Is8E79OYo105-tpsC2bOVQmBZ6Tw8AkLU4pSDMPCuzOaEonWMiDO2hliXbNvtkH9do81TNIXmLZGGoV7xoEehyEgfc2WO8e0Czz5chLSHoCqIuPLL1 link]

−

~~北京瑞泰新时代公司网址：http://www.realtimes.cn/~~

−

~~ ~~

Xumm

Administrators

2,573

edits

Changes

VEYE CS Camera for Jetson TX2/zh (view source)

Revision as of 11:32, 23 January 2025

Navigation menu

Search