Changes

VEYE CS Camera for Jetson TX2/zh (view source)

Revision as of 14:48, 25 September 2022

3,435 bytes added , 14:48, 25 September 2022

→‎特别的

Line 15: Line 15:

*Jetpack4.6.1,L4T版本r32.7.1

*Jetpack4.6.2,L4T版本r32.7.2

−

*Jetpack5.0.1DP,L4T版本r34.0.1

+

*Jetpack5.0.1DP,L4T版本r34.1.1

+

*Jetpack5.0.2,L4T版本r35.1

我们提供了编译好的固件和源代码两种方式来方便用户的使用。

Line 80: Line 81:

[[File:TX2 Devkit 6cam.jpg|center|thumb|800x800px|'''TX2 Devkit 6 cameras connection''']]

−

<br />'''~~注意，使用中请务必用螺丝将ADP转接板固定到底板上面。~~'''

+

<br />'''注意，使用中请务必用螺丝将ADP转接板固定到底板上面,以保证转接板安装平正。'''

====英伟达AGX Xavier(AGX Orin与此相同)====

转接板是兼容TX2转接板的，连接方式如图：

−

<br />'''~~注意，使用中请务必用螺丝将ADP转接板固定到底板上面。~~'''

+

<br />'''注意，使用中请务必用螺丝将ADP转接板固定到底板上面,以保证转接板安装平正。'''

====英伟达Nano 、 Xavier NX Devkit和TX2 NX====

Xavier NX 的接口是兼容树莓派和Jetson Nano的。连接方式如图：

Line 108: Line 109:

驱动不再编译进Image，而是以独立module的形式加载到系统中。dtb我们现在依然是采用整体编译到一起的方式以方便进行替换。

−

~~dtb也可以以overlay形式动态加载。~~

+

dtb也可以以overlay形式动态加载，详情参考nVidia官方的NVIDIA® Jetson™ Linux开发者指南。

+

* MV系列模组

+

MV系列模组，为了支持扩展数据类型和外触发模式，我们在Image中增加了相关功能。因此无论Jetpack版本如何，都需要更新Image。是否需要更新modules，取决于Jetpack版本。

====BSP包介绍：====

Line 148: Line 153:

=====XAVIER NX Devkit=====

<code>tegra194-p3668-all-p3509-0000.dtb</code>

+

特别的，对于Jetpack5.x：

+

* Jetson Xavier NX (P3668-0000) For developer kit only:

+

<code>tegra194-p3668-0000-p3509-0000.dtb</code>

+

* Jetson Xavier NX (P3668-0001) Commercial module:

+

<code>tegra194-p3668-0001-p3509-0000.dtb</code>

=====AGX Orin =====

<code>tegra234-p3701-0000-p3737-0000.dtb</code>

Line 178: Line 193:

L4T32.7.2版本的Image和dts与L4T32.7.1版本完全一致，所以直接使用L4T32.7.1相关目录下内容即可。

−

~~====== L4T32.7.2在xavier系列上的bug ======~~

+

此外，升级需要更新cboot，请参考常见问题章节。

−

~~对于Xavier系列，L4T32.7.2的cboot存在一个bug，必须要先解决掉才可以升级。~~

−

~~[https://elinux.org/Jetson/L4T/r32.7.x_patches <nowiki>[Cboot] Cboot in 32.7.2 fails to read extlinux.conf</nowiki>]~~

−

~~我们编译了正确版本的cboot并放在[https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/cboot_l4t_32.7.2 这里]。~~

−

~~下载后，放到Linux_for_Tegra/bootloader目录下，并在PC端执行如下命令以烧写cboot。~~

−

* AGX Xavier

−

~~<code>sudo ./flash.sh -r -k cpu-bootloader jetson-xavier mmcblk0p1</code>~~

−

* Xavier NX

−

~~<code>sudo ./flash.sh -r -k cpu-bootloader jetson-xavier-nx-devkit mmcblk0p1</code>~~

=====下载bsp包到Jetson板子=====

在Jetson 板子上面，执行：

−

<code>wget <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/download/nvidia_jetson_veye_bsp.~~tgz~~</nowiki></code>

+

<code>wget <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/download/nvidia_jetson_veye_bsp.tar.gz</nowiki></code>

−

或者在浏览器地址栏中输入<code><nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/~~download/nvidia_jetson_veye_bsp.tgz~~</nowiki></code>

+

或者在浏览器地址栏中输入<code><nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/</nowiki></code>

下载发布版本。

−

<code>tar -xzvf nvidia_jetson_veye_bsp.~~tgz~~</code>

+

<code>tar -xzvf nvidia_jetson_veye_bsp.tar.gz</code>

−

=====升级Image（适用于Jetpack4.x）=====

+

=====升级Image（适用于Jetpack4.x以及MV系列摄像头的应用）=====

备份原来的Image

Line 233: Line 233:

<code>sudo cp nvidia_jetson_veye_bsp/ko/$(uname -r)/* /lib/modules/$(uname -r)/kernel/drivers/media/i2c/ -f</code>

+

====== 一般情况 ======

+

执行如下命令，将modules注册到系统：

<code>sudo depmod</code>

+

====== 特别的 ======

+

如果使用fpdlink接口的摄像机模组。必须手动控制加载顺序，保证ds90ub954.ko的加载早于摄像头驱动的加载。

+

系统启动后，手动按照顺序插入驱动，如：

+

<code>sudo insmod ds90ub954.ko</code>

+

<code>sudo insmod cs_imx307.ko</code>

+

可将驱动加载的命令添加到启动脚本中。

=====升级dtb=====

Line 247: Line 261:

备份extlinux.conf文件。

−

<code>cp /boot/extlinux/extlinux.conf / boot/extlinux/extlinux.conf .back</code>

+

<code>cp /boot/extlinux/extlinux.conf /boot/extlinux/extlinux.conf.back</code>

然后，编辑 /boot/extlinux/extlinux.conf文件，在最下面增加如下一行。

Line 258: Line 272:

====通过HOST PC烧写Jetson主板进行升级的方法====

−

~~本节提供第二种升级系统的方法。这个方法与上一节的方法的目标相同，二选一即可。~~

+

本节提供第二种升级系统的方法。这个方法与上一节的方法的目标相同，二选一即可。本方法比较复杂，对于Nano，Xavier，Orin不建议使用。

特别的，对于TX2系统，只能采取本节的方法升级。

Line 309: Line 323:

−

<code>wget <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/download/nvidia_jetson_veye_bsp.~~tgz~~</nowiki></code>

+

<code>wget <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/download/nvidia_jetson_veye_bsp.tar.gz</nowiki></code>

−

<code>tar -xzvf nvidia_jetson_veye_bsp.~~tgz~~</code>

+

<code>tar -xzvf nvidia_jetson_veye_bsp.tar.gz</code>

<code>export RELEASE_PACK_DIR=$L4T_DIR/nvidia_jetson_veye_bsp</code>

Line 386: Line 400:

====Image和DTB更新成功了吗？====

完成Image和DTB的更新后，可以使用以下步骤检查操作是否成功。

−

~~=====对于Image=====~~

−

~~<code>ls /sys/bus/i2c/drivers/</code>~~

−

~~应当有 veye327 veyecam csx307 cssc132 目录的存在~~

=====对于DTB=====

Line 424: Line 433:

应当可以发现摄像头型号。

+

=====对于Image=====

+

<code>ls /sys/bus/i2c/drivers/</code>

+

正确安装摄像头时，摄像头的相关目录应当存在，如 veyecam csx307 cssc132 mvcam等。

==== 防止被升级所覆盖 ====

Line 432: Line 446:

====使用源码进行编译====

−

请参考：[[VEYE CS Camera source for Jetson/zh|~~英伟达Jetson平台上VEYE和CS系列摄像头驱动源码编译指南~~]]

+

请参考：[[VEYE CS Camera source for Jetson/zh|英伟达Jetson平台上VEYE摄像头驱动源码编译指南]]

kernel和DTS编译完成后，可以按照上面的步骤升级Image和DTB。

Line 508: Line 522:

举例说，如果只接入一个摄像头，无论硬件连接到哪个位置，X都为0。如果接入5个，则按照i2c bus从小到大，X为[0-4]。

−

~~gstreamer中，v4l2src可以通过指明device~~=/dev/videoX来访问不同的摄像头。

+

gstreamer中，v4l2src和nvv4l2camerasrc可以通过指明device=/dev/videoX来访问不同的摄像头。

=====Gstreamer Usage=====

Line 514: Line 528:

*视频预览1080p HD

−

<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! ~~nvoverlaysink~~ sync=false</code>

+

<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>

−

<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! ~~nvoverlaysink~~ sync=false</code>

+

<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nv3dsink sync=false</code>

−

* 视频预览1080p HD(using xvimagesink sink)

+

* 视频预览1080p HD(using xvimagesink sink if supported)

<code>export DISPLAY=:0</code>

Line 526: Line 540:

*视频预览720p@60 HD(模组支持此分辨率时)

−

<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! ~~nvoverlaysink~~ sync=false</code>

+

<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>

*视频预览1280*1080@45fpsHD

−

<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)1080, framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! ~~nvoverlaysink~~ sync=false</code>

+

<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)1080, framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>

*视频预览640*480@130fps(模组支持此分辨率时)

−

<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! ~~nvoverlaysink~~ sync=false</code>

+

<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>

*并列预览两路视频 1080p HD

Line 544: Line 558:

<code>CAPS="video/x-raw(memory:NVMM),format=(string)UYVY, width=1920, height=1080"</code>

−

<code>gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! ~~nvoverlaysink~~ nvv4l2camerasrc device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. nvv4l2camerasrc device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.</code>

+

<code>gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nv3dsink nvv4l2camerasrc device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. nvv4l2camerasrc device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.</code>

* Gstreamer 嵌入到 OpenCV

Line 562: Line 576:

*抓拍图片

−

<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.~~jpg~~</code>

+

<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jp</code>

===== VEYE-MIPI-IMX335 的gstreamer例子 =====

由于VEYE-MIPI-IMX335仅支持几种特定的分辨率模式，其驱动我们采用了use_sensor_mode_id模式。

{| class="wikitable"

−

|+VEYE-MIPI-IMX335 mode

+

|+VEYE-MIPI-IMX335 mode

!./veye5_mipi_i2c.sh video mode

!v4l2-ctl sensor_mode

Line 599: Line 613:

<code>v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=0</code>

−

<code>./veye5_mipi_i2c.sh -w -f videomode -p1 1</code>

+

<code>./veye5_mipi_i2c.sh -w -f videomode -p1 1 -b [busnum]</code>

<code>v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5376</code>

Line 605: Line 619:

预览

−

<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM), width=(int)2592, height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! ~~nvoverlaysink~~ sync=false</code>

+

<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM), width=(int)2592, height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>

帧率统计

Line 615: Line 629:

<code>v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=3</code>

−

<code>./veye5_mipi_i2c.sh -w -f videomode -p1 4</code>

+

<code>./veye5_mipi_i2c.sh -w -f videomode -p1 4 -b [busnum]</code>

<code>v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5120</code>

Line 631: Line 645:

<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg</code>

−

===== ~~Jetpack5~~.~~x上gstreamer的例子~~ =====

+

===== Jetson multimedia-api samples =====

−

~~在Jetpack5~~.~~x上：~~

+

Jetson平台上提供了[https://docs.nvidia.com/jetson/l4t-multimedia/index.html Jetson Linux API] 供开发者使用。具体jetson_multimedia_api包的安装请参考nVidia官方文档。

+

对于VEYE和CS系列相机，已经在相机内集成了ISP功能，因此不能使用libargus获取数据，而可以直接使用使用标准V4L2接口从/dev/videoX设备文件获取数据。

+

下面两个sample可以直接运行：

+

====== 12_camera_v4l2_cuda ======

+

<code>./camera_v4l2_cuda -d /dev/video0 -s 1920x1080 -f UYVY</code>

+

====== v4l2cuda ======

+

<code>./capture-cuda -d /dev/video0 -f UYVY -m -o out.ppm -s 1920x1080 -c 1</code>

+

===== v4l2-ctl 应用范例 =====

+

======安装v4l2-utils======

+

<code>sudo apt-get install v4l-utils</code>

+

======使用v4l2-ctl配置参数 ======

+

* 列出相机支持的数据格式

+

<code>v4l2-ctl --list-formats-ext</code>

−

~~# nvoverlaysink已经去掉，可以使用nv3dsink替代。~~

+

* 帧率统计

−

~~# nvv4l2camerasrc还不够成熟，暂时使用v4l2src。~~

−

*~~视频预览1080p HD~~

+

<code>v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY--stream-mmap --stream-count=-1 --stream-to=/dev/null</code>

+

* 保存图片到文件

−

<code>~~gst~~-~~launch~~-~~1.0 v4l2src device=/dev/video0 ! "~~video~~/x-raw,format~~=~~(string)UYVY,~~width=~~(int)~~1920, height=~~(int)~~1080~~" ! nvvidconv ! "video/x~~-~~raw(memory:NVMM),format~~=~~(string)NV12" ! nv3dsink~~ -e</code>

+

<code>v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY --stream-mmap --stream-count=1 --stream-to=uyvy-1920x1080.yuv</code>

−

* 视频录像1080p HD

+

===== yavta =====

−

~~<code>gst-launch-1.0 v4l2src num-buffers~~=~~300 ! "video/x-raw,format~~=~~(string)UYVY, width~~=~~(int)1920, height~~=~~(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format~~=~~(string)NV12" ! nvv4l2h264enc control-rate~~=~~1 bitrate~~=~~10000000 ! h264parse ! qtmux ! filesink location~~=~~filename~~.~~mp4 -e~~</code>

+

======安装yavta======

+

<code>git clone <nowiki>https://github.com/veyeimaging/yavta.git</nowiki></code>

−

*抓拍图片

+

<code>cd yavta;make</code>

−

<code>~~gst~~-~~launch~~-1.0 ~~v4l2src num~~-~~buffers~~=~~1 ! "video/x-raw,format~~=~~(string)UYVY, width~~=~~(int)1920, height~~=~~(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format~~=~~(string)I420" ! nvjpegenc ! filesink location~~=~~jpgname.jpg</code>~~

+

====== 保存图片到文件 ======

+

<code>./yavta -c1 -FUYVY-1920x1080.yuv --skip 0 -f UYVY -s 1920x1080 /dev/video0</code>

+

=====Opencv=====

+

为了将摄像头数据从v4l2设备导入到opencv，我们提供了几个sample。

−

====~~视频控制软件包的使用~~====

+

We provide some samples [https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/samples/opencv here].

+

====使用i2c脚本修改摄像机参数====

*VEYE-MIPI-CAM2M系列（VEYE-MIPI-327、VEYE-MIPI-IMX327S、VEYE-MIPI-IMX462、VEYE-MIPI-IMX385）

Line 663: Line 703:

具体使用说明请见：[[5m mipi i2c user guide/zh|VEYE-MIPI-IMX335 I2C脚本使用说明]]。

===怎样移植驱动到第三方底板===

+

源码编译步骤请参考：[[VEYE CS Camera source for Jetson/zh|英伟达Jetson平台上VEYE和CS系列摄像头驱动源码编译指南]]

==== 驱动移植 ====

+

对于Image，我们是在官方标准Image基础上增加了功能，并没有做任何删减。一般情况下，可以直接使用我们编译好的Image。特殊情况请参考源码进行整合。

+

对于modules则更简单，直接使用即可。从源码编译和非常简单，此处不做赘述。

==== dts移植 ====

+

我们只提供了Nano、TX2、Xavier、Orin的部分板子的dtb，对于没有提供的类型，需要：

+

1. 得到该板子的dts源码。

+

2. 我们camera相关的dts到整体中。

+

3. 重新编译得到对应板子的dtb。

+

操作步骤并不复杂，但是有一些第三方底板厂家并不开放dts源码。这就需要各方的配合才能做到了。

+

=== 常见问题和bug列表 ===

+

==== VEYE cameras on Jetpack5.x ====

+

Jetpack5.x在xavier和orin平台对mipi信号的要求更加严格。VEYE-MIPI-xxx系列相机需要固件版本hdver>=7才可以完美支持。

+

==== Jetpack5.0.1 DP ====

+

本版本有很多bug，如不支持nvv4l2camerasrc,不建议使用。

+

==== nv3dsink ====

+

Jetpack5.x不再支持nvoverlaysink，使用nv3dsink替代之。

+

==== L4T32.7.2在xavier系列上的bug ====

+

对于Xavier系列，L4T32.7.2的cboot存在一个bug，必须要先解决掉才可以升级。

+

[https://elinux.org/Jetson/L4T/r32.7.x_patches <nowiki>[Cboot] Cboot in 32.7.2 fails to read extlinux.conf</nowiki>]

+

我们编译了正确版本的cboot并放在[https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/cboot_l4t_32.7.2 这里]。

+

下载后，放到Linux_for_Tegra/bootloader目录下，进入recovery模式后，在PC端执行如下命令以烧写cboot。

+

* AGX Xavier

+

<code>sudo ./flash.sh -r -k cpu-bootloader jetson-xavier mmcblk0p1</code>

+

* Xavier NX

+

<code>sudo ./flash.sh -r -k cpu-bootloader jetson-xavier-nx-devkit mmcblk0p1</code>

=== 文档历史 ===

+

*20220831

+

完善Jetpack5.0.2下关于VEYE系列和 MV系列的说明。

+

* 20220824

+

支持Jetpack5.0.2。

+

* 20220720

+

增加Jetson multimedia-api和v4l2-ctl描述。

* 20220714

Admin

Bureaucrats, Administrators

1,602

edits

Changes

VEYE CS Camera for Jetson TX2/zh (view source)

Revision as of 14:48, 25 September 2022

Navigation menu

Search