1,602
edits
Changes
Jump to navigation
Jump to search
VEYE CS Camera for Jetson TX2/zh (view source)
Revision as of 15:08, 31 August 2022
, 15:08, 31 August 2022→英伟达TX2 Developer Kit
Line 81:
Line 81:
====== L4T32.7.2在xavier系列上的bug ======+对于Xavier系列，L4T32.7.2的cboot存在一个bug，必须要先解决掉才可以升级。
−
−[https://elinux.org/Jetson/L4T/r32.7.x_patches <nowiki>[Cboot] Cboot in 32.7.2 fails to read extlinux.conf</nowiki>]
−
−我们编译了正确版本的cboot并放在[https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/cboot_l4t_32.7.2 这里]。
−
−下载后，放到Linux_for_Tegra/bootloader目录下，进入recovery模式后，在PC端执行如下命令以烧写cboot。
−
−* AGX Xavier
−
−<code>sudo ./flash.sh -r -k cpu-bootloader jetson-xavier mmcblk0p1</code>
−
−* Xavier NX
−
−<code>sudo ./flash.sh -r -k cpu-bootloader jetson-xavier-nx-devkit mmcblk0p1</code>
=====对于Image=====
−<code>ls /sys/bus/i2c/drivers/</code>
−应当有 veye327 veyecam csx307 cssc132 目录的存在
−===== Gstreamer Usage (Jetpack5.x) =====
−
−# nvoverlaysink已经去掉，使用nv3dsink替代即可。
−# Jetpack5.0.1 DP版本存在很多bug，不建议使用。
[[File:TX2 Devkit 6cam.jpg|center|thumb|800x800px|'''TX2 Devkit 6 cameras connection''']]
[[File:TX2 Devkit 6cam.jpg|center|thumb|800x800px|'''TX2 Devkit 6 cameras connection''']]
−<br />'''注意，使用中请务必用螺丝将ADP转接板固定到底板上面。'''
+<br />'''注意，使用中请务必用螺丝将ADP转接板固定到底板上面,以保证转接板安装平正。'''
====英伟达AGX Xavier(AGX Orin与此相同)====
====英伟达AGX Xavier(AGX Orin与此相同)====
转接板是兼容TX2转接板的，连接方式如图：
转接板是兼容TX2转接板的，连接方式如图：
[[File:ADP-N1-V2.0 XAVIER 6CAM.jpg|alt=Connect VEYE cameras to AGX Xavier|center|thumb|800x800px|Connect VEYE cameras to AGX Xavier]]
[[File:ADP-N1-V2.0 XAVIER 6CAM.jpg|alt=Connect VEYE cameras to AGX Xavier|center|thumb|800x800px|Connect VEYE cameras to AGX Xavier]]
−<br />'''注意，使用中请务必用螺丝将ADP转接板固定到底板上面。'''
+<br />'''注意，使用中请务必用螺丝将ADP转接板固定到底板上面,以保证转接板安装平正。'''
====英伟达Nano 、 Xavier NX Devkit和TX2 NX====
====英伟达Nano 、 Xavier NX Devkit和TX2 NX====
Xavier NX 的接口是兼容树莓派和Jetson Nano的。 连接方式如图：
Xavier NX 的接口是兼容树莓派和Jetson Nano的。 连接方式如图：
Line 110:
Line 110:
dtb也可以以overlay形式动态加载，详情参考nVidia官方的NVIDIA® Jetson™ Linux开发者指南。
dtb也可以以overlay形式动态加载，详情参考nVidia官方的NVIDIA® Jetson™ Linux开发者指南。
+
+* MV系列模组
+
+MV系列模组，为了支持扩展数据类型和外触发模式，我们在Image中增加了相关功能。因此无论Jetpack版本如何，都需要更新Image。是否需要更新modules，取决于Jetpack版本。
====BSP包介绍：====
====BSP包介绍：====
Line 189:
Line 193:
L4T32.7.2版本的Image和dts与L4T32.7.1版本完全一致，所以直接使用L4T32.7.1相关目录下内容即可。
L4T32.7.2版本的Image和dts与L4T32.7.1版本完全一致，所以直接使用L4T32.7.1相关目录下内容即可。
−此外，升级需要更新cboot，请参考常见问题章节。
−=====下载bsp包到Jetson板子=====
=====下载bsp包到Jetson板子=====
Line 217:
Line 206:
<code>tar -xzvf nvidia_jetson_veye_bsp.tar.gz</code>
<code>tar -xzvf nvidia_jetson_veye_bsp.tar.gz</code>
−=====升级Image（适用于Jetpack4.x）=====
+=====升级Image（适用于Jetpack4.x以及MV系列摄像头的应用）=====
备份原来的Image
备份原来的Image
Line 397:
Line 386:
====Image和DTB更新成功了吗？====
====Image和DTB更新成功了吗？====
完成Image和DTB的更新后，可以使用以下步骤检查操作是否成功。
完成Image和DTB的更新后，可以使用以下步骤检查操作是否成功。
−=====对于DTB=====
=====对于DTB=====
Line 435:
Line 419:
应当可以发现摄像头型号。
应当可以发现摄像头型号。
+
+=====对于Image=====
+<code>ls /sys/bus/i2c/drivers/</code>
+
+正确安装摄像头时，摄像头的相关目录应当存在，如 veyecam csx307 cssc132 mvcam等。
==== 防止被升级所覆盖 ====
==== 防止被升级所覆盖 ====
Line 521:
Line 510:
gstreamer中，v4l2src和nvv4l2camerasrc可以通过指明device=/dev/videoX来访问不同的摄像头。
gstreamer中，v4l2src和nvv4l2camerasrc可以通过指明device=/dev/videoX来访问不同的摄像头。
−=====Gstreamer Usage (Jetpack4.x)=====
+=====Gstreamer Usage=====
*视频预览1080p HD
*视频预览1080p HD
−<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
+<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>
−<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nvoverlaysink sync=false</code>
+<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nv3dsink sync=false</code>
−* 视频预览1080p HD(using xvimagesink sink)
+* 视频预览1080p HD(using xvimagesink sink if supported)
<code>export DISPLAY=:0</code>
<code>export DISPLAY=:0</code>
Line 537:
Line 526:
*视频预览720p@60 HD(模组支持此分辨率时)
*视频预览720p@60 HD(模组支持此分辨率时)
−<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
+<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>
*视频预览1280*1080@45fpsHD
*视频预览1280*1080@45fpsHD
−<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)1080, framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
+<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)1080, framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>
*视频预览640*480@130fps(模组支持此分辨率时)
*视频预览640*480@130fps(模组支持此分辨率时)
−<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
+<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>
*并列预览两路视频 1080p HD
*并列预览两路视频 1080p HD
Line 555:
Line 544:
<code>CAPS="video/x-raw(memory:NVMM),format=(string)UYVY, width=1920, height=1080"</code>
<code>CAPS="video/x-raw(memory:NVMM),format=(string)UYVY, width=1920, height=1080"</code>
−<code>gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nvoverlaysink nvv4l2camerasrc device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. nvv4l2camerasrc device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.</code>
+<code>gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nv3dsink nvv4l2camerasrc device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. nvv4l2camerasrc device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.</code>
* Gstreamer 嵌入到 OpenCV
* Gstreamer 嵌入到 OpenCV
Line 573:
Line 562:
*抓拍图片
*抓拍图片
−<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg</code>
+<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jp</code>
−===== VEYE-MIPI-IMX335 的gstreamer例子 =====
===== VEYE-MIPI-IMX335 的gstreamer例子 =====
由于VEYE-MIPI-IMX335仅支持几种特定的分辨率模式，其驱动我们采用了use_sensor_mode_id模式。
由于VEYE-MIPI-IMX335仅支持几种特定的分辨率模式，其驱动我们采用了use_sensor_mode_id模式。
{| class="wikitable"
{| class="wikitable"
−|+VEYE-MIPI-IMX335 mode
+|+VEYE-MIPI-IMX335 mode
!./veye5_mipi_i2c.sh video mode
!./veye5_mipi_i2c.sh video mode
!v4l2-ctl sensor_mode
!v4l2-ctl sensor_mode
Line 621:
Line 605:
预览
预览
−<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM), width=(int)2592, height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
+<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM), width=(int)2592, height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>
帧率统计
帧率统计
Line 691:
Line 675:
We provide some samples [https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/samples/opencv here].
We provide some samples [https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/samples/opencv here].
−====视频控制软件包的使用====
+====使用i2c脚本修改摄像机参数====
*VEYE-MIPI-CAM2M系列（VEYE-MIPI-327、VEYE-MIPI-IMX327S、VEYE-MIPI-IMX462、VEYE-MIPI-IMX385）
*VEYE-MIPI-CAM2M系列（VEYE-MIPI-327、VEYE-MIPI-IMX327S、VEYE-MIPI-IMX462、VEYE-MIPI-IMX385）
Line 712:
Line 696:
=== 常见问题和bug列表 ===
=== 常见问题和bug列表 ===
+==== Jetpack5.0.1 DP ====
+本版本有很多bug，如不支持nvv4l2camerasrc,不建议使用。
+
+==== nv3dsink ====
+Jetpack5.x不再支持nvoverlaysink，使用nv3dsink替代之。
+
+==== L4T32.7.2在xavier系列上的bug ====
+对于Xavier系列，L4T32.7.2的cboot存在一个bug，必须要先解决掉才可以升级。
+
+[https://elinux.org/Jetson/L4T/r32.7.x_patches <nowiki>[Cboot] Cboot in 32.7.2 fails to read extlinux.conf</nowiki>]
+
+我们编译了正确版本的cboot并放在[https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/cboot_l4t_32.7.2 这里]。
+
+下载后，放到Linux_for_Tegra/bootloader目录下，进入recovery模式后，在PC端执行如下命令以烧写cboot。
+
+* AGX Xavier
+
+<code>sudo ./flash.sh -r -k cpu-bootloader jetson-xavier mmcblk0p1</code>
+
+* Xavier NX
+
+<code>sudo ./flash.sh -r -k cpu-bootloader jetson-xavier-nx-devkit mmcblk0p1</code>
+
+<br />
=== 文档历史 ===
=== 文档历史 ===