Difference between revisions of "VEYE CS Camera for Jetson TX2/zh"

From wiki_veye
Jump to navigation Jump to search
(78 intermediate revisions by 2 users not shown)
Line 1: Line 1:
 
[[VEYE CS Camera for Jetson TX2|English]]
 
[[VEYE CS Camera for Jetson TX2|English]]
  
−
'''<big>如何在英伟达Jetsno Nano,TX2,AGX Xavier和Xavier NX平台使用VEYE系列和CS系列摄像头模组</big>'''
+
'''<big>如何在英伟达Jetsno Nano,TX2,Xavier和Orin平台使用VEYE系列和CS系列摄像头模组</big>'''
  
 
===概述===
 
===概述===
Line 12: Line 12:
 
*Jetpack4.5,L4T版本r32.5
 
*Jetpack4.5,L4T版本r32.5
 
*Jetpack4.5.1,L4T版本r32.5.1
 
*Jetpack4.5.1,L4T版本r32.5.1
 +
*Jetpack4.6,L4T版本r32.6.1
 +
*Jetpack4.6.1,L4T版本r32.7.1
 +
*Jetpack4.6.2,L4T版本r32.7.2
 +
*Jetpack5.0.1DP,L4T版本r34.1.1
 +
*Jetpack5.0.2,L4T版本r35.1
  
 
我们提供了编译好的固件和源代码两种方式来方便用户的使用。
 
我们提供了编译好的固件和源代码两种方式来方便用户的使用。
  
−
VEYE-MIPI-327/CS-MIPI-IMX307是内置ISP的摄像头模组，输出为MIPI-CSI2接口UYVY流模式。对于图像效果参数，我们并没有采用V4L2接口实现，而是采用了DRA(Directly Register Access)模式，我们提供了一组Shell脚本直接控制摄像头模组。
+
VEYE系列和CS系列摄像头是内置ISP的摄像头模组，输出为MIPI-CSI2接口UYVY流模式。对于图像效果参数，我们并没有采用V4L2接口实现，而是采用了DRA(Directly Register Access)模式，我们提供了一组Shell脚本直接控制摄像头模组。
−
 
+
====支持的模组：====
 +
{| class="wikitable"
 +
|+模组型号支持表
 +
!系列
 +
!型号
 +
!状态
 +
|-
 +
|VEYE系列
 +
|VEYE-MIPI-IMX327S
 +
|完成
 +
|-
 +
|VEYE系列
 +
|VEYE-MIPI-IMX385
 +
|完成
 +
|-
 +
|VEYE系列
 +
|VEYE-MIPI-IMX462
 +
|完成
 +
|-
 +
|VEYE系列
 +
|VEYE-MIPI-IMX335
 +
|完成
 +
|-
 +
|CS系列
 +
|CS-MIPI-IMX307
 +
|完成
 +
|-
 +
|CS系列
 +
|CS-MIPI-SC132
 +
|完成
 +
|-
 +
|套装系列
 +
|CS-TX2-XAVIER-'''''n'''''CAM
 +
|完成
 +
|}VEYE系列和CS系列MIPI摄像头模组是内置ISP的，输出为MIPI-CSI2接口。
 
====怎样查看当前L4T版本====
 
====怎样查看当前L4T版本====
 
在jetson板子上，查看当前L4T版本，尽量使用同一版本进行替换。
 
在jetson板子上，查看当前L4T版本，尽量使用同一版本进行替换。
Line 29: Line 68:
  
 
===硬件准备及安装===
 
===硬件准备及安装===
−
我们设计了专用的转接板，支持6路摄像头，兼容TX2 Devkit和Xavier。
+
我们设计了专用的转接板，支持6路摄像头，兼容TX2 Devkit，Xavier和Orin。
−
[[File:ADP-N1-6CAM YT0.95-4I.jpg|center|thumb|800x800px|6cam interposer board connected with 6 cameras]]
+
{| class="wikitable"
−
 
+
!ADP-N1连接图
−
 
+
!ADP-N1 V2.0连接图
 +
|-
 +
|[[File:ADP-N1-6CAM YT0.95-4I.jpg|center|thumb|600x600px|6cam interposer board connected with 6 cameras|alt=]]
 +
|[[File:ADP-N1-V2.0 6CAM-VEYE-MIPI-327.jpg|alt=|center|thumb|600x600px|6cam interposer board connected with 6 cameras]]
 +
|}
 +
'''<big><big>特别的，VEYE-MIPI-IMX335由于功耗较高，必须使用12V DC端子提供辅助供电。参考[[ADP-N1-V2.0 Adapter Board Data Sheet#Adapter Board Pinlist.EF.BC.88.E6.8E.A5.E5.8F.A3.E5.92.8C.E5.BC.95.E8.84.9A.E8.AF.B4.E6.98.8E.EF.BC.89|ADP-N1的J11]]。</big></big>'''
 
====英伟达TX2 Developer Kit====
 
====英伟达TX2 Developer Kit====
  
  
 
[[File:TX2 Devkit 6cam.jpg|center|thumb|800x800px|'''TX2 Devkit 6 cameras connection''']]
 
[[File:TX2 Devkit 6cam.jpg|center|thumb|800x800px|'''TX2 Devkit 6 cameras connection''']]
−
<br />'''注意，使用中请务必用螺丝将ADP转接板固定到底板上面。'''
+
<br />'''注意，使用中请务必用螺丝将ADP转接板固定到底板上面,以保证转接板安装平正。'''
  
−
====英伟达AGX Xavier====
+
====英伟达AGX Xavier(AGX Orin与此相同)====
 
转接板是兼容TX2转接板的，连接方式如图：
 
转接板是兼容TX2转接板的，连接方式如图：
 
[[File:ADP-N1-V2.0 XAVIER 6CAM.jpg|alt=Connect VEYE cameras to AGX Xavier|center|thumb|800x800px|Connect VEYE cameras to AGX Xavier]]
 
[[File:ADP-N1-V2.0 XAVIER 6CAM.jpg|alt=Connect VEYE cameras to AGX Xavier|center|thumb|800x800px|Connect VEYE cameras to AGX Xavier]]
−
<br />'''注意，使用中请务必用螺丝将ADP转接板固定到底板上面。'''
+
<br />'''注意，使用中请务必用螺丝将ADP转接板固定到底板上面,以保证转接板安装平正。'''
 
====英伟达Nano 、 Xavier NX Devkit和TX2 NX====
 
====英伟达Nano 、 Xavier NX Devkit和TX2 NX====
 
Xavier NX 的接口是兼容树莓派和Jetson Nano的。 连接方式如图：
 
Xavier NX 的接口是兼容树莓派和Jetson Nano的。 连接方式如图：
Line 49: Line 93:
 
[[File:Jetson nano to Veye327.jpg|alt=Jetson Nano A02 与VEYE模组连接|center|thumb|800x800px|Jetson Nano A02 与VEYE模组连接]]
 
[[File:Jetson nano to Veye327.jpg|alt=Jetson Nano A02 与VEYE模组连接|center|thumb|800x800px|Jetson Nano A02 与VEYE模组连接]]
 
<br />
 
<br />
−
===更新Jetson Nano, Jetson TX2，TX2 NX, AGX Xavier和Xavier NX系统===
+
 
 +
===更新Jetson Nano，TX2，Xavier和Orin系统===
  
 
====概述====
 
====概述====
−
本章节描述怎样更新Jetson系统以支持我们的摄像头模组。要支持我们的摄像头模组，需要更新Jetson系统的L4T(Linux for Tegra)的两个部分，Image和DTB。
+
本章节描述怎样更新Jetson系统以支持我们的摄像头模组。
−
 
 
−
Image部分，我们增加了摄像头驱动，DTB部分则指明了使用的摄像头型号。一般情况下，只需使用我们已编译好的Image和DTB，非必要情况下，无需根据代码进行编译。
 
−
 
 
−
<s>特别的，对于Jetson Nano 和 Xavier NX,我们提供了TF卡的烧写镜像。</s>
 
  
−
====<s>整体烧写Jetson Nano 和 Xavier NX Devkit</s>====
+
* Jetpack4.x版本
−
'''''<s>此方法不再推荐，因为这种模式下，在某些情况下，DTB分区会恢复成默认值。推荐采用使用预编译好Image和DTB这种方式来进行驱动升级。</s>'''''
 
  
−
<s>客户可选择直接使用我们编译好的镜像进行系统更新，以支持我司摄像头模组。</s>
+
要支持我们的摄像头模组，需要更新Jetson系统的L4T(Linux for Tegra)的两个部分，Image和dtb。
  
−
*<s>镜像下载路径：</s>
+
Image部分，我们增加了摄像头驱动，dtb部分则指明了使用的摄像头型号。一般情况下，只需使用我们已编译好的Image和dtb，非必要情况下，无需根据代码进行编译。
  
−
<s>baiduyun链接：https://pan.baidu.com/s/1sWrcfEOivjuQ7T7P5bVcng</s>
+
* Jetpack5.0以后的版本
  
−
<s>google driver:https://drive.google.com/drive/folders/1KHSMTdyw-ZczR1yJPj-5y9eIv7izbgt3?usp=sharing</s>
+
驱动不再编译进Image，而是以独立module的形式加载到系统中。dtb我们现在依然是采用整体编译到一起的方式以方便进行替换。
  
−
<s>下载后请先解压后烧写。</s>
+
dtb也可以以overlay形式动态加载，详情参考nVidia官方的NVIDIA® Jetson™ Linux开发者指南。
  
−
<s>如百度云盘下载过慢，可以单独联系我公司客服xumm@csoneplus.com索取。</s>
+
* MV系列模组
  
−
*<s>烧写方法</s><code><nowiki/></code>
+
MV系列模组，为了支持扩展数据类型和外触发模式，我们在Image中增加了相关功能。因此无论Jetpack版本如何，都需要更新Image。是否需要更新modules，取决于Jetpack版本。
−
 
 
−
<s>参考[https://developer.nvidia.com/embedded/learn/get-started-jetson-xavier-nx-devkit#write 官方链接]</s>
 
  
 
====BSP包介绍：====
 
====BSP包介绍：====
  
 
=====路径=====
 
=====路径=====
−
[https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/kernel_image https://github.com/veyeimaging/nvidia_jetson_veye_bsp]
+
https://github.com/veyeimaging/nvidia_jetson_veye_bsp
  
 
=====bsp包包括以下主要内容：=====
 
=====bsp包包括以下主要内容：=====
  
−
*预编译好的linux kernel：Image
 
 
*预编译好的不同平台下的dtb
 
*预编译好的不同平台下的dtb
 
*driver源码
 
*driver源码
 
*dts源码
 
*dts源码
 
*i2c通信工具集
 
*i2c通信工具集
 +
 +
在项目release包中还包括:
 +
 +
* 预编译好的linux kernel：Image
 +
* 预编译好的摄像机驱动
  
 
==== DTB文件名称与板卡对应关系 ====
 
==== DTB文件名称与板卡对应关系 ====
Line 111: Line 153:
 
=====XAVIER NX Devkit=====
 
=====XAVIER NX Devkit=====
 
<code>tegra194-p3668-all-p3509-0000.dtb</code>
 
<code>tegra194-p3668-all-p3509-0000.dtb</code>
−
====Jetson Nano和Xavier NX、AGX Xavier无需HOST PC升级方法====
+
 
 +
特别的，对于Jetpack5.x：
 +
 
 +
* Jetson Xavier NX (P3668-0000) For developer kit only:
 +
 
 +
<code>tegra194-p3668-0000-p3509-0000.dtb</code>
 +
 
 +
* Jetson Xavier NX (P3668-0001) Commercial module:
 +
 
 +
<code>tegra194-p3668-0001-p3509-0000.dtb</code>
 +
=====AGX Orin =====
 +
<code>tegra234-p3701-0000-p3737-0000.dtb</code>
 +
==== DTB文件名称与摄像头对应关系 ====
 +
每个主板的dtb目录下，存放了对应摄像头型号的目录，一般可以直接通过目录名称知道对应的摄像头型号。
 +
 
 +
特别的：
 +
 
 +
1、VEYE-MIPI-CAM2M 是新版本的VEYE系列dtb，支持所有VEYE 200W系列产品，包括VEYE-MIPI-327E、VEYE-MIPI-IMX327S、VEYE-MIPI-IMX462、VEYE-MIPI-IMX385。
 +
 
 +
2、以fpdlink为后缀的，对应fpdlink同轴型号模组。
 +
 
 +
====Jetson板上直接升级的方法====
 +
适用型号：Jetson Nano、Xavier和Orin。
 +
 
 
注：AGX Xavier在Jetpack4.4以后的版本，建议可以使用此方法。以前版本我们未作验证，不建议使用。
 
注：AGX Xavier在Jetpack4.4以后的版本，建议可以使用此方法。以前版本我们未作验证，不建议使用。
  
Line 124: Line 189:
  
 
则表示当前L4T版本为32.4.3。
 
则表示当前L4T版本为32.4.3。
 +
 +
===== 关于L4T 32.7.2的说明 =====
 +
L4T32.7.2版本的Image和dts与L4T32.7.1版本完全一致，所以直接使用L4T32.7.1相关目录下内容即可。
 +
 +
此外，升级需要更新cboot，请参考常见问题章节。
  
 
=====下载bsp包到Jetson板子=====
 
=====下载bsp包到Jetson板子=====
−
在Jetson Nano或者Xavier NX上面，执行：
+
在Jetson 板子上面，执行：
  
−
<code>git clone <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp.git</nowiki></code>
+
<code>wget <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/download/nvidia_jetson_veye_bsp.tar.gz</nowiki></code>
  
−
=====升级Image=====
+
或者在浏览器地址栏中输入<code><nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/</nowiki></code>
−
首先在bsp包目录下，找到对应版本的Image压缩包，解压后执行：
+
 
 +
下载发布版本。
 +
 
 +
<code>tar -xzvf nvidia_jetson_veye_bsp.tar.gz</code>
 +
 
 +
=====升级Image（适用于Jetpack4.x以及MV系列摄像头的应用）=====
 +
备份原来的Image
 +
 
 +
<code>cp /boot/Image /boot/Image.backup</code>
 +
 
 +
<code>cp /boot/Image.sig /boot/Image.sig.backup</code>
 +
 
 +
在bsp包目录下，找到对应版本的Image压缩包，解压，然后执行：
  
 
<code>sudo cp <path to your Image dir>/Image /boot/Image -f</code>
 
<code>sudo cp <path to your Image dir>/Image /boot/Image -f</code>
  
−
特别的，对于xavier nx需要使用签名后的文件(比如Image_l4t_r32.*.*_veyecam_signed_4_xavier目录下)，把新的Image和Image.sig拷贝的XAVIER的/boot/目录下。
+
特别的，对于xavier需要使用签名后的文件(比如Image_l4t_r32.*.*_veyecam_signed_4_xavier目录下)，把新的Image和Image.sig拷贝的XAVIER的/boot/目录下。
  
 
<code>sudo cp <path to your Image dir>/Image /boot/Image -f</code>
 
<code>sudo cp <path to your Image dir>/Image /boot/Image -f</code>
Line 142: Line 224:
  
 
重启后生效。
 
重启后生效。
 +
 +
===== 安装modules（适用于Jetpack5.x） =====
 +
查看系统linux版本
 +
 +
<code>uname -r</code>
 +
 +
在<code>nvidia_jetson_veye_bsp/ko</code>目录下找到对应的驱动版本目录，
 +
 +
<code>sudo cp nvidia_jetson_veye_bsp/ko/$(uname -r)/* /lib/modules/$(uname -r)/kernel/drivers/media/i2c/ -f</code>
 +
 +
====== 一般情况 ======
 +
执行如下命令，将modules注册到系统：
 +
 +
<code>sudo depmod</code>
 +
 +
====== 特别的 ======
 +
如果使用fpdlink接口的摄像机模组。必须手动控制加载顺序，保证ds90ub954.ko的加载早于摄像头驱动的加载。
 +
 +
系统启动后，手动按照顺序插入驱动，如：
 +
 +
<code>sudo insmod ds90ub954.ko</code>
 +
 +
<code>sudo insmod cs_imx307.ko</code>
 +
 +
可将驱动加载的命令添加到启动脚本中。
  
 
=====升级dtb=====
 
=====升级dtb=====
 
在bsp包目录下，找到您对应的摄像头模组型号和L4T版本号的dtb文件。
 
在bsp包目录下，找到您对应的摄像头模组型号和L4T版本号的dtb文件。
  
−
<code>sudo cp <path to your dtb dir>/<DTB file name> /boot/ -f</code>
+
将新的dtb拷贝的系统目录
  
−
然后，编辑 /boot/extlinux/extlinux.conf文件，增加如下一行。
+
<code>sudo mkdir /boot/veyecam/</code>
  
−
<code>FDT /boot/<DTB file name></code>
+
<code>sudo cp <path to your dtb dir>/<DTB file name> /boot/veyecam -f</code>
 +
 
 +
备份extlinux.conf文件。
 +
 
 +
<code>cp /boot/extlinux/extlinux.conf  /boot/extlinux/extlinux.conf.back</code>
 +
 
 +
然后，编辑 /boot/extlinux/extlinux.conf文件，在最下面增加如下一行。
 +
 
 +
<code>FDT /boot/veyecam/<DTB file name></code>
 +
 
 +
注意：<DTB file name>应当替换为主板对应的dtb名称，确保FDT一行所指明的文件确实正确存在。
  
 
重启后生效。
 
重启后生效。
  
−
====通过HOST PC升级方法====
+
====通过HOST PC烧写Jetson主板进行升级的方法====
 +
本节提供第二种升级系统的方法。这个方法与上一节的方法的目标相同，二选一即可。本方法比较复杂，对于Nano，Xavier，Orin不建议使用。
 +
 
 +
特别的，对于TX2系统，只能采取本节的方法升级。
  
 
=====烧写标准版本镜像=====
 
=====烧写标准版本镜像=====
Line 180: Line 300:
  
 
- Nano
 
- Nano
−
 
−
<code><s>sudo ./flash.sh jetson-qspi-sd mmcblk0p1</s></code>
 
  
 
<code>sudo ./flash.sh jetson-nano-devkit mmcblk0p1</code>
 
<code>sudo ./flash.sh jetson-nano-devkit mmcblk0p1</code>
Line 205: Line 323:
 
<code>cd $L4T_DIR</code>
 
<code>cd $L4T_DIR</code>
  
−
<code>git clone https://github.com/veyeimaging/nvidia_jetson_veye_bsp<nowiki/>.git</code><code><nowiki/></code>
+
<code>wget <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/download/nvidia_jetson_veye_bsp.tar.gz</nowiki></code>
 +
 
 +
<code>tar -xzvf nvidia_jetson_veye_bsp.tar.gz</code>
  
 
<code>export RELEASE_PACK_DIR=$L4T_DIR/nvidia_jetson_veye_bsp</code>
 
<code>export RELEASE_PACK_DIR=$L4T_DIR/nvidia_jetson_veye_bsp</code>
Line 280: Line 400:
 
====Image和DTB更新成功了吗？====
 
====Image和DTB更新成功了吗？====
 
完成Image和DTB的更新后，可以使用以下步骤检查操作是否成功。
 
完成Image和DTB的更新后，可以使用以下步骤检查操作是否成功。
−
 
−
=====对于Image=====
 
−
<code>ls /sys/bus/i2c/drivers/</code>
 
−
 
−
应当有 veye327 csx307 cssc132 目录的存在
 
  
 
=====对于DTB=====
 
=====对于DTB=====
Line 301: Line 416:
 
<code>ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*</code>
 
<code>ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*</code>
  
−
<s>or</s>
+
or
  
−
<code><s>ls /proc/device-tree/i2c@3180000/tca9548@77/i2c@*</s></code>
+
<code>ls /proc/device-tree/i2c@3180000/tca9548@77/i2c@*</code>
  
−
- AGX Xavier
+
- AGX Xavier和AGX Orin
  
 
<code>ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*</code>
 
<code>ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*</code>
 +
 +
or
 +
 +
<code>ls /proc/device-tree/i2c@3180000/tca9548@77/i2c@*</code>
  
 
- Xavier NX  and TX2 NX(p3509-0000 carrier board)
 
- Xavier NX  and TX2 NX(p3509-0000 carrier board)
Line 314: Line 433:
  
 
应当可以发现摄像头型号。
 
应当可以发现摄像头型号。
 +
 +
=====对于Image=====
 +
<code>ls /sys/bus/i2c/drivers/</code>
 +
 +
正确安装摄像头时，摄像头的相关目录应当存在，如 veyecam csx307 cssc132 mvcam等。
 +
 +
==== 防止被升级所覆盖 ====
 +
确定Image和dtb成功更新之后，请执行以下命令，防止kernel和dtb被升级覆盖。
 +
 +
<code>sudo apt-mark hold nvidia-l4t-kernel nvidia-l4t-kernel-dtbs</code>
  
 
====使用源码进行编译====
 
====使用源码进行编译====
  
−
请参考：[[VEYE CS Camera source for Jetson/zh|英伟达Jetson平台上VEYE和CS系列摄像头驱动源码编译指南]]
+
请参考：[[VEYE CS Camera source for Jetson/zh|英伟达Jetson平台上VEYE摄像头驱动源码编译指南]]
  
 
kernel和DTS编译完成后，可以按照上面的步骤升级Image和DTB。
 
kernel和DTS编译完成后，可以按照上面的步骤升级Image和DTB。
Line 325: Line 454:
 
完成系统安装后，在Jetson板端执行以下命令来检测是否正确连接摄像头。
 
完成系统安装后，在Jetson板端执行以下命令来检测是否正确连接摄像头。
  
−
*VEYE-MIPI-327型号
+
*VEYE-MIPI-X型号(使用VEYE-MIPI-CAM2M dtb)
  
−
<code>dmesg | grep veye327</code>  
+
<code>dmesg | grep veye</code>  
  
 
应当有类似如下提示：
 
应当有类似如下提示：
  
−
<code>Detected VEYE327 sensor</code>
+
<code>camera id is veyecam</code>
 +
 
 +
<code>sensor is IMX327/IMX462/IMX385</code>
  
−
<code>subdev veye327 X-003b bound</code>
+
<code>subdev veyecam [i2c_bus]-003b bound</code>
  
 
此外，检查/dev/videoX设备节点，应当是存在的。
 
此外，检查/dev/videoX设备节点，应当是存在的。
Line 345: Line 476:
 
<code>Detected CS307 sensor</code>
 
<code>Detected CS307 sensor</code>
  
−
<code>subdev csx307 X-003b bound</code>
+
<code>subdev csx307 [i2c_bus]-003b bound</code>
  
 
此外，检查/dev/videoX设备节点，应当是存在的。
 
此外，检查/dev/videoX设备节点，应当是存在的。
Line 355: Line 486:
 
应当有类似如下提示：
 
应当有类似如下提示：
  
−
<code>subdev cssc132 X-003b bound</code>
+
<code>subdev cssc132 [i2c_bus]-003b bound</code>
 +
 
 +
此外，检查/dev/videoX设备节点，应当是存在的。
 +
 
 +
* VEYE-MIP-IMX335型号
 +
 
 +
<code>dmesg | grep imx335</code>  
 +
 
 +
应当有类似如下提示：
 +
 
 +
<code>camera id is VEYE-MIPI-IMX335</code>
 +
 
 +
<code>subdev veye_imx335 [i2c_bus]-003b bound</code>
  
 
此外，检查/dev/videoX设备节点，应当是存在的。
 
此外，检查/dev/videoX设备节点，应当是存在的。
 +
 +
*VEYE-MIPI-327型号(使用VEYE-MIPI-327 dtb)
 +
 +
<code>dmesg | grep veye327</code>  
 +
 +
应当有类似如下提示：
 +
 +
<code>Detected VEYE327 sensor</code>
 +
 +
<code>subdev veye327 [i2c_bus]-003b bound</code>
 +
 +
此外，检查/dev/videoX设备节点，应当是存在的。
 +
 +
驱动提示信息中的<code>[i2c_bus]</code>表示此摄像头对应的i2c总线。
 
====视频流软件包和测试====
 
====视频流软件包和测试====
−
我们的摄像头模组，在TX2系统中映射为/dev/videoX设备节点。X值是按照detect的逻辑顺序[0-5]递增的。举例说，如果只接入一个摄像头，则X为0。如果接入5个，则X体现为[0-4]。
+
摄像头模组在Jetson系统中映射为/dev/videoX设备节点。
 +
 
 +
操作系统启动过程中，按照i2c bus从小到大的顺序探测摄像头。X值是按照探测的逻辑顺序[0-5]递增的。
 +
 
 +
举例说，如果只接入一个摄像头，无论硬件连接到哪个位置，X都为0。如果接入5个，则按照i2c bus从小到大，X为[0-4]。
  
−
gstreamer中，v4l2src可以通过指明device=/dev/videoX来访问不同的摄像头。
+
gstreamer中，v4l2src和nvv4l2camerasrc可以通过指明device=/dev/videoX来访问不同的摄像头。
  
 
=====Gstreamer Usage=====
 
=====Gstreamer Usage=====
  
−
*视频预览1080p HD(硬件加速)
+
*视频预览1080p HD
 +
 
 +
<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>
  
−
<code>gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
+
<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nv3dsink sync=false</code>
  
−
* 视频预览1080p HD(using xvimagesink sink)
+
* 视频预览1080p HD(using xvimagesink sink if supported)
  
 
<code>export DISPLAY=:0</code>
 
<code>export DISPLAY=:0</code>
Line 375: Line 538:
 
<code>gst-launch-1.0 -e v4l2src io-mode=4 device=/dev/video0 do-timestamp=true ! 'video/x-raw, width=1920, height=1080, framerate=30/1, format=UYVY' ! xvimagesink sync=false</code>
 
<code>gst-launch-1.0 -e v4l2src io-mode=4 device=/dev/video0 do-timestamp=true ! 'video/x-raw, width=1920, height=1080, framerate=30/1, format=UYVY' ! xvimagesink sync=false</code>
  
−
*视频预览720p@60 HD(模组支持此分辨率时，硬件加速)
+
*视频预览720p@60 HD(模组支持此分辨率时)
  
−
<code>gst-launch-1.0 v4l2src ! "video/x-raw,format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
+
<code>gst-launch-1.0 nvv4l2camerasrc  ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>
  
−
*视频预览1280*1080@45fpsHD(硬件加速)
+
*视频预览1280*1080@45fpsHD
  
−
<code>gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)1280, height=(int)1080,framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
+
<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)1080, framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>
  
−
*视频预览640*480@130fps(模组支持此分辨率时，硬件加速)
+
*视频预览640*480@130fps(模组支持此分辨率时)
  
−
<code>gst-launch-1.0 v4l2src ! "video/x-raw,format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
+
<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>
  
−
*并列预览两路视频  1080p HD(硬件加速)
+
*并列预览两路视频  1080p HD
  
 
<code>WIDTH=960</code>
 
<code>WIDTH=960</code>
Line 393: Line 556:
 
<code>HEIGHT=540</code>
 
<code>HEIGHT=540</code>
  
−
<code>CAPS="video/x-raw,format=(string)UYVY, width=1920, height=1080"</code>
+
<code>CAPS="video/x-raw(memory:NVMM),format=(string)UYVY, width=1920, height=1080"</code>
  
−
<code>gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nvoverlaysink v4l2src device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. v4l2src device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.</code>
+
<code>gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nv3dsink nvv4l2camerasrc device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. nvv4l2camerasrc  device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.</code>
  
 
* Gstreamer 嵌入到 OpenCV
 
* Gstreamer 嵌入到 OpenCV
Line 401: Line 564:
 
I think maybe OpenCV do not support I420 data format input，so you should convert it to BGR format.
 
I think maybe OpenCV do not support I420 data format input，so you should convert it to BGR format.
  
−
<code>gst-launch-1.0 v4l2src ! video/x-raw, format=(string)UYVY, width=(int)1920, height=(int)1080 ! nvvidconv ! video/x-raw(memory:NVMM), format=(string)I420 ！ nvvidconv ! video/x-raw, format=(string)BGRx ! videoconvert ! video/x-raw, format=(string)BGR ! appsink</code>
+
<code>gst-launch-1.0 nvv4l2camerasrc ! video/x-raw(memory:NVMM), format=(string)UYVY, width=(int)1920, height=(int)1080 ! nvvidconv ! video/x-raw(memory:NVMM), format=(string)I420 !  nvvidconv ! video/x-raw, format=(string)BGRx ! videoconvert ! video/x-raw, format=(string)BGR ! appsink</code>
  
−
*视频录像1080p HD（硬件加速）
+
*视频录像1080p HD
  
−
<code>gst-launch-1.0 v4l2src num-buffers=300 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! omxh264enc qp-range=20,20:20,20:-1,-1 ! matroskamux ! queue ! filesink location=videoname.mkv</code>
+
<code>gst-launch-1.0 nvv4l2camerasrc num-buffers=300 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nvv4l2h264enc control-rate=1 bitrate=10000000 ! h264parse ! qtmux ! filesink location=filename.mp4 -e</code>
  
−
*录像回放（硬件加速）
+
*录像回放
  
−
<code>gst-launch-1.0 filesrc location=videoname.mkv ! matroskademux ! h264parse ! omxh264dec ! nvoverlaysink</code>
+
<code>gst-launch-1.0 filesrc location=filename.mp4 ! qtdemux ! queue ! h264parse ! nvv4l2decoder ! nvoverlaysink -e</code>
  
 
*抓拍图片
 
*抓拍图片
  
−
<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! jpegenc ! filesink location=jpgname.jpg</code>
+
<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jp</code>
−
====视频控制软件包的使用====
+
 
 +
===== VEYE-MIPI-IMX335 的gstreamer例子 =====
 +
由于VEYE-MIPI-IMX335仅支持几种特定的分辨率模式，其驱动我们采用了use_sensor_mode_id模式。
 +
{| class="wikitable"
 +
|+VEYE-MIPI-IMX335 mode
 +
!./veye5_mipi_i2c.sh video mode
 +
!v4l2-ctl sensor_mode
 +
!video format
 +
|-
 +
|1
 +
|0
 +
|2592x1944@20fps
 +
|-
 +
|2
 +
|1
 +
|2592x1944@12.5fps
 +
|-
 +
|3
 +
|2
 +
|2560x1440@25fps
 +
|-
 +
|4
 +
|3
 +
|2560x1440@30fps
 +
|}
 +
 
 +
* 准备工作
 +
 
 +
<code>sudo apt-get install v4l-utils</code>
 +
 
 +
参考下面一节，下载好veye5_mipi_i2c.sh工具。
 +
 
 +
* 2592x1944@20fps模式预览，帧率统计
 +
 
 +
<code>v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=0</code>
 +
 
 +
<code>./veye5_mipi_i2c.sh -w -f videomode -p1 1 -b [busnum]</code>
 +
 
 +
<code>v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5376</code>
 +
 
 +
预览
 +
 
 +
<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM), width=(int)2592, height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>
 +
 
 +
帧率统计
 +
 
 +
<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY,width=(int)2592,height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! fpsdisplaysink video-sink=fakesink -v</code>
 +
 
 +
* 2560x1440@30fps模式录像、抓拍
 +
 
 +
<code>v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=3</code>
 +
 
 +
<code>./veye5_mipi_i2c.sh -w -f videomode -p1 4 -b [busnum]</code>
 +
 
 +
<code>v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5120</code>
 +
 
 +
录像
 +
 
 +
<code>gst-launch-1.0 nvv4l2camerasrc num-buffers=300 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nvv4l2h264enc control-rate=0 bitrate=10000000 ! h264parse ! qtmux ! filesink location=filename.mp4 -e</code>
 +
 
 +
录像回放
 +
 
 +
<code>gst-launch-1.0 filesrc location=filename.mp4 ! qtdemux ! queue ! h264parse ! nvv4l2decoder ! nvoverlaysink -e</code>
 +
 
 +
抓图
 +
 
 +
<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg</code>
 +
 
 +
===== Jetson multimedia-api samples =====
 +
Jetson平台上提供了[https://docs.nvidia.com/jetson/l4t-multimedia/index.html Jetson Linux API] 供开发者使用。具体jetson_multimedia_api包的安装请参考nVidia官方文档。
 +
 
 +
对于VEYE和CS系列相机，已经在相机内集成了ISP功能，因此不能使用libargus获取数据，而可以直接使用使用标准V4L2接口从/dev/videoX设备文件获取数据。
 +
 
 +
下面两个sample可以直接运行：
 +
 
 +
====== 12_camera_v4l2_cuda ======
 +
<code>./camera_v4l2_cuda -d /dev/video0 -s 1920x1080 -f UYVY</code>
 +
 
 +
====== v4l2cuda ======
 +
<code>./capture-cuda -d /dev/video0 -f UYVY -m -o out.ppm -s 1920x1080 -c 1</code>
  
−
*i2c bus说明：
+
===== v4l2-ctl 应用范例 =====
  
−
在TX2和AGX-Xavier平台，ADP-N1共6个MIPI接口，对应的i2c地址为[30-35]。
+
======安装v4l2-utils======
 +
<code>sudo apt-get install v4l-utils</code>
 +
======使用v4l2-ctl配置参数 ======
  
−
在Xavier NX平台，i2c地址为9和10。
+
* 列出相机支持的数据格式
  
−
在Xavier Nano A02平台，i2c地址为6。
+
<code>v4l2-ctl --list-formats-ext</code>
  
−
在Xavier Nano B01平台，i2c地址为7和8。
+
* 帧率统计
  
−
dmesg 显示的X部分一致。
+
<code>v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY--stream-mmap --stream-count=-1 --stream-to=/dev/null</code>
  
−
<code>subdev veye327 X-003b bound</code>
+
* 保存图片到文件
  
−
<code>subdev csimx307 X-003b bound</code>
+
<code>v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY --stream-mmap --stream-count=1 --stream-to=uyvy-1920x1080.yuv</code>
  
−
<code>subdev cssc132 X-003b bound</code>
+
===== yavta =====
  
−
执行i2c控制脚本时，需使用-b选项来指明控制的对应摄像头。
+
======安装yavta======
 +
<code>git clone <nowiki>https://github.com/veyeimaging/yavta.git</nowiki></code>
  
−
*VEYE-MIPI-327
+
<code>cd yavta;make</code>
 +
 
 +
====== 保存图片到文件 ======
 +
<code>./yavta -c1 -FUYVY-1920x1080.yuv --skip 0 -f UYVY -s 1920x1080 /dev/video0</code>
 +
=====Opencv=====
 +
为了将摄像头数据从v4l2设备导入到opencv，我们提供了几个sample。
 +
 
 +
We provide some samples [https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/samples/opencv here].
 +
====使用i2c脚本修改摄像机参数====
 +
 
 +
*VEYE-MIPI-CAM2M系列（VEYE-MIPI-327、VEYE-MIPI-IMX327S、VEYE-MIPI-IMX462、VEYE-MIPI-IMX385）
  
 
具体使用说明请见：[[VEYE-MIPI-290/327/zh/i2c|VEYE-MIPI-327 I2C脚本使用说明]]。
 
具体使用说明请见：[[VEYE-MIPI-290/327/zh/i2c|VEYE-MIPI-327 I2C脚本使用说明]]。
Line 443: Line 698:
  
 
具体使用说明请见：[[CS-MIPI-X i2c/zh|CS-MIPI-X I2C脚本使用说明]]。
 
具体使用说明请见：[[CS-MIPI-X i2c/zh|CS-MIPI-X I2C脚本使用说明]]。
−
===瑞泰RTSO-9001的补充说明===
 
  
−
====硬件连接方法====
+
* VEYE-MIPI-IMX335
−
[[File:CS-MIPI-307 to ruitai 9001tx2.jpg|center|thumb|800x800px|CS-MIPI-IMX307 与瑞泰RTSO-9001（TX2）]]
+
 
 +
具体使用说明请见：[[5m mipi i2c user guide/zh|VEYE-MIPI-IMX335 I2C脚本使用说明]]。
 +
===怎样移植驱动到第三方底板===
 +
源码编译步骤请参考：[[VEYE CS Camera source for Jetson/zh|英伟达Jetson平台上VEYE和CS系列摄像头驱动源码编译指南]]
 +
 
 +
==== 驱动移植 ====
 +
对于Image，我们是在官方标准Image基础上增加了功能，并没有做任何删减。一般情况下，可以直接使用我们编译好的Image。特殊情况请参考源码进行整合。
 +
 
 +
对于modules则更简单，直接使用即可。从源码编译和非常简单，此处不做赘述。
 +
 
 +
==== dts移植 ====
 +
我们只提供了Nano、TX2、Xavier、Orin的部分板子的dtb，对于没有提供的类型，需要：
 +
 
 +
1. 得到该板子的dts源码。
 +
 
 +
2. 我们camera相关的dts到整体中。
 +
 
 +
3. 重新编译得到对应板子的dtb。
 +
 
 +
操作步骤并不复杂，但是有一些第三方底板厂家并不开放dts源码。这就需要各方的配合才能做到了。
 +
 
 +
=== 常见问题和bug列表 ===
 +
 
 +
==== VEYE cameras on Jetpack5.x ====
 +
Jetpack5.x在xavier和orin平台对mipi信号的要求更加严格。VEYE-MIPI-xxx系列相机需要固件版本hdver>=7才可以完美支持。
 +
 
 +
==== Jetpack5.0.1 DP ====
 +
本版本有很多bug，如不支持nvv4l2camerasrc,不建议使用。
 +
 
 +
==== nv3dsink ====
 +
Jetpack5.x不再支持nvoverlaysink，使用nv3dsink替代之。
 +
 
 +
==== L4T32.7.2在xavier系列上的bug ====
 +
对于Xavier系列，L4T32.7.2的cboot存在一个bug，必须要先解决掉才可以升级。
 +
 
 +
[https://elinux.org/Jetson/L4T/r32.7.x_patches <nowiki>[Cboot] Cboot in 32.7.2 fails to read extlinux.conf</nowiki>]
 +
 
 +
我们编译了正确版本的cboot并放在[https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/cboot_l4t_32.7.2 这里]。
 +
 
 +
下载后，放到Linux_for_Tegra/bootloader目录下，进入recovery模式后，在PC端执行如下命令以烧写cboot。
 +
 
 +
* AGX Xavier
 +
 
 +
<code>sudo ./flash.sh -r -k cpu-bootloader jetson-xavier mmcblk0p1</code>
 +
 
 +
* Xavier NX
 +
 
 +
<code>sudo ./flash.sh -r -k cpu-bootloader jetson-xavier-nx-devkit mmcblk0p1</code>
 +
=== 文档历史 ===
 +
 
 +
*20220831
 +
 
 +
完善Jetpack5.0.2下关于VEYE系列和 MV系列的说明。
 +
 
 +
* 20220824
 +
 
 +
支持Jetpack5.0.2。
  
 +
* 20220720
  
−
与瑞泰RTSO-9001配套，需使用树莓派相机扩展板RTST-RPI转接板。
+
增加Jetson multimedia-api和v4l2-ctl描述。
  
−
备注：当前版本的RTSO-9001的MIPI CSI-2接口供电能力不足以支撑我们摄像头的功率需求，需要额外5V供电给摄像头。上图中并未提现。
+
* 20220714
  
−
====软件的补充说明====
+
增加对L4T32.7.2的说明。
  
−
*针对瑞泰RTSO-9001,对应的目录为：
+
* 20220629
  
−
nvidia_jetson_veye_bsp\TX2\JetPack_4.2.2_Linux_RTSO-9001
+
增加Jetpack5.0.1DP的支持，调通AGX-Orin。
  
−
*受与瑞泰公司协议限制，我方不发布源代码
+
* 20220110
−
*我方资料已提交瑞泰公司，建议客户与瑞泰联系获取完善版本的支持镜像
+
 
 +
增加对新型号VEYE-MIPI-IMX335的相关说明。
 +
 
 +
* 20220105
 +
 
 +
Use nvv4l2h264enc instead of omxh264enc in gstreamer command，because omxh264enc  has been deprecated.
 +
 
 +
* 20211025
 +
 
 +
gstreamer命令中，普遍采用nvv4l2camerasrc代替v4l2src，数据直接进入DMA内存。
  
 
===参考资料===
 
===参考资料===
Line 476: Line 796:
  
 
TX2 user guide: [https://developer.download.nvidia.cn/embedded/L4T/r28_Release_v2.0/GA/Docs/Jetson_TX1_and_TX2_Developer_Kits_User_Guide.pdf?lumI95GW6BEyMmhP1Is8E79OYo105-tpsC2bOVQmBZ6Tw8AkLU4pSDMPCuzOaEonWMiDO2hliXbNvtkH9do81TNIXmLZGGoV7xoEehyEgfc2WO8e0Czz5chLSHoCqIuPLL1 link]
 
TX2 user guide: [https://developer.download.nvidia.cn/embedded/L4T/r28_Release_v2.0/GA/Docs/Jetson_TX1_and_TX2_Developer_Kits_User_Guide.pdf?lumI95GW6BEyMmhP1Is8E79OYo105-tpsC2bOVQmBZ6Tw8AkLU4pSDMPCuzOaEonWMiDO2hliXbNvtkH9do81TNIXmLZGGoV7xoEehyEgfc2WO8e0Czz5chLSHoCqIuPLL1 link]
−
 
−
北京瑞泰新时代公司网址：http://www.realtimes.cn/
 
−
 
−
<br />
 

Revision as of 14:48, 25 September 2022

English

如何在英伟达Jetsno Nano,TX2,Xavier和Orin平台使用VEYE系列和CS系列摄像头模组

1 概述

本文讲述怎样将VEYE系列和CS系列模组接入到英伟达公司的Jetson Nano,Jetson Nano 2GB,Jetson TX2，TX2 NX和AGX Xavier开发板,Xavier NX Devkit以及我们兼容的其他主板上。采用的软件版本为

  • Jetpack4.2.2,L4T版本r32.2.1
  • Jetpack4.3,L4T版本r32.3.1
  • Jetpack4.4,L4T版本r32.4.3
  • Jetpack4.4.1,L4T版本r32.4.4
  • Jetpack4.5,L4T版本r32.5
  • Jetpack4.5.1,L4T版本r32.5.1
  • Jetpack4.6,L4T版本r32.6.1
  • Jetpack4.6.1,L4T版本r32.7.1
  • Jetpack4.6.2,L4T版本r32.7.2
  • Jetpack5.0.1DP,L4T版本r34.1.1
  • Jetpack5.0.2,L4T版本r35.1

我们提供了编译好的固件和源代码两种方式来方便用户的使用。

VEYE系列和CS系列摄像头是内置ISP的摄像头模组，输出为MIPI-CSI2接口UYVY流模式。对于图像效果参数，我们并没有采用V4L2接口实现，而是采用了DRA(Directly Register Access)模式，我们提供了一组Shell脚本直接控制摄像头模组。

1.1 支持的模组：

模组型号支持表
系列 型号 状态
VEYE系列 VEYE-MIPI-IMX327S 完成
VEYE系列 VEYE-MIPI-IMX385 完成
VEYE系列 VEYE-MIPI-IMX462 完成
VEYE系列 VEYE-MIPI-IMX335 完成
CS系列 CS-MIPI-IMX307 完成
CS系列 CS-MIPI-SC132 完成
套装系列 CS-TX2-XAVIER-nCAM 完成

VEYE系列和CS系列MIPI摄像头模组是内置ISP的，输出为MIPI-CSI2接口。

1.2 怎样查看当前L4T版本

在jetson板子上，查看当前L4T版本，尽量使用同一版本进行替换。

cat /etc/nv_tegra_release

如显示：

# R32 (release), REVISION: 4.3......

则表示当前L4T版本为32.4.3。

2 硬件准备及安装

我们设计了专用的转接板，支持6路摄像头，兼容TX2 Devkit，Xavier和Orin。

ADP-N1连接图 ADP-N1 V2.0连接图
6cam interposer board connected with 6 cameras
6cam interposer board connected with 6 cameras

特别的，VEYE-MIPI-IMX335由于功耗较高，必须使用12V DC端子提供辅助供电。参考ADP-N1的J11。

2.1 英伟达TX2 Developer Kit

TX2 Devkit 6 cameras connection


注意，使用中请务必用螺丝将ADP转接板固定到底板上面,以保证转接板安装平正。

2.2 英伟达AGX Xavier(AGX Orin与此相同)

转接板是兼容TX2转接板的，连接方式如图：

Connect VEYE cameras to AGX Xavier
Connect VEYE cameras to AGX Xavier


注意，使用中请务必用螺丝将ADP转接板固定到底板上面,以保证转接板安装平正。

2.3 英伟达Nano 、 Xavier NX Devkit和TX2 NX

Xavier NX 的接口是兼容树莓派和Jetson Nano的。 连接方式如图：

Xavier NX connection with VEYE-MIPI-327
Xavier NX connection with VEYE-MIPI-327
Xavier NX connection with CS-MIPI-IMX307
Xavier NX connection with CS-MIPI-IMX307(3.3V供电)
Jetson Nano A02 与VEYE模组连接
Jetson Nano A02 与VEYE模组连接


3 更新Jetson Nano，TX2，Xavier和Orin系统

3.1 概述

本章节描述怎样更新Jetson系统以支持我们的摄像头模组。

  • Jetpack4.x版本

要支持我们的摄像头模组，需要更新Jetson系统的L4T(Linux for Tegra)的两个部分，Image和dtb。

Image部分，我们增加了摄像头驱动，dtb部分则指明了使用的摄像头型号。一般情况下，只需使用我们已编译好的Image和dtb，非必要情况下，无需根据代码进行编译。

  • Jetpack5.0以后的版本

驱动不再编译进Image，而是以独立module的形式加载到系统中。dtb我们现在依然是采用整体编译到一起的方式以方便进行替换。

dtb也可以以overlay形式动态加载，详情参考nVidia官方的NVIDIA® Jetson™ Linux开发者指南。

  • MV系列模组

MV系列模组，为了支持扩展数据类型和外触发模式，我们在Image中增加了相关功能。因此无论Jetpack版本如何，都需要更新Image。是否需要更新modules，取决于Jetpack版本。

3.2 BSP包介绍：

3.2.1 路径

https://github.com/veyeimaging/nvidia_jetson_veye_bsp

3.2.2 bsp包包括以下主要内容：
  • 预编译好的不同平台下的dtb
  • driver源码
  • dts源码
  • i2c通信工具集

在项目release包中还包括:

  • 预编译好的linux kernel：Image
  • 预编译好的摄像机驱动

3.3 DTB文件名称与板卡对应关系

3.3.1 Nano A02

tegra210-p3448-0000-p3449-0000-a02.dtb

3.3.2 Nano B01

tegra210-p3448-0000-p3449-0000-b00.dtb

3.3.3 Nano 2GB

tegra210-p3448-0003-p3542-0000.dtb

3.3.4 TX2 Devkit

tegra186-quill-p3310-1000-c03-00-base.dtb

3.3.5 TX2 NX(p3509-0000 carrier board)

use the same carrier board with XAVIER NX Devkit

tegra186-p3636-0001-p3509-0000-a01.dtb

3.3.6 AGX XAVIER

tegra194-p2888-0001-p2822-0000.dtb

3.3.7 XAVIER NX Devkit

tegra194-p3668-all-p3509-0000.dtb

特别的，对于Jetpack5.x：

  • Jetson Xavier NX (P3668-0000) For developer kit only:

tegra194-p3668-0000-p3509-0000.dtb

  • Jetson Xavier NX (P3668-0001) Commercial module:

tegra194-p3668-0001-p3509-0000.dtb

3.3.8 AGX Orin

tegra234-p3701-0000-p3737-0000.dtb

3.4 DTB文件名称与摄像头对应关系

每个主板的dtb目录下，存放了对应摄像头型号的目录，一般可以直接通过目录名称知道对应的摄像头型号。

特别的：

1、VEYE-MIPI-CAM2M 是新版本的VEYE系列dtb，支持所有VEYE 200W系列产品，包括VEYE-MIPI-327E、VEYE-MIPI-IMX327S、VEYE-MIPI-IMX462、VEYE-MIPI-IMX385。

2、以fpdlink为后缀的，对应fpdlink同轴型号模组。

3.5 Jetson板上直接升级的方法

适用型号：Jetson Nano、Xavier和Orin。

注：AGX Xavier在Jetpack4.4以后的版本，建议可以使用此方法。以前版本我们未作验证，不建议使用。

3.5.1 查看当前L4T版本

首先查看当前L4T版本，尽量使用同一版本进行替换。

cat /etc/nv_tegra_release

如显示：

# R32 (release), REVISION: 4.3......

则表示当前L4T版本为32.4.3。

3.5.2 关于L4T 32.7.2的说明

L4T32.7.2版本的Image和dts与L4T32.7.1版本完全一致，所以直接使用L4T32.7.1相关目录下内容即可。

此外，升级需要更新cboot，请参考常见问题章节。

3.5.3 下载bsp包到Jetson板子

在Jetson 板子上面，执行：

wget https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/download/nvidia_jetson_veye_bsp.tar.gz

或者在浏览器地址栏中输入https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/

下载发布版本。

tar -xzvf nvidia_jetson_veye_bsp.tar.gz

3.5.4 升级Image（适用于Jetpack4.x以及MV系列摄像头的应用）

备份原来的Image

cp /boot/Image /boot/Image.backup

cp /boot/Image.sig /boot/Image.sig.backup

在bsp包目录下，找到对应版本的Image压缩包，解压，然后执行：

sudo cp <path to your Image dir>/Image /boot/Image -f

特别的，对于xavier需要使用签名后的文件(比如Image_l4t_r32.*.*_veyecam_signed_4_xavier目录下)，把新的Image和Image.sig拷贝的XAVIER的/boot/目录下。

sudo cp <path to your Image dir>/Image /boot/Image -f

sudo cp <path to your Image dir>/Image.sig /boot/Image.sig -f

重启后生效。

3.5.5 安装modules（适用于Jetpack5.x）

查看系统linux版本

uname -r

在nvidia_jetson_veye_bsp/ko目录下找到对应的驱动版本目录，

sudo cp nvidia_jetson_veye_bsp/ko/$(uname -r)/* /lib/modules/$(uname -r)/kernel/drivers/media/i2c/ -f

3.5.5.1 一般情况

执行如下命令，将modules注册到系统：

sudo depmod

3.5.5.2 特别的

如果使用fpdlink接口的摄像机模组。必须手动控制加载顺序，保证ds90ub954.ko的加载早于摄像头驱动的加载。

系统启动后，手动按照顺序插入驱动，如：

sudo insmod ds90ub954.ko

sudo insmod cs_imx307.ko

可将驱动加载的命令添加到启动脚本中。

3.5.6 升级dtb

在bsp包目录下，找到您对应的摄像头模组型号和L4T版本号的dtb文件。

将新的dtb拷贝的系统目录

sudo mkdir /boot/veyecam/

sudo cp <path to your dtb dir>/<DTB file name> /boot/veyecam -f

备份extlinux.conf文件。

cp /boot/extlinux/extlinux.conf /boot/extlinux/extlinux.conf.back

然后，编辑 /boot/extlinux/extlinux.conf文件，在最下面增加如下一行。

FDT /boot/veyecam/<DTB file name>

注意：<DTB file name>应当替换为主板对应的dtb名称，确保FDT一行所指明的文件确实正确存在。

重启后生效。

3.6 通过HOST PC烧写Jetson主板进行升级的方法

本节提供第二种升级系统的方法。这个方法与上一节的方法的目标相同，二选一即可。本方法比较复杂，对于Nano，Xavier，Orin不建议使用。

特别的，对于TX2系统，只能采取本节的方法升级。

3.6.1 烧写标准版本镜像

注意：如您的Jetson板子已经正确烧写了标准版本的镜像，此步骤可以跳过。

可以使用SDK Manager直接烧写标准镜像，也可以按照如下步骤手动烧写。

  • 配置环境变量

以下步骤假设SDK安装目录为<TOPDIR>。

export TOP_DIR=<absolute path to top dir accroding to your jetpack version and board name;for example /home/xumm/nvidia/nvidia_sdk/JetPack_4.5_Linux_JETSON_XAVIER_NX_DEVKIT/>

- 通用部分

export L4T_DIR=$TOP_DIR/Linux_for_Tegra

  • 生成默认版本烧写镜像,烧写默认镜像到板子，准备好L4T环境

cd $L4T_DIR

sudo ./apply_binaries.sh  

进入recovery mode并烧写标准版本镜像。

- Nano

sudo ./flash.sh jetson-nano-devkit mmcblk0p1

sudo ./flash.sh jetson-nano-2gb-devkit mmcblk0p1

- TX2

sudo ./flash.sh jetson-tx2 mmcblk0p1

- TX2 NX(p3509-0000 carrier board)

sudo ./flash.sh jetson-xavier-nx-devkit-tx2-nx mmcblk0p1

- AGX Xavier

sudo ./flash.sh jetson-xavier mmcblk0p1

- Xavier NX Devkit

sudo ./flash.sh jetson-xavier-nx-devkit mmcblk0p1

3.6.2 下载我们的bsp包

cd $L4T_DIR

wget https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/download/nvidia_jetson_veye_bsp.tar.gz

tar -xzvf nvidia_jetson_veye_bsp.tar.gz

export RELEASE_PACK_DIR=$L4T_DIR/nvidia_jetson_veye_bsp

3.6.3 升级Image和DTB

prebuilt Image on github:https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/kernel_image

  • 升级Image文件

无论是使用预编译好的程序还是使用自行编译出的Image：

- Nano 和 TX2

把新的Image拷贝的Nano和TX2的/boot/目录下。

在Jetson TX2板子上执行

sudo cp <path to your Image dir>/Image /boot/Image -f

- AGX Xavier 和Xavier NX

需要使用签名后的文件(比如Image_l4t_r32.*.*_veyecam_signed_4_xavier目录下)，把新的Image和Image.sig拷贝的XAVIER的/boot/目录下。

sudo cp <path to your Image dir>/Image /boot/Image -f

sudo cp <path to your Image dir>/Image.sig /boot/Image.sig -f

在Host PC执行

cd $L4T_DIR

sudo ./flash.sh -k kernel jetson-xavier mmcblk0p1

- Xavier NX

在Host PC执行

cd $L4T_DIR

sudo ./flash.sh -k kernel jetson-xavier-nx-devkit mmcblk0p1

  • 烧写DTS分区，进入烧写模式，在Host PC执行

cp <path to your dtb dir>/dtbfilename $L4T_DIR/kernel/dtb/ -f

cd $L4T_DIR

- Nano

sudo ./flash.sh -r -k DTB jetson-nano-qspi-sd mmcblk0p1

sudo ./flash.sh -r -k DTB jetson-nano-devkit mmcblk0p1

sudo ./flash.sh -r -k DTB jetson-nano-2gb-devkit mmcblk0p1

- TX2

sudo ./flash.sh -r -k kernel-dtb jetson-tx2 mmcblk0p1

- TX2 NX(p3509-0000 carrier board)

sudo ./flash.sh -r -k kernel-dtb jetson-xavier-nx-devkit-tx2-nx mmcblk0p1

- AGX Xavier

sudo ./flash.sh -r -k kernel-dtb jetson-xavier mmcblk0p1

- Xavier NX

sudo ./flash.sh -r -k kernel-dtb jetson-xavier-nx-devkit mmcblk0p1

烧写完成后，断电重启。

3.7 Image和DTB更新成功了吗？

完成Image和DTB的更新后，可以使用以下步骤检查操作是否成功。

3.7.1 对于DTB

DTB在不同的平台和不同的摄像头模组都会有所不同。

- Nano A02/ Nano 2G

ls /proc/device-tree/host1x/i2c@546c0000/

- Nano B01

ls /proc/device-tree/cam_i2cmux/i2c@*

- TX2 Devkit

ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*

or

ls /proc/device-tree/i2c@3180000/tca9548@77/i2c@*

- AGX Xavier和AGX Orin

ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*

or

ls /proc/device-tree/i2c@3180000/tca9548@77/i2c@*

- Xavier NX and TX2 NX(p3509-0000 carrier board)

ls /proc/device-tree/cam_i2cmux/i2c@*

应当可以发现摄像头型号。

3.7.2 对于Image

ls /sys/bus/i2c/drivers/

正确安装摄像头时，摄像头的相关目录应当存在，如 veyecam csx307 cssc132 mvcam等。

3.8 防止被升级所覆盖

确定Image和dtb成功更新之后，请执行以下命令，防止kernel和dtb被升级覆盖。

sudo apt-mark hold nvidia-l4t-kernel nvidia-l4t-kernel-dtbs

3.9 使用源码进行编译

请参考：英伟达Jetson平台上VEYE摄像头驱动源码编译指南

kernel和DTS编译完成后，可以按照上面的步骤升级Image和DTB。

4 应用和测试

4.1 系统状态检测

完成系统安装后，在Jetson板端执行以下命令来检测是否正确连接摄像头。

  • VEYE-MIPI-X型号(使用VEYE-MIPI-CAM2M dtb)

dmesg | grep veye  

应当有类似如下提示：

camera id is veyecam

sensor is IMX327/IMX462/IMX385

subdev veyecam [i2c_bus]-003b bound

此外，检查/dev/videoX设备节点，应当是存在的。

  • CS-MIPI-IMX307型号

dmesg | grep x307  

应当有类似如下提示：

Detected CS307 sensor

subdev csx307 [i2c_bus]-003b bound

此外，检查/dev/videoX设备节点，应当是存在的。

  • CS-MIPI-SC132型号

dmesg | grep cssc132  

应当有类似如下提示：

subdev cssc132 [i2c_bus]-003b bound

此外，检查/dev/videoX设备节点，应当是存在的。

  • VEYE-MIP-IMX335型号

dmesg | grep imx335  

应当有类似如下提示：

camera id is VEYE-MIPI-IMX335

subdev veye_imx335 [i2c_bus]-003b bound

此外，检查/dev/videoX设备节点，应当是存在的。

  • VEYE-MIPI-327型号(使用VEYE-MIPI-327 dtb)

dmesg | grep veye327  

应当有类似如下提示：

Detected VEYE327 sensor

subdev veye327 [i2c_bus]-003b bound

此外，检查/dev/videoX设备节点，应当是存在的。

驱动提示信息中的[i2c_bus]表示此摄像头对应的i2c总线。

4.2 视频流软件包和测试

摄像头模组在Jetson系统中映射为/dev/videoX设备节点。

操作系统启动过程中，按照i2c bus从小到大的顺序探测摄像头。X值是按照探测的逻辑顺序[0-5]递增的。

举例说，如果只接入一个摄像头，无论硬件连接到哪个位置，X都为0。如果接入5个，则按照i2c bus从小到大，X为[0-4]。

gstreamer中，v4l2src和nvv4l2camerasrc可以通过指明device=/dev/videoX来访问不同的摄像头。

4.2.1 Gstreamer Usage
  • 视频预览1080p HD

gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false

gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nv3dsink sync=false

  • 视频预览1080p HD(using xvimagesink sink if supported)

export DISPLAY=:0

gst-launch-1.0 -e v4l2src io-mode=4 device=/dev/video0 do-timestamp=true ! 'video/x-raw, width=1920, height=1080, framerate=30/1, format=UYVY' ! xvimagesink sync=false

  • 视频预览720p@60 HD(模组支持此分辨率时)

gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false

  • 视频预览1280*1080@45fpsHD

gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)1080, framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false

  • 视频预览640*480@130fps(模组支持此分辨率时)

gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false

  • 并列预览两路视频 1080p HD

WIDTH=960

HEIGHT=540

CAPS="video/x-raw(memory:NVMM),format=(string)UYVY, width=1920, height=1080"

gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nv3dsink nvv4l2camerasrc device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. nvv4l2camerasrc device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.

  • Gstreamer 嵌入到 OpenCV

I think maybe OpenCV do not support I420 data format input，so you should convert it to BGR format.

gst-launch-1.0 nvv4l2camerasrc ! video/x-raw(memory:NVMM), format=(string)UYVY, width=(int)1920, height=(int)1080 ! nvvidconv ! video/x-raw(memory:NVMM), format=(string)I420 ! nvvidconv ! video/x-raw, format=(string)BGRx ! videoconvert ! video/x-raw, format=(string)BGR ! appsink

  • 视频录像1080p HD

gst-launch-1.0 nvv4l2camerasrc num-buffers=300 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nvv4l2h264enc control-rate=1 bitrate=10000000 ! h264parse ! qtmux ! filesink location=filename.mp4 -e

  • 录像回放

gst-launch-1.0 filesrc location=filename.mp4 ! qtdemux ! queue ! h264parse ! nvv4l2decoder ! nvoverlaysink -e

  • 抓拍图片

gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jp

4.2.2 VEYE-MIPI-IMX335 的gstreamer例子

由于VEYE-MIPI-IMX335仅支持几种特定的分辨率模式，其驱动我们采用了use_sensor_mode_id模式。

VEYE-MIPI-IMX335 mode
./veye5_mipi_i2c.sh video mode v4l2-ctl sensor_mode video format
1 0 2592x1944@20fps
2 1 2592x1944@12.5fps
3 2 2560x1440@25fps
4 3 2560x1440@30fps
  • 准备工作

sudo apt-get install v4l-utils

参考下面一节，下载好veye5_mipi_i2c.sh工具。

  • 2592x1944@20fps模式预览，帧率统计

v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=0

./veye5_mipi_i2c.sh -w -f videomode -p1 1 -b [busnum]

v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5376

预览

gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM), width=(int)2592, height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false

帧率统计

gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY,width=(int)2592,height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! fpsdisplaysink video-sink=fakesink -v

  • 2560x1440@30fps模式录像、抓拍

v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=3

./veye5_mipi_i2c.sh -w -f videomode -p1 4 -b [busnum]

v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5120

录像

gst-launch-1.0 nvv4l2camerasrc num-buffers=300 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nvv4l2h264enc control-rate=0 bitrate=10000000 ! h264parse ! qtmux ! filesink location=filename.mp4 -e

录像回放

gst-launch-1.0 filesrc location=filename.mp4 ! qtdemux ! queue ! h264parse ! nvv4l2decoder ! nvoverlaysink -e

抓图

gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg

4.2.3 Jetson multimedia-api samples

Jetson平台上提供了Jetson Linux API 供开发者使用。具体jetson_multimedia_api包的安装请参考nVidia官方文档。

对于VEYE和CS系列相机，已经在相机内集成了ISP功能，因此不能使用libargus获取数据，而可以直接使用使用标准V4L2接口从/dev/videoX设备文件获取数据。

下面两个sample可以直接运行：

4.2.3.1 12_camera_v4l2_cuda

./camera_v4l2_cuda -d /dev/video0 -s 1920x1080 -f UYVY

4.2.3.2 v4l2cuda

./capture-cuda -d /dev/video0 -f UYVY -m -o out.ppm -s 1920x1080 -c 1

4.2.4 v4l2-ctl 应用范例
4.2.4.1 安装v4l2-utils

sudo apt-get install v4l-utils

4.2.4.2 使用v4l2-ctl配置参数
  • 列出相机支持的数据格式

v4l2-ctl --list-formats-ext

  • 帧率统计

v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY--stream-mmap --stream-count=-1 --stream-to=/dev/null

  • 保存图片到文件

v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY --stream-mmap --stream-count=1 --stream-to=uyvy-1920x1080.yuv

4.2.5 yavta
4.2.5.1 安装yavta

git clone https://github.com/veyeimaging/yavta.git

cd yavta;make

4.2.5.2 保存图片到文件

./yavta -c1 -FUYVY-1920x1080.yuv --skip 0 -f UYVY -s 1920x1080 /dev/video0

4.2.6 Opencv

为了将摄像头数据从v4l2设备导入到opencv，我们提供了几个sample。

We provide some samples here.

4.3 使用i2c脚本修改摄像机参数

  • VEYE-MIPI-CAM2M系列（VEYE-MIPI-327、VEYE-MIPI-IMX327S、VEYE-MIPI-IMX462、VEYE-MIPI-IMX385）

具体使用说明请见：VEYE-MIPI-327 I2C脚本使用说明。

  • CS-MIPI-IMX307和CS-MIPI-SC132

具体使用说明请见：CS-MIPI-X I2C脚本使用说明。

  • VEYE-MIPI-IMX335

具体使用说明请见：VEYE-MIPI-IMX335 I2C脚本使用说明。

5 怎样移植驱动到第三方底板

源码编译步骤请参考：英伟达Jetson平台上VEYE和CS系列摄像头驱动源码编译指南

5.1 驱动移植

对于Image，我们是在官方标准Image基础上增加了功能，并没有做任何删减。一般情况下，可以直接使用我们编译好的Image。特殊情况请参考源码进行整合。

对于modules则更简单，直接使用即可。从源码编译和非常简单，此处不做赘述。

5.2 dts移植

我们只提供了Nano、TX2、Xavier、Orin的部分板子的dtb，对于没有提供的类型，需要：

1. 得到该板子的dts源码。

2. 我们camera相关的dts到整体中。

3. 重新编译得到对应板子的dtb。

操作步骤并不复杂，但是有一些第三方底板厂家并不开放dts源码。这就需要各方的配合才能做到了。

6 常见问题和bug列表

6.1 VEYE cameras on Jetpack5.x

Jetpack5.x在xavier和orin平台对mipi信号的要求更加严格。VEYE-MIPI-xxx系列相机需要固件版本hdver>=7才可以完美支持。

6.2 Jetpack5.0.1 DP

本版本有很多bug，如不支持nvv4l2camerasrc,不建议使用。

6.3 nv3dsink

Jetpack5.x不再支持nvoverlaysink，使用nv3dsink替代之。

6.4 L4T32.7.2在xavier系列上的bug

对于Xavier系列，L4T32.7.2的cboot存在一个bug，必须要先解决掉才可以升级。

[Cboot] Cboot in 32.7.2 fails to read extlinux.conf

我们编译了正确版本的cboot并放在这里。

下载后，放到Linux_for_Tegra/bootloader目录下，进入recovery模式后，在PC端执行如下命令以烧写cboot。

  • AGX Xavier

sudo ./flash.sh -r -k cpu-bootloader jetson-xavier mmcblk0p1

  • Xavier NX

sudo ./flash.sh -r -k cpu-bootloader jetson-xavier-nx-devkit mmcblk0p1

7 文档历史

  • 20220831

完善Jetpack5.0.2下关于VEYE系列和 MV系列的说明。

  • 20220824

支持Jetpack5.0.2。

  • 20220720

增加Jetson multimedia-api和v4l2-ctl描述。

  • 20220714

增加对L4T32.7.2的说明。

  • 20220629

增加Jetpack5.0.1DP的支持，调通AGX-Orin。

  • 20220110

增加对新型号VEYE-MIPI-IMX335的相关说明。

  • 20220105

Use nvv4l2h264enc instead of omxh264enc in gstreamer command，because omxh264enc has been deprecated.

  • 20211025

gstreamer命令中，普遍采用nvv4l2camerasrc代替v4l2src，数据直接进入DMA内存。

8 参考资料

Jetson start up： https://developer.nvidia.com/embedded/learn/getting-started-jetson

Jetson Download Center: https://developer.nvidia.com/embedded/downloads

Xavier NX: https://developer.nvidia.com/embedded/learn/get-started-jetson-xavier-nx-devkit

TX2 development kit： https://developer.nvidia.com/embedded/jetson-tx2-developer-kit

SDK Manager: https://docs.nvidia.com/sdk-manager/index.html

L4T Doc: https://docs.nvidia.com/jetson/archives/l4t-archived/l4t-325/

TX2 user guide: link

Retrieved from "http://wiki.veye.cc/index.php?title=VEYE_CS_Camera_for_Jetson_TX2/zh&oldid=5863"