1,602
edits
Changes
Jump to navigation
Jump to search
Line 1:
Line 1: − + Line 14:
Line 14: + + Line 65:
Line 67: − + Line 80:
Line 82: − + Line 91:
Line 93: − + − 本章节描述怎样更新Jetson系统以支持我们的摄像头模组。要支持我们的摄像头模组，需要更新Jetson系统的L4T(Linux for Tegra)的两个部分，Image和DTB。+ − Image部分，我们增加了摄像头驱动，DTB部分则指明了使用的摄像头型号。一般情况下，只需使用我们已编译好的Image和DTB，非必要情况下，无需根据代码进行编译。+ + + + + + + + + + + Line 105:
Line 117: − *预编译好的linux kernel：Image + + + + + Line 133:
Line 149: + + + + + Line 142:
Line 163: − + + + Line 155:
Line 178: + + + + + + + + + + + + + + + + + + + + − + − + − + + + + + Line 170:
Line 217: − 在bsp包目录下，找到对应版本的Image压缩包，解压后执行：+ − 特别的，对于xavier nx需要使用签名后的文件(比如Image_l4t_r32.*.*_veyecam_signed_4_xavier目录下)，把新的Image和Image.sig拷贝的XAVIER的/boot/目录下。+ Line 181:
Line 228: + + + + + + + + + + + − + + + + + − + − + Line 199:
Line 261: − + + + + Line 225:
Line 290: − − <code><s>sudo ./flash.sh jetson-qspi-sd mmcblk0p1</s></code> Line 250:
Line 313: − + − + Line 352:
Line 415: − + Line 380:
Line 443: − − *VEYE-MIPI-327型号(使用VEYE-MIPI-327 dtb) − − <code>dmesg | grep veye327</code> − − 应当有类似如下提示： − − <code>Detected VEYE327 sensor</code> − − <code>subdev veye327 X-003b bound</code> − − 此外，检查/dev/videoX设备节点，应当是存在的。 Line 403:
Line 454: − + Line 415:
Line 466: − + Line 425:
Line 476: − + Line 437:
Line 488: − + + + + + + + + + + + + + + + Line 538:
Line 603: − + Line 554:
Line 619: − + Line 570:
Line 635: + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + Line 583:
Line 714: − + − + − [[File:CS-MIPI-307 to ruitai 9001tx2.jpg|center|thumb|800x800px|CS-MIPI-IMX307 与瑞泰RTSO-9001（TX2）]] + + − 与瑞泰RTSO-9001配套，需使用树莓派相机扩展板RTST-RPI转接板。+ − 备注：当前版本的RTSO-9001的MIPI CSI-2接口供电能力不足以支撑我们摄像头的功率需求，需要额外5V供电给摄像头。上图中并未提现。+ − ====软件的补充说明====+ − *针对瑞泰RTSO-9001,对应的目录为：+ − nvidia_jetson_veye_bsp\TX2\JetPack_4.2.2_Linux_RTSO-9001+ − *受与瑞泰公司协议限制，我方不发布源代码+ − *我方资料已提交瑞泰公司，建议客户与瑞泰联系获取完善版本的支持镜像 − − === 文档历史 === Line 615:
Line 744: − gstreamer命令中，普遍采用nvcamerasrc代替v4l2src，数据直接进入DMA内存。+ Line 631:
Line 760: − − 北京瑞泰新时代公司网址：http://www.realtimes.cn/ − − <br />
VEYE CS Camera for Jetson TX2/zh (view source)
Revision as of 10:58, 16 August 2022
, 10:58, 16 August 2022→下载bsp包到Jetson板子
[[VEYE CS Camera for Jetson TX2|English]]
[[VEYE CS Camera for Jetson TX2|English]]
'''<big>如何在英伟达Jetsno Nano,TX2,AGX Xavier和Xavier NX平台使用VEYE系列和CS系列摄像头模组</big>'''
'''<big>如何在英伟达Jetsno Nano,TX2,Xavier和Orin平台使用VEYE系列和CS系列摄像头模组</big>'''
===概述===
===概述===
*Jetpack4.6,L4T版本r32.6.1
*Jetpack4.6,L4T版本r32.6.1
*Jetpack4.6.1,L4T版本r32.7.1
*Jetpack4.6.1,L4T版本r32.7.1
*Jetpack4.6.2,L4T版本r32.7.2
*Jetpack5.0.1DP,L4T版本r34.1.1
我们提供了编译好的固件和源代码两种方式来方便用户的使用。
我们提供了编译好的固件和源代码两种方式来方便用户的使用。
===硬件准备及安装===
===硬件准备及安装===
我们设计了专用的转接板，支持6路摄像头，兼容TX2 Devkit和Xavier。
我们设计了专用的转接板，支持6路摄像头，兼容TX2 Devkit，Xavier和Orin。
{| class="wikitable"
{| class="wikitable"
!ADP-N1连接图
!ADP-N1连接图
<br />'''注意，使用中请务必用螺丝将ADP转接板固定到底板上面。'''
<br />'''注意，使用中请务必用螺丝将ADP转接板固定到底板上面。'''
====英伟达AGX Xavier====
====英伟达AGX Xavier(AGX Orin与此相同)====
转接板是兼容TX2转接板的，连接方式如图：
转接板是兼容TX2转接板的，连接方式如图：
[[File:ADP-N1-V2.0 XAVIER 6CAM.jpg|alt=Connect VEYE cameras to AGX Xavier|center|thumb|800x800px|Connect VEYE cameras to AGX Xavier]]
[[File:ADP-N1-V2.0 XAVIER 6CAM.jpg|alt=Connect VEYE cameras to AGX Xavier|center|thumb|800x800px|Connect VEYE cameras to AGX Xavier]]
<br />
<br />
===更新Jetson Nano, Jetson TX2，TX2 NX, AGX Xavier和Xavier NX系统===
===更新Jetson Nano，TX2，Xavier和Orin系统===
====概述====
====概述====
本章节描述怎样更新Jetson系统以支持我们的摄像头模组。
* Jetpack4.x版本
要支持我们的摄像头模组，需要更新Jetson系统的L4T(Linux for Tegra)的两个部分，Image和dtb。
Image部分，我们增加了摄像头驱动，dtb部分则指明了使用的摄像头型号。一般情况下，只需使用我们已编译好的Image和dtb，非必要情况下，无需根据代码进行编译。
* Jetpack5.0以后的版本
驱动不再编译进Image，而是以独立module的形式加载到系统中。dtb我们现在依然是采用整体编译到一起的方式以方便进行替换。
dtb也可以以overlay形式动态加载。
====BSP包介绍：====
====BSP包介绍：====
=====bsp包包括以下主要内容：=====
=====bsp包包括以下主要内容：=====
*预编译好的不同平台下的dtb
*预编译好的不同平台下的dtb
*driver源码
*driver源码
*dts源码
*dts源码
*i2c通信工具集
*i2c通信工具集
在项目release包中还包括:
* 预编译好的linux kernel：Image
* 预编译好的摄像机驱动
==== DTB文件名称与板卡对应关系 ====
==== DTB文件名称与板卡对应关系 ====
<code>tegra194-p3668-all-p3509-0000.dtb</code>
<code>tegra194-p3668-all-p3509-0000.dtb</code>
特别的，Jetpack5.0.1DP需要使用：
<code>tegra194-p3668-0000-p3509-0000.dtb</code>
=====AGX Orin =====
<code>tegra234-p3701-0000-p3737-0000.dtb</code>
==== DTB文件名称与摄像头对应关系 ====
==== DTB文件名称与摄像头对应关系 ====
每个主板的dtb目录下，存放了对应摄像头型号的目录，一般可以直接通过目录名称知道对应的摄像头型号。
每个主板的dtb目录下，存放了对应摄像头型号的目录，一般可以直接通过目录名称知道对应的摄像头型号。
2、以fpdlink为后缀的，对应fpdlink同轴型号模组。
2、以fpdlink为后缀的，对应fpdlink同轴型号模组。
====Jetson Nano和Xavier NX、AGX Xavier无需HOST PC升级方法====
====Jetson板上直接升级的方法====
适用型号：Jetson Nano、Xavier和Orin。
注：AGX Xavier在Jetpack4.4以后的版本，建议可以使用此方法。以前版本我们未作验证，不建议使用。
注：AGX Xavier在Jetpack4.4以后的版本，建议可以使用此方法。以前版本我们未作验证，不建议使用。
则表示当前L4T版本为32.4.3。
则表示当前L4T版本为32.4.3。
===== 关于L4T 32.7.2的说明 =====
L4T32.7.2版本的Image和dts与L4T32.7.1版本完全一致，所以直接使用L4T32.7.1相关目录下内容即可。
====== L4T32.7.2在xavier系列上的bug ======
对于Xavier系列，L4T32.7.2的cboot存在一个bug，必须要先解决掉才可以升级。
[https://elinux.org/Jetson/L4T/r32.7.x_patches <nowiki>[Cboot] Cboot in 32.7.2 fails to read extlinux.conf</nowiki>]
我们编译了正确版本的cboot并放在[https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/cboot_l4t_32.7.2 这里]。
下载后，放到Linux_for_Tegra/bootloader目录下，进入recovery模式后，在PC端执行如下命令以烧写cboot。
* AGX Xavier
<code>sudo ./flash.sh -r -k cpu-bootloader jetson-xavier mmcblk0p1</code>
* Xavier NX
<code>sudo ./flash.sh -r -k cpu-bootloader jetson-xavier-nx-devkit mmcblk0p1</code>
=====下载bsp包到Jetson板子=====
=====下载bsp包到Jetson板子=====
在Jetson 板子上面，执行：
在Jetson 板子上面，执行：
<code>wget <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/download/nvidia_jetson_veye_bsp.tgz</nowiki></code>
<code>wget <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/download/nvidia_jetson_veye_bsp.tar.gz</nowiki></code>
<code>tar -xzvf nvidia_jetson_veye_bsp.tgz</code>
或者在浏览器地址栏中输入<code><nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/</nowiki></code>
=====升级Image=====
下载发布版本。
<code>tar -xzvf nvidia_jetson_veye_bsp.tar.gz</code>
=====升级Image（适用于Jetpack4.x）=====
备份原来的Image
备份原来的Image
<code>cp /boot/Image.sig /boot/Image.sig.backup</code>
<code>cp /boot/Image.sig /boot/Image.sig.backup</code>
在bsp包目录下，找到对应版本的Image压缩包，解压，然后执行：
<code>sudo cp <path to your Image dir>/Image /boot/Image -f</code>
<code>sudo cp <path to your Image dir>/Image /boot/Image -f</code>
特别的，对于xavier需要使用签名后的文件(比如Image_l4t_r32.*.*_veyecam_signed_4_xavier目录下)，把新的Image和Image.sig拷贝的XAVIER的/boot/目录下。
<code>sudo cp <path to your Image dir>/Image /boot/Image -f</code>
<code>sudo cp <path to your Image dir>/Image /boot/Image -f</code>
重启后生效。
重启后生效。
===== 安装modules（适用于Jetpack5.x） =====
查看系统linux版本
<code>uname -r</code>
在<code>nvidia_jetson_veye_bsp/ko</code>目录下找到对应的驱动版本目录，
<code>sudo cp nvidia_jetson_veye_bsp/ko/$(uname -r)/* /lib/modules/$(uname -r)/kernel/drivers/media/i2c/ -f</code>
<code>sudo depmod</code>
=====升级dtb=====
=====升级dtb=====
在bsp包目录下，找到您对应的摄像头模组型号和L4T版本号的dtb文件。
在bsp包目录下，找到您对应的摄像头模组型号和L4T版本号的dtb文件。
<code>sudo cp <path to your dtb dir>/<DTB file name> /boot/ -f</code>
将新的dtb拷贝的系统目录
<code>sudo mkdir /boot/veyecam/</code>
<code>sudo cp <path to your dtb dir>/<DTB file name> /boot/veyecam -f</code>
备份extlinux.conf文件。
备份extlinux.conf文件。
<code>cp /boot/extlinux/extlinux.conf / boot/extlinux/extlinux.conf .back</code>
<code>cp /boot/extlinux/extlinux.conf /boot/extlinux/extlinux.conf.back</code>
然后，编辑 /boot/extlinux/extlinux.conf文件，在最下面增加如下一行。
然后，编辑 /boot/extlinux/extlinux.conf文件，在最下面增加如下一行。
<code>FDT /boot/<DTB file name></code>
<code>FDT /boot/veyecam/<DTB file name></code>
注意：<DTB file name>应当替换为主板对应的dtb名称，确保FDT一行所指明的文件确实正确存在。
注意：<DTB file name>应当替换为主板对应的dtb名称，确保FDT一行所指明的文件确实正确存在。
重启后生效。
重启后生效。
====通过HOST PC升级方法====
====通过HOST PC烧写Jetson主板进行升级的方法====
本节提供第二种升级系统的方法。这个方法与上一节的方法的目标相同，二选一即可。
特别的，对于TX2系统，只能采取本节的方法升级。
=====烧写标准版本镜像=====
=====烧写标准版本镜像=====
- Nano
- Nano
<code>sudo ./flash.sh jetson-nano-devkit mmcblk0p1</code>
<code>sudo ./flash.sh jetson-nano-devkit mmcblk0p1</code>
<code>cd $L4T_DIR</code>
<code>cd $L4T_DIR</code>
<code>wget <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/download/nvidia_jetson_veye_bsp.tgz</nowiki></code>
<code>wget <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/download/nvidia_jetson_veye_bsp.tar.gz</nowiki></code>
<code>tar -xzvf nvidia_jetson_veye_bsp.tgz</code>
<code>tar -xzvf nvidia_jetson_veye_bsp.tar.gz</code>
<code>export RELEASE_PACK_DIR=$L4T_DIR/nvidia_jetson_veye_bsp</code>
<code>export RELEASE_PACK_DIR=$L4T_DIR/nvidia_jetson_veye_bsp</code>
<code>ls /proc/device-tree/i2c@3180000/tca9548@77/i2c@*</code>
<code>ls /proc/device-tree/i2c@3180000/tca9548@77/i2c@*</code>
- AGX Xavier
- AGX Xavier和AGX Orin
<code>ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*</code>
<code>ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*</code>
====系统状态检测====
====系统状态检测====
完成系统安装后，在Jetson板端执行以下命令来检测是否正确连接摄像头。
完成系统安装后，在Jetson板端执行以下命令来检测是否正确连接摄像头。
*VEYE-MIPI-X型号(使用VEYE-MIPI-CAM2M dtb)
*VEYE-MIPI-X型号(使用VEYE-MIPI-CAM2M dtb)
<code>sensor is IMX327/IMX462/IMX385</code>
<code>sensor is IMX327/IMX462/IMX385</code>
<code>subdev veyecam X-003b bound</code>
<code>subdev veyecam [i2c_bus]-003b bound</code>
此外，检查/dev/videoX设备节点，应当是存在的。
此外，检查/dev/videoX设备节点，应当是存在的。
<code>Detected CS307 sensor</code>
<code>Detected CS307 sensor</code>
<code>subdev csx307 X-003b bound</code>
<code>subdev csx307 [i2c_bus]-003b bound</code>
此外，检查/dev/videoX设备节点，应当是存在的。
此外，检查/dev/videoX设备节点，应当是存在的。
应当有类似如下提示：
应当有类似如下提示：
<code>subdev cssc132 X-003b bound</code>
<code>subdev cssc132 [i2c_bus]-003b bound</code>
此外，检查/dev/videoX设备节点，应当是存在的。
此外，检查/dev/videoX设备节点，应当是存在的。
<code>camera id is VEYE-MIPI-IMX335</code>
<code>camera id is VEYE-MIPI-IMX335</code>
<code>subdev veye_imx335 10-003b bound</code>
<code>subdev veye_imx335 [i2c_bus]-003b bound</code>
此外，检查/dev/videoX设备节点，应当是存在的。
*VEYE-MIPI-327型号(使用VEYE-MIPI-327 dtb)
<code>dmesg | grep veye327</code>
应当有类似如下提示：
<code>Detected VEYE327 sensor</code>
<code>subdev veye327 [i2c_bus]-003b bound</code>
此外，检查/dev/videoX设备节点，应当是存在的。
此外，检查/dev/videoX设备节点，应当是存在的。
驱动提示信息中的<code>[i2c_bus]</code>表示此摄像头对应的i2c总线。
====视频流软件包和测试====
====视频流软件包和测试====
摄像头模组在Jetson系统中映射为/dev/videoX设备节点。
摄像头模组在Jetson系统中映射为/dev/videoX设备节点。
<code>v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=0</code>
<code>v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=0</code>
<code>./veye5_mipi_i2c.sh -w -f videomode -p1 1</code>
<code>./veye5_mipi_i2c.sh -w -f videomode -p1 1 -b [busnum]</code>
<code>v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5376</code>
<code>v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5376</code>
<code>v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=3</code>
<code>v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=3</code>
<code>./veye5_mipi_i2c.sh -w -f videomode -p1 4</code>
<code>./veye5_mipi_i2c.sh -w -f videomode -p1 4 -b [busnum]</code>
<code>v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5120</code>
<code>v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5120</code>
<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg</code>
<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg</code>
===== Jetpack5.x上gstreamer的例子 =====
在Jetpack5.x上：
# nvoverlaysink已经去掉，可以使用nv3dsink替代。
# nvv4l2camerasrc还不够成熟，暂时使用v4l2src。
*视频预览1080p HD
<code>gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY,width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nv3dsink -e</code>
* 对于VEYE-MIPI-IMX335的2592x1944@20fps模式相应调整为
<code>gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw, width=(int)2592, height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nv3dsink -e</code>
*视频录像1080p HD
<code>gst-launch-1.0 v4l2src num-buffers=300 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nvv4l2h264enc control-rate=1 bitrate=10000000 ! h264parse ! qtmux ! filesink location=filename.mp4 -e</code>
*抓拍图片
<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg</code>
===== Jetson multimedia-api samples =====
Jetson平台上提供了[https://docs.nvidia.com/jetson/l4t-multimedia/index.html Jetson Linux API] 供开发者使用。具体jetson_multimedia_api包的安装请参考nVidia官方文档。
对于VEYE和CS系列相机，已经在相机内集成了ISP功能，因此不能使用libargus获取数据，而可以直接使用使用标准V4L2接口从/dev/videoX设备文件获取数据。
下面两个sample可以直接运行：
====== 12_camera_v4l2_cuda ======
<code>./camera_v4l2_cuda -d /dev/video0 -s 1920x1080 -f UYVY</code>
====== v4l2cuda ======
<code>./capture-cuda -d /dev/video0 -f UYVY -m -o out.ppm -s 1920x1080 -c 1</code>
===== v4l2-ctl 应用范例 =====
======安装v4l2-utils======
<code>sudo apt-get install v4l-utils</code>
======使用v4l2-ctl配置参数 ======
* 列出相机支持的数据格式
<code>v4l2-ctl --list-formats-ext</code>
* 帧率统计
<code>v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY--stream-mmap --stream-count=-1 --stream-to=/dev/null</code>
* 保存图片到文件
<code>v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY --stream-mmap --stream-count=1 --stream-to=uyvy-1920x1080.yuv</code>
===== yavta =====
======安装yavta======
<code>git clone <nowiki>https://github.com/veyeimaging/yavta.git</nowiki></code>
<code>cd yavta;make</code>
====== 保存图片到文件 ======
<code>./yavta -c1 -FUYVY-1920x1080.yuv --skip 0 -f UYVY -s 1920x1080 /dev/video0</code>
=====Opencv=====
为了将摄像头数据从v4l2设备导入到opencv，我们提供了几个sample。
We provide some samples [https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/samples/opencv here].
====视频控制软件包的使用====
====视频控制软件包的使用====
具体使用说明请见：[[5m mipi i2c user guide/zh|VEYE-MIPI-IMX335 I2C脚本使用说明]]。
具体使用说明请见：[[5m mipi i2c user guide/zh|VEYE-MIPI-IMX335 I2C脚本使用说明]]。
===瑞泰RTSO-9001的补充说明===
===怎样移植驱动到第三方底板===
====硬件连接方法====
==== 驱动移植 ====
==== dts移植 ====
=== 文档历史 ===
* 20220720
增加Jetson multimedia-api和v4l2-ctl描述。
* 20220714
增加对L4T32.7.2的说明。
* 20220629
增加Jetpack5.0.1DP的支持，调通AGX-Orin。
* 20220110
* 20220110
* 20211025
* 20211025
gstreamer命令中，普遍采用nvv4l2camerasrc代替v4l2src，数据直接进入DMA内存。
===参考资料===
===参考资料===
TX2 user guide: [https://developer.download.nvidia.cn/embedded/L4T/r28_Release_v2.0/GA/Docs/Jetson_TX1_and_TX2_Developer_Kits_User_Guide.pdf?lumI95GW6BEyMmhP1Is8E79OYo105-tpsC2bOVQmBZ6Tw8AkLU4pSDMPCuzOaEonWMiDO2hliXbNvtkH9do81TNIXmLZGGoV7xoEehyEgfc2WO8e0Czz5chLSHoCqIuPLL1 link]
TX2 user guide: [https://developer.download.nvidia.cn/embedded/L4T/r28_Release_v2.0/GA/Docs/Jetson_TX1_and_TX2_Developer_Kits_User_Guide.pdf?lumI95GW6BEyMmhP1Is8E79OYo105-tpsC2bOVQmBZ6Tw8AkLU4pSDMPCuzOaEonWMiDO2hliXbNvtkH9do81TNIXmLZGGoV7xoEehyEgfc2WO8e0Czz5chLSHoCqIuPLL1 link]