Difference between revisions of "VEYE CS Camera for Jetson TX2/zh"
| Line 177: | Line 177: | ||
<code>sudo cp <path to your dtb dir>/<DTB file name> /boot/ -f</code> | <code>sudo cp <path to your dtb dir>/<DTB file name> /boot/ -f</code> | ||
| + | |||
| + | 备份extlinux.conf文件。 | ||
| + | |||
| + | <code>cp /boot/extlinux/extlinux.conf / boot/extlinux/extlinux.conf .back</code> | ||
然后，编辑 /boot/extlinux/extlinux.conf文件，在最下面增加如下一行。 | 然后，编辑 /boot/extlinux/extlinux.conf文件，在最下面增加如下一行。 | ||
Revision as of 18:08, 16 January 2022
如何在英伟达Jetsno Nano,TX2,AGX Xavier和Xavier NX平台使用VEYE系列和CS系列摄像头模组
1 概述
本文讲述怎样将VEYE系列和CS系列模组接入到英伟达公司的Jetson Nano,Jetson Nano 2GB,Jetson TX2，TX2 NX和AGX Xavier开发板,Xavier NX Devkit以及我们兼容的其他主板上。采用的软件版本为
- Jetpack4.2.2,L4T版本r32.2.1
- Jetpack4.3,L4T版本r32.3.1
- Jetpack4.4,L4T版本r32.4.3
- Jetpack4.4.1,L4T版本r32.4.4
- Jetpack4.5,L4T版本r32.5
- Jetpack4.5.1,L4T版本r32.5.1
- Jetpack4.6,L4T版本r32.6.1
我们提供了编译好的固件和源代码两种方式来方便用户的使用。
VEYE系列和CS系列摄像头是内置ISP的摄像头模组，输出为MIPI-CSI2接口UYVY流模式。对于图像效果参数，我们并没有采用V4L2接口实现，而是采用了DRA(Directly Register Access)模式，我们提供了一组Shell脚本直接控制摄像头模组。
1.1 支持的模组：
| 系列 | 型号 | 状态 |
|---|---|---|
| VEYE系列 | VEYE-MIPI-IMX327S | 完成 |
| VEYE系列 | VEYE-MIPI-IMX385 | 完成 |
| VEYE系列 | VEYE-MIPI-IMX462 | 完成 |
| VEYE系列 | VEYE-MIPI-IMX335 | 完成 |
| CS系列 | CS-MIPI-IMX307 | 完成 |
| CS系列 | CS-MIPI-SC132 | 完成 |
| 套装系列 | CS-TX2-XAVIER-nCAM | 完成 |
VEYE系列和CS系列MIPI摄像头模组是内置ISP的，输出为MIPI-CSI2接口。
1.2 怎样查看当前L4T版本
在jetson板子上，查看当前L4T版本，尽量使用同一版本进行替换。
cat /etc/nv_tegra_release
如显示：
# R32 (release), REVISION: 4.3......
则表示当前L4T版本为32.4.3。
2 硬件准备及安装
我们设计了专用的转接板，支持6路摄像头，兼容TX2 Devkit和Xavier。
特别的，VEYE-MIPI-IMX335由于功耗较高，必须使用12V DC端子提供辅助供电。参考ADP-N1的J11。
2.1 英伟达TX2 Developer Kit
注意，使用中请务必用螺丝将ADP转接板固定到底板上面。
2.2 英伟达AGX Xavier
转接板是兼容TX2转接板的，连接方式如图：
注意，使用中请务必用螺丝将ADP转接板固定到底板上面。
2.3 英伟达Nano 、 Xavier NX Devkit和TX2 NX
Xavier NX 的接口是兼容树莓派和Jetson Nano的。 连接方式如图：
3 更新Jetson Nano, Jetson TX2，TX2 NX, AGX Xavier和Xavier NX系统
3.1 概述
本章节描述怎样更新Jetson系统以支持我们的摄像头模组。要支持我们的摄像头模组，需要更新Jetson系统的L4T(Linux for Tegra)的两个部分，Image和DTB。
Image部分，我们增加了摄像头驱动，DTB部分则指明了使用的摄像头型号。一般情况下，只需使用我们已编译好的Image和DTB，非必要情况下，无需根据代码进行编译。
3.2 BSP包介绍：
3.2.1 路径
https://github.com/veyeimaging/nvidia_jetson_veye_bsp
3.2.2 bsp包包括以下主要内容：
- 预编译好的linux kernel：Image
- 预编译好的不同平台下的dtb
- driver源码
- dts源码
- i2c通信工具集
3.3 DTB文件名称与板卡对应关系
3.3.1 Nano A02
tegra210-p3448-0000-p3449-0000-a02.dtb
3.3.2 Nano B01
tegra210-p3448-0000-p3449-0000-b00.dtb
3.3.3 Nano 2GB
tegra210-p3448-0003-p3542-0000.dtb
3.3.4 TX2 Devkit
tegra186-quill-p3310-1000-c03-00-base.dtb
3.3.5 TX2 NX(p3509-0000 carrier board)
use the same carrier board with XAVIER NX Devkit
tegra186-p3636-0001-p3509-0000-a01.dtb
3.3.6 AGX XAVIER
tegra194-p2888-0001-p2822-0000.dtb
3.3.7 XAVIER NX Devkit
tegra194-p3668-all-p3509-0000.dtb
3.4 DTB文件名称与摄像头对应关系
每个主板的dtb目录下，存放了对应摄像头型号的目录，一般可以直接通过目录名称知道对应的摄像头型号。
特别的：
1、VEYE-MIPI-CAM2M 是新版本的VEYE系列dtb，支持所有VEYE 200W系列产品，包括VEYE-MIPI-327E、VEYE-MIPI-IMX327S、VEYE-MIPI-IMX462、VEYE-MIPI-IMX385。
2、以fpdlink为后缀的，对应fpdlink同轴型号模组。
3.5 Jetson Nano和Xavier NX、AGX Xavier无需HOST PC升级方法
注：AGX Xavier在Jetpack4.4以后的版本，建议可以使用此方法。以前版本我们未作验证，不建议使用。
3.5.1 查看当前L4T版本
首先查看当前L4T版本，尽量使用同一版本进行替换。
cat /etc/nv_tegra_release
如显示：
# R32 (release), REVISION: 4.3......
则表示当前L4T版本为32.4.3。
3.5.2 下载bsp包到Jetson板子
在Jetson Nano或者Xavier NX上面，执行：
git clone https://github.com/veyeimaging/nvidia_jetson_veye_bsp.git
3.5.3 升级Image
备份原来的Image
cp /boot/Image /boot/Image.backup
cp /boot/Image.sig /boot/Image.sig.backup
在bsp包目录下，找到对应版本的Image压缩包，解压后执行：
sudo cp <path to your Image dir>/Image /boot/Image -f
特别的，对于xavier nx需要使用签名后的文件(比如Image_l4t_r32.*.*_veyecam_signed_4_xavier目录下)，把新的Image和Image.sig拷贝的XAVIER的/boot/目录下。
sudo cp <path to your Image dir>/Image /boot/Image -f
sudo cp <path to your Image dir>/Image.sig /boot/Image.sig -f
重启后生效。
3.5.4 升级dtb
在bsp包目录下，找到您对应的摄像头模组型号和L4T版本号的dtb文件。
sudo cp <path to your dtb dir>/<DTB file name> /boot/ -f
备份extlinux.conf文件。
cp /boot/extlinux/extlinux.conf / boot/extlinux/extlinux.conf .back
然后，编辑 /boot/extlinux/extlinux.conf文件，在最下面增加如下一行。
FDT /boot/<DTB file name>
注意：<DTB file name>应当替换为主板对应的dtb名称，确保FDT一行所指明的文件确实正确存在。
重启后生效。
3.6 通过HOST PC升级方法
3.6.1 烧写标准版本镜像
注意：如您的Jetson板子已经正确烧写了标准版本的镜像，此步骤可以跳过。
可以使用SDK Manager直接烧写标准镜像，也可以按照如下步骤手动烧写。
- 配置环境变量
以下步骤假设SDK安装目录为<TOPDIR>。
export TOP_DIR=<absolute path to top dir accroding to your jetpack version and board name;for example /home/xumm/nvidia/nvidia_sdk/JetPack_4.5_Linux_JETSON_XAVIER_NX_DEVKIT/>
- 通用部分
export L4T_DIR=$TOP_DIR/Linux_for_Tegra
- 生成默认版本烧写镜像,烧写默认镜像到板子，准备好L4T环境
cd $L4T_DIR
sudo ./apply_binaries.sh
进入recovery mode并烧写标准版本镜像。
- Nano
sudo ./flash.sh jetson-qspi-sd mmcblk0p1
sudo ./flash.sh jetson-nano-devkit mmcblk0p1
sudo ./flash.sh jetson-nano-2gb-devkit mmcblk0p1
- TX2
sudo ./flash.sh jetson-tx2 mmcblk0p1
- TX2 NX(p3509-0000 carrier board)
sudo ./flash.sh jetson-xavier-nx-devkit-tx2-nx mmcblk0p1
- AGX Xavier
sudo ./flash.sh jetson-xavier mmcblk0p1
- Xavier NX Devkit
sudo ./flash.sh jetson-xavier-nx-devkit mmcblk0p1
3.6.2 下载我们的bsp包
cd $L4T_DIR
git clone https://github.com/veyeimaging/nvidia_jetson_veye_bsp.git
export RELEASE_PACK_DIR=$L4T_DIR/nvidia_jetson_veye_bsp
3.6.3 升级Image和DTB
prebuilt Image on github:https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/kernel_image
- 升级Image文件
无论是使用预编译好的程序还是使用自行编译出的Image：
- Nano 和 TX2
把新的Image拷贝的Nano和TX2的/boot/目录下。
在Jetson TX2板子上执行
sudo cp <path to your Image dir>/Image /boot/Image -f
- AGX Xavier 和Xavier NX
需要使用签名后的文件(比如Image_l4t_r32.*.*_veyecam_signed_4_xavier目录下)，把新的Image和Image.sig拷贝的XAVIER的/boot/目录下。
sudo cp <path to your Image dir>/Image /boot/Image -f
sudo cp <path to your Image dir>/Image.sig /boot/Image.sig -f
在Host PC执行
cd $L4T_DIR
sudo ./flash.sh -k kernel jetson-xavier mmcblk0p1
- Xavier NX
在Host PC执行
cd $L4T_DIR
sudo ./flash.sh -k kernel jetson-xavier-nx-devkit mmcblk0p1
- 烧写DTS分区，进入烧写模式，在Host PC执行
cp <path to your dtb dir>/dtbfilename $L4T_DIR/kernel/dtb/ -f
cd $L4T_DIR
- Nano
sudo ./flash.sh -r -k DTB jetson-nano-qspi-sd mmcblk0p1
sudo ./flash.sh -r -k DTB jetson-nano-devkit mmcblk0p1
sudo ./flash.sh -r -k DTB jetson-nano-2gb-devkit mmcblk0p1
- TX2
sudo ./flash.sh -r -k kernel-dtb jetson-tx2 mmcblk0p1
- TX2 NX(p3509-0000 carrier board)
sudo ./flash.sh -r -k kernel-dtb jetson-xavier-nx-devkit-tx2-nx mmcblk0p1
- AGX Xavier
sudo ./flash.sh -r -k kernel-dtb jetson-xavier mmcblk0p1
- Xavier NX
sudo ./flash.sh -r -k kernel-dtb jetson-xavier-nx-devkit mmcblk0p1
烧写完成后，断电重启。
3.7 Image和DTB更新成功了吗？
完成Image和DTB的更新后，可以使用以下步骤检查操作是否成功。
3.7.1 对于Image
ls /sys/bus/i2c/drivers/
应当有 veye327 veyecam csx307 cssc132 目录的存在
3.7.2 对于DTB
DTB在不同的平台和不同的摄像头模组都会有所不同。
- Nano A02/ Nano 2G
ls /proc/device-tree/host1x/i2c@546c0000/
- Nano B01
ls /proc/device-tree/cam_i2cmux/i2c@*
- TX2 Devkit
ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*
or
ls /proc/device-tree/i2c@3180000/tca9548@77/i2c@*
- AGX Xavier
ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*
or
ls /proc/device-tree/i2c@3180000/tca9548@77/i2c@*
- Xavier NX and TX2 NX(p3509-0000 carrier board)
ls /proc/device-tree/cam_i2cmux/i2c@*
应当可以发现摄像头型号。
3.8 防止被升级所覆盖
确定Image和dtb成功更新之后，请执行以下命令，防止kernel和dtb被升级覆盖。
sudo apt-mark hold nvidia-l4t-kernel nvidia-l4t-kernel-dtbs
3.9 使用源码进行编译
请参考：英伟达Jetson平台上VEYE和CS系列摄像头驱动源码编译指南
kernel和DTS编译完成后，可以按照上面的步骤升级Image和DTB。
4 应用和测试
4.1 系统状态检测
完成系统安装后，在Jetson板端执行以下命令来检测是否正确连接摄像头。
- VEYE-MIPI-327型号(使用VEYE-MIPI-327 dtb)
dmesg | grep veye327
应当有类似如下提示：
Detected VEYE327 sensor
subdev veye327 X-003b bound
此外，检查/dev/videoX设备节点，应当是存在的。
- VEYE-MIPI-X型号(使用VEYE-MIPI-CAM2M dtb)
dmesg | grep veye
应当有类似如下提示：
camera id is veyecam
sensor is IMX327/IMX462/IMX385
subdev veyecam X-003b bound
此外，检查/dev/videoX设备节点，应当是存在的。
- CS-MIPI-IMX307型号
dmesg | grep x307
应当有类似如下提示：
Detected CS307 sensor
subdev csx307 X-003b bound
此外，检查/dev/videoX设备节点，应当是存在的。
- CS-MIPI-SC132型号
dmesg | grep cssc132
应当有类似如下提示：
subdev cssc132 X-003b bound
此外，检查/dev/videoX设备节点，应当是存在的。
- VEYE-MIP-IMX335型号
dmesg | grep imx335
应当有类似如下提示：
camera id is VEYE-MIPI-IMX335
subdev veye_imx335 10-003b bound
此外，检查/dev/videoX设备节点，应当是存在的。
4.2 视频流软件包和测试
我们的摄像头模组，在TX2系统中映射为/dev/videoX设备节点。X值是按照detect的逻辑顺序[0-5]递增的。举例说，如果只接入一个摄像头，则X为0。如果接入5个，则X体现为[0-4]。
gstreamer中，v4l2src可以通过指明device=/dev/videoX来访问不同的摄像头。
4.2.1 Gstreamer Usage
- 视频预览1080p HD
gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false
gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nvoverlaysink sync=false
- 视频预览1080p HD(using xvimagesink sink)
export DISPLAY=:0
gst-launch-1.0 -e v4l2src io-mode=4 device=/dev/video0 do-timestamp=true ! 'video/x-raw, width=1920, height=1080, framerate=30/1, format=UYVY' ! xvimagesink sync=false
- 视频预览720p@60 HD(模组支持此分辨率时)
gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false
- 视频预览1280*1080@45fpsHD
gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)1080, framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false
- 视频预览640*480@130fps(模组支持此分辨率时)
gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false
- 并列预览两路视频 1080p HD
WIDTH=960
HEIGHT=540
CAPS="video/x-raw(memory:NVMM),format=(string)UYVY, width=1920, height=1080"
gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nvoverlaysink nvv4l2camerasrc device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. nvv4l2camerasrc device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.
- Gstreamer 嵌入到 OpenCV
I think maybe OpenCV do not support I420 data format input，so you should convert it to BGR format.
gst-launch-1.0 nvv4l2camerasrc ! video/x-raw(memory:NVMM), format=(string)UYVY, width=(int)1920, height=(int)1080 ! nvvidconv ! video/x-raw(memory:NVMM), format=(string)I420 ! nvvidconv ! video/x-raw, format=(string)BGRx ! videoconvert ! video/x-raw, format=(string)BGR ! appsink
- 视频录像1080p HD
gst-launch-1.0 nvv4l2camerasrc num-buffers=300 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nvv4l2h264enc control-rate=1 bitrate=10000000 ! h264parse ! qtmux ! filesink location=filename.mp4 -e
- 录像回放
gst-launch-1.0 filesrc location=filename.mp4 ! qtdemux ! queue ! h264parse ! nvv4l2decoder ! nvoverlaysink -e
- 抓拍图片
gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg
4.2.2 VEYE-MIPI-IMX335 的gstreamer例子
由于VEYE-MIPI-IMX335仅支持几种特定的分辨率模式，其驱动我们采用了use_sensor_mode_id模式。
| ./veye5_mipi_i2c.sh video mode | v4l2-ctl sensor_mode | video format |
|---|---|---|
| 1 | 0 | 2592x1944@20fps |
| 2 | 1 | 2592x1944@12.5fps |
| 3 | 2 | 2560x1440@25fps |
| 4 | 3 | 2560x1440@30fps |
- 准备工作
sudo apt-get install v4l-utils
参考下面一节，下载好veye5_mipi_i2c.sh工具。
- 2592x1944@20fps模式预览，帧率统计
v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=0
./veye5_mipi_i2c.sh -w -f videomode -p1 1
v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5376
预览
gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM), width=(int)2592, height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false
帧率统计
gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY,width=(int)2592,height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! fpsdisplaysink video-sink=fakesink -v
- 2560x1440@30fps模式录像、抓拍
v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=3
./veye5_mipi_i2c.sh -w -f videomode -p1 4
v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5120
录像
gst-launch-1.0 nvv4l2camerasrc num-buffers=300 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nvv4l2h264enc control-rate=0 bitrate=10000000 ! h264parse ! qtmux ! filesink location=filename.mp4 -e
录像回放
gst-launch-1.0 filesrc location=filename.mp4 ! qtdemux ! queue ! h264parse ! nvv4l2decoder ! nvoverlaysink -e
抓图
gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg
4.3 视频控制软件包的使用
4.3.1 i2c bus说明：
在TX2和AGX-Xavier平台，ADP-N1共6个MIPI接口，CAM0-CAM5对应的i2c地址为[30-35]。
在Xavier NX, TX2 NX平台，CAM0对应10，CAM1对应9。
在Nano A02,Nano 2GB平台，i2c地址为6。
在Nano B01平台，CAM0对应7，CAM1对应8。
i2cbus与启动阶段dmesg 显示的X部分一致。
subdev veyeX X-003b bound
subdev csimx307 X-003b bound
subdev cssc132 X-003b bound
执行i2c控制脚本时，需使用-b选项来指明控制的对应摄像头。
- VEYE-MIPI-CAM2M系列（VEYE-MIPI-327、VEYE-MIPI-IMX327S、VEYE-MIPI-IMX462、VEYE-MIPI-IMX385）
具体使用说明请见：VEYE-MIPI-327 I2C脚本使用说明。
- CS-MIPI-IMX307和CS-MIPI-SC132
具体使用说明请见：CS-MIPI-X I2C脚本使用说明。
- VEYE-MIPI-IMX335
具体使用说明请见：VEYE-MIPI-IMX335 I2C脚本使用说明。
5 瑞泰RTSO-9001的补充说明
5.1 硬件连接方法
与瑞泰RTSO-9001配套，需使用树莓派相机扩展板RTST-RPI转接板。
备注：当前版本的RTSO-9001的MIPI CSI-2接口供电能力不足以支撑我们摄像头的功率需求，需要额外5V供电给摄像头。上图中并未提现。
5.2 软件的补充说明
- 针对瑞泰RTSO-9001,对应的目录为：
nvidia_jetson_veye_bsp\TX2\JetPack_4.2.2_Linux_RTSO-9001
- 受与瑞泰公司协议限制，我方不发布源代码
- 我方资料已提交瑞泰公司，建议客户与瑞泰联系获取完善版本的支持镜像
6 文档历史
- 20220110
增加对新型号VEYE-MIPI-IMX335的相关说明。
- 20220105
Use nvv4l2h264enc instead of omxh264enc in gstreamer command，because omxh264enc has been deprecated.
- 20211025
gstreamer命令中，普遍采用nvcamerasrc代替v4l2src，数据直接进入DMA内存。
7 参考资料
Jetson start up： https://developer.nvidia.com/embedded/learn/getting-started-jetson
Jetson Download Center: https://developer.nvidia.com/embedded/downloads
Xavier NX: https://developer.nvidia.com/embedded/learn/get-started-jetson-xavier-nx-devkit
TX2 development kit： https://developer.nvidia.com/embedded/jetson-tx2-developer-kit
SDK Manager: https://docs.nvidia.com/sdk-manager/index.html
L4T Doc: https://docs.nvidia.com/jetson/archives/l4t-archived/l4t-325/
TX2 user guide: link
北京瑞泰新时代公司网址：http://www.realtimes.cn/