VEYE CS Camera for Jetson TX2/zh

From wiki_veye
Jump to navigation Jump to search
The printable version is no longer supported and may have rendering errors. Please update your browser bookmarks and please use the default browser print function instead.

English

如何在英伟达Jetsno Nano,TX2,AGX Xavier和Xavier NX平台使用VEYE系列和CS系列摄像头模组

1 概述

本文讲述怎样将VEYE系列和CS系列模组接入到英伟达公司的Jetson Nano,Jetson Nano 2GB,Jetson TX2,TX2 NX和AGX Xavier开发板,Xavier NX Devkit以及我们兼容的其他主板上。采用的软件版本为

  • Jetpack4.2.2,L4T版本r32.2.1
  • Jetpack4.3,L4T版本r32.3.1
  • Jetpack4.4,L4T版本r32.4.3
  • Jetpack4.4.1,L4T版本r32.4.4
  • Jetpack4.5,L4T版本r32.5
  • Jetpack4.5.1,L4T版本r32.5.1

我们提供了编译好的固件和源代码两种方式来方便用户的使用。

VEYE-MIPI-327/CS-MIPI-IMX307是内置ISP的摄像头模组,输出为MIPI-CSI2接口UYVY流模式。对于图像效果参数,我们并没有采用V4L2接口实现,而是采用了DRA(Directly Register Access)模式,我们提供了一组Shell脚本直接控制摄像头模组。

1.1 怎样查看当前L4T版本

在jetson板子上,查看当前L4T版本,尽量使用同一版本进行替换。

cat /etc/nv_tegra_release

如显示:

# R32 (release), REVISION: 4.3......

则表示当前L4T版本为32.4.3。

2 硬件准备及安装

我们设计了专用的转接板,支持6路摄像头,兼容TX2 Devkit和Xavier。

6cam interposer board connected with 6 cameras


2.1 英伟达TX2 Developer Kit

TX2 Devkit 6 cameras connection


注意,使用中请务必用螺丝将ADP转接板固定到底板上面。

2.2 英伟达AGX Xavier

转接板是兼容TX2转接板的,连接方式如图:

Connect VEYE cameras to AGX Xavier
Connect VEYE cameras to AGX Xavier


注意,使用中请务必用螺丝将ADP转接板固定到底板上面。

2.3 英伟达Nano 、 Xavier NX Devkit和TX2 NX

Xavier NX 的接口是兼容树莓派和Jetson Nano的。 连接方式如图:

Xavier NX connection with VEYE-MIPI-327
Xavier NX connection with VEYE-MIPI-327
Xavier NX connection with CS-MIPI-IMX307
Xavier NX connection with CS-MIPI-IMX307(3.3V供电)
Jetson Nano A02 与VEYE模组连接
Jetson Nano A02 与VEYE模组连接


3 更新Jetson Nano, Jetson TX2,TX2 NX, AGX Xavier和Xavier NX系统

3.1 概述

本章节描述怎样更新Jetson系统以支持我们的摄像头模组。要支持我们的摄像头模组,需要更新Jetson系统的L4T(Linux for Tegra)的两个部分,Image和DTB。

Image部分,我们增加了摄像头驱动,DTB部分则指明了使用的摄像头型号。一般情况下,只需使用我们已编译好的Image和DTB,非必要情况下,无需根据代码进行编译。

特别的,对于Jetson Nano 和 Xavier NX,我们提供了TF卡的烧写镜像。

3.2 整体烧写Jetson Nano 和 Xavier NX Devkit

此方法不再推荐,因为这种模式下,在某些情况下,DTB分区会恢复成默认值。推荐采用使用预编译好Image和DTB这种方式来进行驱动升级。

客户可选择直接使用我们编译好的镜像进行系统更新,以支持我司摄像头模组。

  • 镜像下载路径:

baiduyun链接:https://pan.baidu.com/s/1sWrcfEOivjuQ7T7P5bVcng

google driver:https://drive.google.com/drive/folders/1KHSMTdyw-ZczR1yJPj-5y9eIv7izbgt3?usp=sharing

下载后请先解压后烧写。

如百度云盘下载过慢,可以单独联系我公司客服xumm@csoneplus.com索取。

  • 烧写方法

参考官方链接

3.3 BSP包介绍:

3.3.1 路径

https://github.com/veyeimaging/nvidia_jetson_veye_bsp

3.3.2 bsp包包括以下主要内容:
  • 预编译好的linux kernel:Image
  • 预编译好的不同平台下的dtb
  • driver源码
  • dts源码
  • i2c通信工具集

3.4 DTB文件名称与板卡对应关系

3.4.1 Nano A02

tegra210-p3448-0000-p3449-0000-a02.dtb

3.4.2 Nano B01

tegra210-p3448-0000-p3449-0000-b00.dtb

3.4.3 Nano 2GB

tegra210-p3448-0003-p3542-0000.dtb

3.4.4 TX2 Devkit

tegra186-quill-p3310-1000-c03-00-base.dtb

3.4.5 TX2 NX(p3509-0000 carrier board)

use the same carrier board with XAVIER NX Devkit

tegra186-p3636-0001-p3509-0000-a01.dtb

3.4.6 AGX XAVIER

tegra194-p2888-0001-p2822-0000.dtb

3.4.7 XAVIER NX Devkit

tegra194-p3668-all-p3509-0000.dtb

3.5 Jetson Nano和Xavier NX、AGX Xavier无需HOST PC升级方法

注:AGX Xavier在Jetpack4.4以后的版本,建议可以使用此方法。以前版本我们未作验证,不建议使用。

3.5.1 查看当前L4T版本

首先查看当前L4T版本,尽量使用同一版本进行替换。

cat /etc/nv_tegra_release

如显示:

# R32 (release), REVISION: 4.3......

则表示当前L4T版本为32.4.3。

3.5.2 下载bsp包到Jetson板子

在Jetson Nano或者Xavier NX上面,执行:

git clone https://github.com/veyeimaging/nvidia_jetson_veye_bsp.git

3.5.3 升级Image

首先在bsp包目录下,找到对应版本的Image压缩包,解压后执行:

sudo cp <path to your Image dir>/Image /boot/Image -f

特别的,对于xavier nx需要使用签名后的文件(比如Image_l4t_r32.*.*_veyecam_signed_4_xavier目录下),把新的Image和Image.sig拷贝的XAVIER的/boot/目录下。

sudo cp <path to your Image dir>/Image /boot/Image -f

sudo cp <path to your Image dir>/Image.sig /boot/Image.sig -f

重启后生效。

3.5.4 升级dtb

在bsp包目录下,找到您对应的摄像头模组型号和L4T版本号的dtb文件。

sudo cp <path to your dtb dir>/<DTB file name> /boot/ -f

然后,编辑 /boot/extlinux/extlinux.conf文件,增加如下一行。

FDT /boot/<DTB file name>

重启后生效。

3.6 通过HOST PC升级方法

3.6.1 烧写标准版本镜像

注意:如您的Jetson板子已经正确烧写了标准版本的镜像,此步骤可以跳过。

可以使用SDK Manager直接烧写标准镜像,也可以按照如下步骤手动烧写。

  • 配置环境变量

以下步骤假设SDK安装目录为<TOPDIR>。

export TOP_DIR=<absolute path to top dir accroding to your jetpack version and board name;for example /home/xumm/nvidia/nvidia_sdk/JetPack_4.5_Linux_JETSON_XAVIER_NX_DEVKIT/>

- 通用部分

export L4T_DIR=$TOP_DIR/Linux_for_Tegra

  • 生成默认版本烧写镜像,烧写默认镜像到板子,准备好L4T环境

cd $L4T_DIR

sudo ./apply_binaries.sh  

进入recovery mode并烧写标准版本镜像。

- Nano

sudo ./flash.sh jetson-qspi-sd mmcblk0p1

sudo ./flash.sh jetson-nano-devkit mmcblk0p1

sudo ./flash.sh jetson-nano-2gb-devkit mmcblk0p1

- TX2

sudo ./flash.sh jetson-tx2 mmcblk0p1

- TX2 NX(p3509-0000 carrier board)

sudo ./flash.sh jetson-xavier-nx-devkit-tx2-nx mmcblk0p1

- AGX Xavier

sudo ./flash.sh jetson-xavier mmcblk0p1

- Xavier NX Devkit

sudo ./flash.sh jetson-xavier-nx-devkit mmcblk0p1

3.6.2 下载我们的bsp包

cd $L4T_DIR

git clone https://github.com/veyeimaging/nvidia_jetson_veye_bsp.git

export RELEASE_PACK_DIR=$L4T_DIR/nvidia_jetson_veye_bsp

3.6.3 升级Image和DTB

prebuilt Image on github:https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/kernel_image

  • 升级Image文件

无论是使用预编译好的程序还是使用自行编译出的Image:

- Nano 和 TX2

把新的Image拷贝的Nano和TX2的/boot/目录下。

在Jetson TX2板子上执行

sudo cp <path to your Image dir>/Image /boot/Image -f

- AGX Xavier 和Xavier NX

需要使用签名后的文件(比如Image_l4t_r32.*.*_veyecam_signed_4_xavier目录下),把新的Image和Image.sig拷贝的XAVIER的/boot/目录下。

sudo cp <path to your Image dir>/Image /boot/Image -f

sudo cp <path to your Image dir>/Image.sig /boot/Image.sig -f

在Host PC执行

cd $L4T_DIR

sudo ./flash.sh -k kernel jetson-xavier mmcblk0p1

- Xavier NX

在Host PC执行

cd $L4T_DIR

sudo ./flash.sh -k kernel jetson-xavier-nx-devkit mmcblk0p1

  • 烧写DTS分区,进入烧写模式,在Host PC执行

cp <path to your dtb dir>/dtbfilename $L4T_DIR/kernel/dtb/ -f

cd $L4T_DIR

- Nano

sudo ./flash.sh -r -k DTB jetson-nano-qspi-sd mmcblk0p1

sudo ./flash.sh -r -k DTB jetson-nano-devkit mmcblk0p1

sudo ./flash.sh -r -k DTB jetson-nano-2gb-devkit mmcblk0p1

- TX2

sudo ./flash.sh -r -k kernel-dtb jetson-tx2 mmcblk0p1

- TX2 NX(p3509-0000 carrier board)

sudo ./flash.sh -r -k kernel-dtb jetson-xavier-nx-devkit-tx2-nx mmcblk0p1

- AGX Xavier

sudo ./flash.sh -r -k kernel-dtb jetson-xavier mmcblk0p1

- Xavier NX

sudo ./flash.sh -r -k kernel-dtb jetson-xavier-nx-devkit mmcblk0p1

烧写完成后,断电重启。

3.7 Image和DTB更新成功了吗?

完成Image和DTB的更新后,可以使用以下步骤检查操作是否成功。

3.7.1 对于Image

ls /sys/bus/i2c/drivers/

应当有 veye327 csx307 cssc132 目录的存在

3.7.2 对于DTB

DTB在不同的平台和不同的摄像头模组都会有所不同。

- Nano A02/ Nano 2G

ls /proc/device-tree/host1x/i2c@546c0000/

- Nano B01

ls /proc/device-tree/cam_i2cmux/i2c@*

- TX2 Devkit

ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*

or

ls /proc/device-tree/i2c@3180000/tca9548@77/i2c@*

- AGX Xavier

ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*

- Xavier NX and TX2 NX(p3509-0000 carrier board)

ls /proc/device-tree/cam_i2cmux/i2c@*

应当可以发现摄像头型号。

3.8 使用源码进行编译

请参考:英伟达Jetson平台上VEYE和CS系列摄像头驱动源码编译指南

kernel和DTS编译完成后,可以按照上面的步骤升级Image和DTB。

4 应用和测试

4.1 系统状态检测

完成系统安装后,在Jetson板端执行以下命令来检测是否正确连接摄像头。

  • VEYE-MIPI-327型号

dmesg | grep veye327  

应当有类似如下提示:

Detected VEYE327 sensor

subdev veye327 X-003b bound

此外,检查/dev/videoX设备节点,应当是存在的。

  • CS-MIPI-IMX307型号

dmesg | grep x307  

应当有类似如下提示:

Detected CS307 sensor

subdev csx307 X-003b bound

此外,检查/dev/videoX设备节点,应当是存在的。

  • CS-MIPI-SC132型号

dmesg | grep cssc132  

应当有类似如下提示:

subdev cssc132 X-003b bound

此外,检查/dev/videoX设备节点,应当是存在的。

4.2 视频流软件包和测试

我们的摄像头模组,在TX2系统中映射为/dev/videoX设备节点。X值是按照detect的逻辑顺序[0-5]递增的。举例说,如果只接入一个摄像头,则X为0。如果接入5个,则X体现为[0-4]。

gstreamer中,v4l2src可以通过指明device=/dev/videoX来访问不同的摄像头。

4.2.1 Gstreamer Usage
  • 视频预览1080p HD(硬件加速)

gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false

  • 视频预览1080p HD(using xvimagesink sink)

export DISPLAY=:0

gst-launch-1.0 -e v4l2src io-mode=4 device=/dev/video0 do-timestamp=true ! 'video/x-raw, width=1920, height=1080, framerate=30/1, format=UYVY' ! xvimagesink sync=false

  • 视频预览720p@60 HD(模组支持此分辨率时,硬件加速)

gst-launch-1.0 v4l2src ! "video/x-raw,format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false

  • 视频预览1280*1080@45fpsHD(硬件加速)

gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)1280, height=(int)1080,framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false

  • 视频预览640*480@130fps(模组支持此分辨率时,硬件加速)

gst-launch-1.0 v4l2src ! "video/x-raw,format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false

  • 并列预览两路视频 1080p HD(硬件加速)

WIDTH=960

HEIGHT=540

CAPS="video/x-raw,format=(string)UYVY, width=1920, height=1080"

gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nvoverlaysink v4l2src device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. v4l2src device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.

  • Gstreamer 嵌入到 OpenCV

I think maybe OpenCV do not support I420 data format input,so you should convert it to BGR format.

gst-launch-1.0 v4l2src ! video/x-raw, format=(string)UYVY, width=(int)1920, height=(int)1080 ! nvvidconv ! video/x-raw(memory:NVMM), format=(string)I420 ! nvvidconv ! video/x-raw, format=(string)BGRx ! videoconvert ! video/x-raw, format=(string)BGR ! appsink

  • 视频录像1080p HD(硬件加速)

gst-launch-1.0 v4l2src num-buffers=300 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! omxh264enc qp-range=20,20:20,20:-1,-1 ! matroskamux ! queue ! filesink location=videoname.mkv

  • 录像回放(硬件加速)

gst-launch-1.0 filesrc location=videoname.mkv ! matroskademux ! h264parse ! omxh264dec ! nvoverlaysink

  • 抓拍图片

gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! jpegenc ! filesink location=jpgname.jpg

4.3 视频控制软件包的使用

  • i2c bus说明:

在TX2和AGX-Xavier平台,ADP-N1共6个MIPI接口,对应的i2c地址为[30-35]。

在Xavier NX平台,i2c地址为9和10。

在Xavier Nano A02平台,i2c地址为6。

在Xavier Nano B01平台,i2c地址为7和8。

dmesg 显示的X部分一致。

subdev veye327 X-003b bound

subdev csimx307 X-003b bound

subdev cssc132 X-003b bound

执行i2c控制脚本时,需使用-b选项来指明控制的对应摄像头。

  • VEYE-MIPI-327

具体使用说明请见:VEYE-MIPI-327 I2C脚本使用说明

  • CS-MIPI-IMX307和CS-MIPI-SC132

具体使用说明请见:CS-MIPI-X I2C脚本使用说明

5 瑞泰RTSO-9001的补充说明

5.1 硬件连接方法

CS-MIPI-IMX307 与瑞泰RTSO-9001(TX2)


与瑞泰RTSO-9001配套,需使用树莓派相机扩展板RTST-RPI转接板。

备注:当前版本的RTSO-9001的MIPI CSI-2接口供电能力不足以支撑我们摄像头的功率需求,需要额外5V供电给摄像头。上图中并未提现。

5.2 软件的补充说明

  • 针对瑞泰RTSO-9001,对应的目录为:

nvidia_jetson_veye_bsp\TX2\JetPack_4.2.2_Linux_RTSO-9001

  • 受与瑞泰公司协议限制,我方不发布源代码
  • 我方资料已提交瑞泰公司,建议客户与瑞泰联系获取完善版本的支持镜像

6 参考资料

Jetson start up: https://developer.nvidia.com/embedded/learn/getting-started-jetson

Jetson Download Center: https://developer.nvidia.com/embedded/downloads

Xavier NX: https://developer.nvidia.com/embedded/learn/get-started-jetson-xavier-nx-devkit

TX2 development kit: https://developer.nvidia.com/embedded/jetson-tx2-developer-kit

SDK Manager: https://docs.nvidia.com/sdk-manager/index.html

L4T Doc: https://docs.nvidia.com/jetson/archives/l4t-archived/l4t-325/

TX2 user guide: link

北京瑞泰新时代公司网址:http://www.realtimes.cn/