Difference between revisions of "VEYE CS Camera for Jetson TX2/zh"

Latest revision as of 15:09, 18 November 2024

如何在英伟达Jetsno Nano,TX2,Xavier和Orin平台使用VEYE系列和CS系列摄像头模组

1 概述

本文讲述怎样将VEYE系列和CS系列模组接入到英伟达公司的Jetson 板子上。采用的软件版本为：

Jetpack4.2.2,L4T版本r32.2.1
Jetpack4.3,L4T版本r32.3.1
Jetpack4.4,L4T版本r32.4.3
Jetpack4.4.1,L4T版本r32.4.4
Jetpack4.5,L4T版本r32.5
Jetpack4.5.1,L4T版本r32.5.1
Jetpack4.6,L4T版本r32.6.1
Jetpack4.6.1,L4T版本r32.7.1
Jetpack4.6.3,L4T版本r32.7.3
Jetpack4.6.2,L4T版本r32.7.2
Jetpack4.6.4,L4T版本r32.7.4
Jetpack5.0.1DP,L4T版本r34.1.1
Jetpack5.0.2,L4T版本r35.1
Jetpack5.1,L4T版本r35.2.1
Jetpack5.1.1,L4T版本r35.3.1
Jetpack5.1.2,L4T版本r35.4.1
Jetpack5.1.3,L4T版本r35.5
Jetpack6.0,L4T版本r36.3
Jetpack6.1,L4T版本r36.4

我们提供了编译好的固件和源代码两种方式来方便用户的使用。

VEYE系列和CS系列摄像头是内置ISP的摄像头模组，输出为MIPI-CSI2接口UYVY流模式。对于图像效果参数，我们并没有采用V4L2接口实现，而是采用了DRA(Directly Register Access)模式，我们提供了一组Shell脚本直接控制摄像头模组。

1.1 支持的模组：

模组型号支持表
系列	型号	状态
VEYE系列	VEYE-MIPI-IMX327S	完成
VEYE系列	VEYE-MIPI-IMX385	完成
VEYE系列	VEYE-MIPI-IMX462	完成
VEYE系列	VEYE-MIPI-IMX335	完成
CS系列	CS-MIPI-IMX307	完成
CS系列	CS-MIPI-SC132	完成
套装系列	CS-TX2-XAVIER-nCAM	完成

VEYE系列和CS系列MIPI摄像头模组是内置ISP的，输出为MIPI-CSI2接口。

1.2 怎样查看当前L4T版本

1.2.1 方法1

在jetson板子上，查看当前L4T版本，尽量使用同一版本进行替换。

cat /etc/nv_tegra_release

如显示：

# R32 (release), REVISION: 4.3......

则表示当前L4T版本为32.4.3。

1.2.2 方法2

参考这个链接，安装jetson-stats:

jtop

2 硬件准备及安装

我们设计了专用的转接板，支持6路摄像头，兼容TX2 Devkit，Xavier和Orin。

ADP-N1连接图	ADP-N1 V2.0连接图
6cam interposer board connected with 6 cameras	6cam interposer board connected with 6 cameras

特别的，VEYE-MIPI-IMX335由于功耗较高，必须使用12V DC端子提供辅助供电。参考ADP-N1的J11。

2.1 英伟达TX2 Developer Kit

TX2 Devkit 6 cameras connection

注意，使用中请务必用螺丝将ADP转接板固定到底板上面,以保证转接板安装平正。

2.2 英伟达AGX Xavier(AGX Orin与此相同)

转接板是兼容TX2转接板的，连接方式如图：

Connect VEYE cameras to AGX Xavier

注意，使用中请务必用螺丝将ADP转接板固定到底板上面,以保证转接板安装平正。

2.3 英伟达Nano 、 Xavier NX Devkit和TX2 NX

Xavier NX 的接口是兼容树莓派和Jetson Nano的。连接方式如图：

Xavier NX connection with VEYE-MIPI-327

Xavier NX connection with CS-MIPI-IMX307(3.3V供电)

Jetson Nano A02 与VEYE模组连接

VEYE camera connection with Orin Nano and Orin NX

3 更新Jetson系统

本章节描述怎样更新Jetson的L4T系统以支持MV摄像头模组。操作系统更新方法，请参考更新Jetson操作系统。

4 应用和测试

4.1 系统状态检测

完成系统安装后，在Jetson板端执行以下命令来检测是否正确连接摄像头。

VEYE-MIPI-X型号(使用VEYE-MIPI-CAM2M dtb)

dmesg | grep veye

应当有类似如下提示：

camera id is veyecam

sensor is IMX327/IMX462/IMX385

subdev veyecam [i2c_bus]-003b bound

此外，检查/dev/videoX设备节点，应当是存在的。

CS-MIPI-IMX307型号

dmesg | grep x307

应当有类似如下提示：

Detected CS307 sensor

subdev csx307 [i2c_bus]-003b bound

此外，检查/dev/videoX设备节点，应当是存在的。

CS-MIPI-SC132型号

dmesg | grep cssc132

应当有类似如下提示：

subdev cssc132 [i2c_bus]-003b bound

此外，检查/dev/videoX设备节点，应当是存在的。

VEYE-MIP-IMX335型号

dmesg | grep imx335

应当有类似如下提示：

camera id is VEYE-MIPI-IMX335

subdev veye_imx335 [i2c_bus]-003b bound

此外，检查/dev/videoX设备节点，应当是存在的。

VEYE-MIPI-327型号(使用VEYE-MIPI-327 dtb)

dmesg | grep veye327

应当有类似如下提示：

Detected VEYE327 sensor

subdev veye327 [i2c_bus]-003b bound

此外，检查/dev/videoX设备节点，应当是存在的。

驱动提示信息中的[i2c_bus]表示此摄像头对应的i2c总线。

4.2 视频流软件包和测试

摄像头模组在Jetson系统中映射为/dev/videoX设备节点。

操作系统启动过程中，按照i2c bus从小到大的顺序探测摄像头。X值是按照探测的逻辑顺序[0-5]递增的。

举例说，如果只接入一个摄像头，无论硬件连接到哪个位置，X都为0。如果接入5个，则按照i2c bus从小到大，X为[0-4]。

gstreamer中，v4l2src和nvv4l2camerasrc可以通过指明device=/dev/videoX来访问不同的摄像头。

4.2.1 Gstreamer Usage

To install the latest accelerated gstreamer plugins and applications, run the following commands:

sudo apt-get update

sudo apt-get install nvidia-l4t-gstreamer

sudo ldconfig

rm -rf .cache/gstreamer-1.0/

export DISPLAY=:0

视频预览1080p HD

gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false

gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nv3dsink sync=false

视频预览1080p HD(using xvimagesink sink if supported)

export DISPLAY=:0

gst-launch-1.0 -e v4l2src io-mode=4 device=/dev/video0 do-timestamp=true ! 'video/x-raw, width=1920, height=1080, framerate=30/1, format=UYVY' ! xvimagesink sync=false

视频预览720p@60 HD(模组支持此分辨率时)

gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false

视频预览1280*1080@45fpsHD

gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)1080, framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false

视频预览640*480@130fps(模组支持此分辨率时)

gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false

并列预览两路视频 1080p HD

WIDTH=960

HEIGHT=540

CAPS="video/x-raw(memory:NVMM),format=(string)UYVY, width=1920, height=1080"

gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nv3dsink nvv4l2camerasrc device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. nvv4l2camerasrc device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.

Gstreamer 嵌入到 OpenCV

I think maybe OpenCV do not support I420 data format input，so you should convert it to BGR format.

gst-launch-1.0 nvv4l2camerasrc ! video/x-raw(memory:NVMM), format=(string)UYVY, width=(int)1920, height=(int)1080 ! nvvidconv ! video/x-raw(memory:NVMM), format=(string)I420 ! nvvidconv ! video/x-raw, format=(string)BGRx ! videoconvert ! video/x-raw, format=(string)BGR ! appsink

视频录像1080p HD

gst-launch-1.0 nvv4l2camerasrc num-buffers=300 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nvv4l2h264enc control-rate=1 bitrate=10000000 ! h264parse ! qtmux ! filesink location=filename.mp4 -e

录像回放

gst-launch-1.0 filesrc location=filename.mp4 ! qtdemux ! queue ! h264parse ! nvv4l2decoder ! nv3dsink -e

抓拍图片

gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg

4.2.2 VEYE-MIPI-IMX335 的gstreamer例子

由于VEYE-MIPI-IMX335仅支持几种特定的分辨率模式，其驱动我们采用了use_sensor_mode_id模式。

VEYE-MIPI-IMX335 mode
./veye5_mipi_i2c.sh video mode	v4l2-ctl sensor_mode	video format
1	0	2592x1944@20fps
2	1	2592x1944@12.5fps
3	2	2560x1440@25fps
4	3	2560x1440@30fps

准备工作

sudo apt-get install v4l-utils

参考下面一节，下载好veye5_mipi_i2c.sh工具。

2592x1944@20fps模式预览，帧率统计

v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=0

./veye5_mipi_i2c.sh -w -f videomode -p1 1 -b [busnum]

v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5376

预览

gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM), width=(int)2592, height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false

帧率统计

gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY,width=(int)2592,height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! fpsdisplaysink video-sink=fakesink -v

2560x1440@30fps模式录像、抓拍

v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=3

./veye5_mipi_i2c.sh -w -f videomode -p1 4 -b [busnum]

v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5120

录像

gst-launch-1.0 nvv4l2camerasrc num-buffers=300 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nvv4l2h264enc control-rate=0 bitrate=10000000 ! h264parse ! qtmux ! filesink location=filename.mp4 -e

录像回放

gst-launch-1.0 filesrc location=filename.mp4 ! qtdemux ! queue ! h264parse ! nvv4l2decoder ! nvoverlaysink -e

抓图

gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg

4.2.3 Jetson multimedia-api samples

Jetson平台上提供了Jetson Linux API 供开发者使用。具体jetson_multimedia_api包的安装请参考nVidia官方文档。

对于VEYE和CS系列相机，已经在相机内集成了ISP功能，因此不能使用libargus获取数据，而可以直接使用使用标准V4L2接口从/dev/videoX设备文件获取数据。

下面两个sample可以直接运行：

4.2.3.1 12_camera_v4l2_cuda

./camera_v4l2_cuda -d /dev/video0 -s 1920x1080 -f UYVY

4.2.3.2 v4l2cuda

./capture-cuda -d /dev/video0 -f UYVY -m -o out.ppm -s 1920x1080 -c 1

4.2.4 v4l2-ctl 应用范例

4.2.4.1 安装v4l2-utils

sudo apt-get install v4l-utils

4.2.4.2 使用v4l2-ctl配置参数

列出相机支持的数据格式

v4l2-ctl --list-formats-ext

帧率统计

v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY--stream-mmap --stream-count=-1 --stream-to=/dev/null

保存图片到文件

v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY --stream-mmap --stream-count=1 --stream-to=uyvy-1920x1080.yuv

4.2.5 yavta

4.2.5.1 安装yavta

git clone https://github.com/veyeimaging/yavta.git

cd yavta;make

4.2.5.2 保存图片到文件

./yavta -c1 -FUYVY-1920x1080.yuv --skip 0 -f UYVY -s 1920x1080 /dev/video0

4.2.6 Opencv

为了将摄像头数据从v4l2设备导入到opencv，我们提供了几个sample。

We provide some samples here.

4.3 使用i2c脚本修改摄像机参数

VEYE-MIPI-CAM2M系列（VEYE-MIPI-327、VEYE-MIPI-IMX327S、VEYE-MIPI-IMX462、VEYE-MIPI-IMX385）

具体使用说明请见：VEYE-MIPI-327 I2C脚本使用说明。

CS-MIPI-IMX307和CS-MIPI-SC132

具体使用说明请见：CS-MIPI-X I2C脚本使用说明。

VEYE-MIPI-IMX335

具体使用说明请见：VEYE-MIPI-IMX335 I2C脚本使用说明。

5 怎样移植驱动到第三方底板

源码编译步骤请参考：英伟达Jetson平台上VEYE和CS系列摄像头驱动源码编译指南

5.1 驱动移植

对于Image，我们是在官方标准Image基础上增加了功能，并没有做任何删减。一般情况下，可以直接使用我们编译好的Image。特殊情况请参考源码进行整合。

对于modules则更简单，直接使用即可。从源码编译和非常简单，此处不做赘述。

5.2 dts移植

我们只提供了Nano、TX2、Xavier、Orin的部分板子的dtb，对于没有提供的类型，需要：

1. 得到该板子的dts源码。

2. 我们camera相关的dts到整体中。

3. 重新编译得到对应板子的dtb。

操作步骤并不复杂，但是有一些第三方底板厂家并不开放dts源码。这就需要各方的配合才能做到了。

6 常见问题和bug列表

6.1 VEYE cameras on Jetpack5.x

Jetpack5.x在xavier和orin平台对mipi信号的要求更加严格。VEYE-MIPI-xxx系列相机需要固件版本hdver>=7才可以完美支持。

6.2 CS-MIPI-IMX307配合Orin nano以及Orin NX绿屏

当CS-MIPI-IMX307使用FFC cable的3.3V供电模式时，现在（Jetpack5.1.1)Orin nano和Orin NX的MIPI接收状态机会进入错误状态。建议参考此文章，修改CS-MIPI-IMX307的供电模式，使用5V供电模式。

6.3 Jetpack5.0.1 DP

本版本有很多bug，如不支持nvv4l2camerasrc,不建议使用。

6.4 nv3dsink

Jetpack5.x不再支持nvoverlaysink，使用nv3dsink替代之。nv3ksink需要使用本地执行，不能ssh远程登陆执行。

7 文档历史

2024-10-22

将常见问题的一部分转移到驱动升级的文章中。

2024-08-06

将第三章独立成一篇。

2024-05-22

支持Jetpack5.1.3。

20230427

支持Jetpack5.1.1。

20230222

支持Jetpack5.1。

20220831

完善Jetpack5.0.2下关于VEYE系列和 MV系列的说明。

20220824

支持Jetpack5.0.2。

20220720

增加Jetson multimedia-api和v4l2-ctl描述。

20220714

增加对L4T32.7.2的说明。

20220629

增加Jetpack5.0.1DP的支持，调通AGX-Orin。

20220110

增加对新型号VEYE-MIPI-IMX335的相关说明。

20220105

Use nvv4l2h264enc instead of omxh264enc in gstreamer command，because omxh264enc has been deprecated.

20211025

gstreamer命令中，普遍采用nvv4l2camerasrc代替v4l2src，数据直接进入DMA内存。

8 参考资料

Jetson start up： https://developer.nvidia.com/embedded/learn/getting-started-jetson

Jetson Download Center: https://developer.nvidia.com/embedded/downloads

Xavier NX: https://developer.nvidia.com/embedded/learn/get-started-jetson-xavier-nx-devkit

TX2 development kit： https://developer.nvidia.com/embedded/jetson-tx2-developer-kit

SDK Manager: https://docs.nvidia.com/sdk-manager/index.html

L4T Doc: https://docs.nvidia.com/jetson/archives/l4t-archived/l4t-325/

https://docs.nvidia.com/jetson/archives/r35.3.1/DeveloperGuide/index.html

TX2 user guide: link

@@ Line 1: / Line 1: @@
 [[VEYE CS Camera for Jetson TX2|English]]
-'''<big>如何在英伟达Jetsno TX2,AGX Xavier和Xavier NX平台使用VEYE系列和CS系列摄像头模组</big>'''
+'''<big>如何在英伟达Jetsno Nano,TX2,Xavier和Orin平台使用VEYE系列和CS系列摄像头模组</big>'''
 ===概述===
-本文讲述怎样将VEYE系列和CS系列模组接入到英伟达公司的Jetson Nano,Jetson TX2和AGX Xavier开发板,Xavier NX Devkit以及我们兼容的其他TX2主板上。采用的软件版本为
+本文讲述怎样将VEYE系列和CS系列模组接入到英伟达公司的Jetson 板子上。采用的软件版本为：
 *Jetpack4.2.2,L4T版本r32.2.1
 *Jetpack4.3,L4T版本r32.3.1
 *Jetpack4.4,L4T版本r32.4.3
+*Jetpack4.4.1,L4T版本r32.4.4
+*Jetpack4.5,L4T版本r32.5
+*Jetpack4.5.1,L4T版本r32.5.1
+*Jetpack4.6,L4T版本r32.6.1
+*Jetpack4.6.1,L4T版本r32.7.1
+*Jetpack4.6.3,L4T版本r32.7.3
+*Jetpack4.6.2,L4T版本r32.7.2
+*Jetpack4.6.4,L4T版本r32.7.4
+*Jetpack5.0.1DP,L4T版本r34.1.1
+*Jetpack5.0.2,L4T版本r35.1
+*Jetpack5.1,L4T版本r35.2.1
+*Jetpack5.1.1,L4T版本r35.3.1
+*Jetpack5.1.2,L4T版本r35.4.1
+*Jetpack5.1.3,L4T版本r35.5
+*Jetpack6.0,L4T版本r36.3
+*Jetpack6.1,L4T版本r36.4
 我们提供了编译好的固件和源代码两种方式来方便用户的使用。
-VEYE-MIPI-327/CS-MIPI-IMX307是内置ISP的摄像头模组，输出为MIPI-CSI2接口UYVY流模式。对于图像效果参数，我们并没有采用V4L2接口实现，而是采用了DRA(Directly Register Access)模式，我们提供了一组Shell脚本直接控制摄像头模组。
+VEYE系列和CS系列摄像头是内置ISP的摄像头模组，输出为MIPI-CSI2接口UYVY流模式。对于图像效果参数，我们并没有采用V4L2接口实现，而是采用了DRA(Directly Register Access)模式，我们提供了一组Shell脚本直接控制摄像头模组。
+====支持的模组：====
+{| class="wikitable"
+|+模组型号支持表
+!系列
+!型号
+!状态
+|-
+|VEYE系列
+|VEYE-MIPI-IMX327S
+|完成
+|-
+|VEYE系列
+|VEYE-MIPI-IMX385
+|完成
+|-
+|VEYE系列
+|VEYE-MIPI-IMX462
+|完成
+|-
+|VEYE系列
+|VEYE-MIPI-IMX335
+|完成
+|-
+|CS系列
+|CS-MIPI-IMX307
+|完成
+|-
+|CS系列
+|CS-MIPI-SC132
+|完成
+|-
+|套装系列
+|CS-TX2-XAVIER-'''''n'''''CAM
+|完成
+|}VEYE系列和CS系列MIPI摄像头模组是内置ISP的，输出为MIPI-CSI2接口。
+====怎样查看当前L4T版本====
-===硬件准备及安装===
+===== 方法1 =====
-我们设计了专用的转接板，支持6路摄像头，兼容TX2 Devkit和Xavier。
+在jetson板子上，查看当前L4T版本，尽量使用同一版本进行替换。
-[[File:ADP-N1-6CAM YT0.95-4I.jpg|center|thumb|800x800px|6cam interposer board connected with 6 cameras]]
+<code>cat /etc/nv_tegra_release</code>
+如显示：
+<code># R32 (release), REVISION: 4.3......</code>
+则表示当前L4T版本为32.4.3。
+===== 方法2 =====
+参考这个[https://pypi.org/project/jetson-stats/ 链接]，安装jetson-stats:
+<code>jtop</code>
+===硬件准备及安装===
+我们设计了专用的转接板，支持6路摄像头，兼容TX2 Devkit，Xavier和Orin。
+{| class="wikitable"
+!ADP-N1连接图
+!ADP-N1 V2.0连接图
+|-
+|[[File:ADP-N1-6CAM YT0.95-4I.jpg|center|thumb|600x600px|6cam interposer board connected with 6 cameras|alt=]]
+|[[File:ADP-N1-V2.0 6CAM-VEYE-MIPI-327.jpg|alt=|center|thumb|600x600px|6cam interposer board connected with 6 cameras]]
+|}
+'''<big><big>特别的，VEYE-MIPI-IMX335由于功耗较高，必须使用12V DC端子提供辅助供电。参考[[ADP-N1-V2.0 Adapter Board Data Sheet#Adapter Board Pinlist.EF.BC.88.E6.8E.A5.E5.8F.A3.E5.92.8C.E5.BC.95.E8.84.9A.E8.AF.B4.E6.98.8E.EF.BC.89|ADP-N1的J11]]。</big></big>'''
 ====英伟达TX2 Developer Kit====
 [[File:TX2 Devkit 6cam.jpg|center|thumb|800x800px|'''TX2 Devkit 6 cameras connection''']]
-<br />
+<br />'''注意，使用中请务必用螺丝将ADP转接板固定到底板上面,以保证转接板安装平正。'''
-====英伟达AGX Xavier====
+====英伟达AGX Xavier(AGX Orin与此相同)====
 转接板是兼容TX2转接板的，连接方式如图：
-[[File:AGX XAVIER 6cam.jpg|center|thumb|800x800px|Connect VEYE cameras to AGX Xavier（绿色版本托板为临时版本，正式版本是黑色的） ]]
+[[File:ADP-N1-V2.0 XAVIER 6CAM.jpg|alt=Connect VEYE cameras to AGX Xavier|center|thumb|800x800px|Connect VEYE cameras to AGX Xavier]]
+<br />'''注意，使用中请务必用螺丝将ADP转接板固定到底板上面,以保证转接板安装平正。'''
-====英伟达Xavier NX Devkit====
+====英伟达Nano 、 Xavier NX Devkit和TX2 NX====
 Xavier NX 的接口是兼容树莓派和Jetson Nano的。 连接方式如图：
 [[File:Xavier NX connection with VEYE-MIPI-327.jpg|alt=Xavier NX connection with VEYE-MIPI-327|center|thumb|800x800px|'''Xavier NX connection with VEYE-MIPI-327''']]
 [[File:Xavier NX connection with CS-MIPI-IMX307.jpg|alt=Xavier NX connection with CS-MIPI-IMX307|center|thumb|800x800px|Xavier NX connection with CS-MIPI-IMX307(3.3V供电)]]
 [[File:Jetson nano to Veye327.jpg|alt=Jetson Nano A02 与VEYE模组连接|center|thumb|800x800px|Jetson Nano A02 与VEYE模组连接]]
+[[File:VEYE camera connection with Orin Nano and Orin NX.jpg|center|thumb|800x800px|VEYE camera  connection with Orin Nano and Orin NX]]
 <br />
-===更新Jetson Nano, Jetson TX2，AGX Xavier和Xavier NX系统===
+===更新Jetson系统===
+本章节描述怎样更新Jetson的L4T系统以支持MV摄像头模组。操作系统更新方法，请参考[[How to upgrade the Jetson system to support VEYE cameras/zh|更新Jetson操作系统]]。
+===应用和测试===
+====系统状态检测====
+完成系统安装后，在Jetson板端执行以下命令来检测是否正确连接摄像头。
-====概述====
+*VEYE-MIPI-X型号(使用VEYE-MIPI-CAM2M dtb)
-本章节描述怎样更新Jetson系统以支持我们的摄像头模组。要支持我们的摄像头模组，需要更新Jetson系统的L4T(Linux for Tegra)的两个部分，Image和DTB。
-Image部分，我们增加了摄像头驱动，DTB部分则指明了使用的摄像头型号。一般情况下，只需使用我们已编译好的Image和DTB，非必要情况下，无需根据代码进行编译。
+<code>dmesg | grep veye</code>
-特别的，对于Jetson Nano 和 Xavier NX,我们提供了TF卡的烧写镜像。
+应当有类似如下提示：
-====整体烧写Jetson Nano 和 Xavier NX Devkit====
+<code>camera id is veyecam</code>
-'''''此方法不再推荐，因为这种模式下，在某些情况下，DTB分区会恢复成默认值。推荐采用使用预编译好Image和DTB这种方式来进行驱动升级。'''''
-客户可选择直接使用我们编译好的镜像进行系统更新，以支持我司摄像头模组。
+<code>sensor is IMX327/IMX462/IMX385</code>
-*镜像下载路径：
+<code>subdev veyecam [i2c_bus]-003b bound</code>
-baiduyun链接：https://pan.baidu.com/s/1sWrcfEOivjuQ7T7P5bVcng
+此外，检查/dev/videoX设备节点，应当是存在的。
-google driver:https://drive.google.com/drive/folders/1KHSMTdyw-ZczR1yJPj-5y9eIv7izbgt3?usp=sharing
+*CS-MIPI-IMX307型号
-下载后请先解压后烧写。
+<code>dmesg | grep x307</code>
-如百度云盘下载过慢，可以单独联系我公司客服xumm@csoneplus.com索取。
+应当有类似如下提示：
-*烧写方法<code><nowiki/></code>
+<code>Detected CS307 sensor</code>
-参考[https://developer.nvidia.com/embedded/learn/get-started-jetson-xavier-nx-devkit#write 官方链接]
+<code>subdev csx307 [i2c_bus]-003b bound</code>
-====BSP包介绍：====
+此外，检查/dev/videoX设备节点，应当是存在的。
-=====路径=====
+*CS-MIPI-SC132型号
-[https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/kernel_image https://github.com/veyeimaging/nvidia_jetson_veye_bsp]
-=====bsp包包括以下主要内容：=====
+<code>dmesg | grep cssc132</code>
-*预编译好的linux kernel：Image
+应当有类似如下提示：
-*预编译好的不同平台下的dtb
-*driver源码
-*dts源码
-*i2c通信工具集
-====Jetson Nano和Xavier NX无需HOST PC升级方法====
+<code>subdev cssc132 [i2c_bus]-003b bound</code>
-=====查看当前L4T版本=====
+此外，检查/dev/videoX设备节点，应当是存在的。
-首先查看当前L4T版本，尽量使用同一版本进行替换。
-<code>cat /etc/nv_tegra_release</code>
+* VEYE-MIP-IMX335型号
-如显示：
+<code>dmesg | grep imx335</code>
-<code># R32 (release), REVISION: 4.3......</code>
+应当有类似如下提示：
-则表示当前版本为32.4.3。
+<code>camera id is VEYE-MIPI-IMX335</code>
-=====下载bsp包到Jetson板子=====
+<code>subdev veye_imx335 [i2c_bus]-003b bound</code>
-在Jetson Nano或者Xavier NX上面，执行：
-<code>git clone <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp.git</nowiki></code>
+此外，检查/dev/videoX设备节点，应当是存在的。
-=====升级Image=====
+*VEYE-MIPI-327型号(使用VEYE-MIPI-327 dtb)
-首先在bsp包目录下，找到对应版本的Image压缩包，解压后执行：
-<code>sudo cp <path to your Image dir>/Image /boot/Image -f</code>
+<code>dmesg | grep veye327</code>
-=====升级dtb=====
+应当有类似如下提示：
-在bsp包目录下，找到您对应的摄像头模组型号和L4T版本号的dtb文件。
-<code>sudo cp <path to your dtb dir>/<DTB file name> /boot/ -f</code>
+<code>Detected VEYE327 sensor</code>
-然后，编辑 /boot/extlinux/extlinux.conf文件，在LABEL primary下增加如下一行使dtb生效。
+<code>subdev veye327 [i2c_bus]-003b bound</code>
-<code>FDT /boot/<DTB file name></code>
+此外，检查/dev/videoX设备节点，应当是存在的。
-====通过HOST PC升级方法====
+驱动提示信息中的<code>[i2c_bus]</code>表示此摄像头对应的i2c总线。
+====视频流软件包和测试====
+摄像头模组在Jetson系统中映射为/dev/videoX设备节点。
-=====HOST开发环境准备=====
+操作系统启动过程中，按照i2c bus从小到大的顺序探测摄像头。X值是按照探测的逻辑顺序[0-5]递增的。
-*编译工具链
+举例说，如果只接入一个摄像头，无论硬件连接到哪个位置，X都为0。如果接入5个，则按照i2c bus从小到大，X为[0-4]。
-请参考[https://docs.nvidia.com/jetson/l4t/index.html#page/Tegra%2520Linux%2520Driver%2520Package%2520Development%2520Guide%2Fxavier_toolchain.html%23wwpID0ESHA 这个链接]安装编译工具链。
+gstreamer中，v4l2src和nvv4l2camerasrc可以通过指明device=/dev/videoX来访问不同的摄像头。
-*L4T源码和Rootfs
+=====Gstreamer Usage=====
+To install the latest accelerated gstreamer plugins and applications, run the following commands:
-可以通过SDK Manager或者[https://developer.nvidia.com/embedded/downloads 直接下载]两种方式来获得源码。具体参考官方文档，此处不再赘述。
+<code>sudo apt-get update</code>
-使用SDK Manager时同步代码采用如下指令：
+<code>sudo apt-get install nvidia-l4t-gstreamer</code>
-''- Jetpack4.2.2''
+<code>sudo ldconfig</code>
-<code>./source_sync.sh -t tegra-l4t-r32.2.1</code>
+<code>rm -rf .cache/gstreamer-1.0/</code>
-''- Jetpack4.3''
+<code>export DISPLAY=:0</code>
-<code>./source_sync.sh -t tegra-l4t-r32.3.1</code>
+*视频预览1080p HD
-''- Jetpack4.4''
+<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>
-<code>./source_sync.sh -t tegra-l4t-r32.4.3</code>
+<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nv3dsink sync=false</code>
-*配置开发环境
+* 视频预览1080p HD(using xvimagesink sink if supported)
-以下步骤假设SDK安装目录为<TOPDIR>，源代码在$L4T_DIR/sources目录。
+<code>export DISPLAY=:0</code>
-''- TX2@Jetpack4.2.2''
+<code>gst-launch-1.0 -e v4l2src io-mode=4 device=/dev/video0 do-timestamp=true ! 'video/x-raw, width=1920, height=1080, framerate=30/1, format=UYVY' ! xvimagesink sync=false</code>
-<code>export TOP_DIR=/home/xumm/nvidia/nvidia_sdk/JetPack_4.2.2_Linux_GA_P3310/</code>
+*视频预览720p@60 HD(模组支持此分辨率时)
-''- TX2@Jetpack4.3''
+<code>gst-launch-1.0 nvv4l2camerasrc  ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>
-<code>export TOP_DIR=/home/xumm/nvidia/nvidia_sdk/JetPack_4.3_Linux_P3310/</code>
+*视频预览1280*1080@45fpsHD
-''- TX2@Jetpack4.4''
+<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)1080, framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>
-<code>export TOP_DIR=/home/xumm/nvidia/JetPack_4.4_Linux_JETSON_TX2/</code>
+*视频预览640*480@130fps(模组支持此分辨率时)
-''- AGX XavierJetpack4.2.2''
+<code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>
-<code>export TOP_DIR=/home/xumm/nvidia/nvidia_sdk/JetPack_4.2.2_Linux_GA_P2888/</code>
+*并列预览两路视频  1080p HD
-''- AGX XavierJetpack4.3''
+<code>WIDTH=960</code>
-<code>export TOP_DIR=/home/xumm/nvidia/nvidia_sdk/JetPack_4.3_Linux_P2888/</code>
+<code>HEIGHT=540</code>
-''- AGX XavierJetpack4.4''
+<code>CAPS="video/x-raw(memory:NVMM),format=(string)UYVY, width=1920, height=1080"</code>
-<code>export TOP_DIR=/home/xumm/nvidia/nvidia_sdk/JetPack_4.4_Linux_JETSON_AGX_XAVIER/</code>
+<code>gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nv3dsink nvv4l2camerasrc device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. nvv4l2camerasrc  device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.</code>
-- ''Xavier NX Jetpack4.4''
+* Gstreamer 嵌入到 OpenCV
-<code>export TOP_DIR=/home/xumm/nvidia/nvidia_sdk/JetPack_4.4_Linux_JETSON_XAVIER_NX_DEVKIT</code>
+I think maybe OpenCV do not support I420 data format input，so you should convert it to BGR format.
-- 通用部分
+<code>gst-launch-1.0 nvv4l2camerasrc ! video/x-raw(memory:NVMM), format=(string)UYVY, width=(int)1920, height=(int)1080 ! nvvidconv ! video/x-raw(memory:NVMM), format=(string)I420 !  nvvidconv ! video/x-raw, format=(string)BGRx ! videoconvert ! video/x-raw, format=(string)BGR ! appsink</code>
-<code>export L4T_DIR=$TOP_DIR/Linux_for_Tegra</code>
+*视频录像1080p HD
-<code>export LOCALVERSION=-tegra</code>
+<code>gst-launch-1.0 nvv4l2camerasrc num-buffers=300 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nvv4l2h264enc control-rate=1 bitrate=10000000 ! h264parse ! qtmux ! filesink location=filename.mp4 -e</code>
-<code>export LDK_ROOTFS_DIR=$TOP_DIR/Linux_for_Tegra/rootfs</code>
+*录像回放
-<code>export ARCH=arm64</code>
+<code>gst-launch-1.0 filesrc location=filename.mp4 ! qtdemux ! queue ! h264parse ! nvv4l2decoder ! nv3dsink -e</code>
-<code>export CROSS_COMPILE=aarch64-linux-gnu-</code>
+*抓拍图片
-<code>export CROSS32CC=arm-linux-gnueabihf-gcc</code>
+<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg</code>
-<code>export TEGRA_KERNEL_OUT=$L4T_DIR/sources/kernel/out_kernel</code>
+===== VEYE-MIPI-IMX335 的gstreamer例子 =====
+由于VEYE-MIPI-IMX335仅支持几种特定的分辨率模式，其驱动我们采用了use_sensor_mode_id模式。
+{| class="wikitable"
+|+VEYE-MIPI-IMX335 mode
+!./veye5_mipi_i2c.sh video mode
+!v4l2-ctl sensor_mode
+!video format
+|-
+|1
+|0
+|2592x1944@20fps
+|-
+|2
+|1
+|2592x1944@12.5fps
+|-
+|3
+|2
+|2560x1440@25fps
+|-
+|4
+|3
+|2560x1440@30fps
+|}
-<code>export KERNEL_PATH=$L4T_DIR/sources/kernel/out_kernel</code>
+* 准备工作
-<code>export NVIDIA_PATH=$L4T_DIR/sources/kernel/nvidia</code>
+<code>sudo apt-get install v4l-utils</code>
-<code>export TX2_DTS_PATH=$L4T_DIR/sources/hardware/nvidia/platform/t18x</code>
+参考下面一节，下载好veye5_mipi_i2c.sh工具。
-<code>export XAVIER_DTS_PATH=$L4T_DIR/sources/hardware/nvidia/platform/t19x</code>
+* 2592x1944@20fps模式预览，帧率统计
-<code>cd $L4T_DIR/sources/kernel/kernel-4.9/</code>
+<code>v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=0</code>
-*生成默认版本烧写镜像,烧写默认镜像到板子，准备好L4T环境
+<code>./veye5_mipi_i2c.sh -w -f videomode -p1 1 -b [busnum]</code>
-<code>cd $L4T_DIR</code>
+<code>v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5376</code>
-<code>sudo ./apply_binaries.sh</code>
+预览
-进入recovery mode并烧写标准版本镜像
+<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM), width=(int)2592, height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code>
-''- TX2''
+帧率统计
-<code>sudo ./flash.sh jetson-tx2 mmcblk0p1</code>
+<code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY,width=(int)2592,height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! fpsdisplaysink video-sink=fakesink -v</code>
-''- AGX Xavier''
+* 2560x1440@30fps模式录像、抓拍
-<code>sudo ./flash.sh jetson-xavier mmcblk0p1</code>
+<code>v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=3</code>
-''- Xavier NX Devkit''<code><nowiki/></code>
+<code>./veye5_mipi_i2c.sh -w -f videomode -p1 4 -b [busnum]</code>
-<code>sudo ./flash.sh jetson-xavier-nx-devkit mmcblk0p1</code>
+<code>v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5120</code>
-=====下载我们的bsp包=====
-<code>cd $L4T_DIR</code>
-<code>git clone https://github.com/veyeimaging/nvidia_jetson_veye_bsp<nowiki/>.git</code><code><nowiki/></code>
+录像
-<code>export RELEASE_PACK_DIR=$L4T_DIR/nvidia_jetson_veye_bsp</code>
+<code>gst-launch-1.0 nvv4l2camerasrc num-buffers=300 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nvv4l2h264enc control-rate=0 bitrate=10000000 ! h264parse ! qtmux ! filesink location=filename.mp4 -e</code>
-=====使用预编译好Image和DTB=====
+录像回放
-prebuilt Image on github:https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/kernel_image
-*升级Image文件
+<code>gst-launch-1.0 filesrc location=filename.mp4 ! qtdemux ! queue ! h264parse ! nvv4l2decoder ! nvoverlaysink -e</code>
-无论是使用预编译好的程序还是使用自行编译出的Image：
+抓图
-''- TX2''
+<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg</code>
-把新的Image拷贝的TX2的/boot/目录下。
+===== Jetson multimedia-api samples =====
+Jetson平台上提供了[https://docs.nvidia.com/jetson/l4t-multimedia/index.html Jetson Linux API] 供开发者使用。具体jetson_multimedia_api包的安装请参考nVidia官方文档。
-在Jetson TX2板子上执行
+对于VEYE和CS系列相机，已经在相机内集成了ISP功能，因此不能使用libargus获取数据，而可以直接使用使用标准V4L2接口从/dev/videoX设备文件获取数据。
-<code>sudo cp <path to your Image dir>/Image  /boot/Image -f</code>
+下面两个sample可以直接运行：
-''- AGX Xavier 和Xavier NX''
+====== 12_camera_v4l2_cuda ======
+<code>./camera_v4l2_cuda -d /dev/video0 -s 1920x1080 -f UYVY</code>
-需要使用签名后的文件，把新的Image和Image.sig拷贝的XAVIER的/boot/目录下。
+====== v4l2cuda ======
+<code>./capture-cuda -d /dev/video0 -f UYVY -m -o out.ppm -s 1920x1080 -c 1</code>
-<code>sudo cp <path to your Image dir>/Image  /boot/Image -f</code>
+===== v4l2-ctl 应用范例 =====
-<code>sudo cp <path to your Image dir>/Image.sig  /boot/Image -f</code>
+======安装v4l2-utils======
+<code>sudo apt-get install v4l-utils</code>
+======使用v4l2-ctl配置参数 ======
-<s>在Host PC执行</s>
+* 列出相机支持的数据格式
-<code><s>cd $L4T_DIR</s></code>
+<code>v4l2-ctl --list-formats-ext</code>
-<code><s>sudo ./flash.sh -k kernel jetson-xavier mmcblk0p1</s></code>
+* 帧率统计
-''<s>- Xavier NX</s>''
+<code>v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY--stream-mmap --stream-count=-1 --stream-to=/dev/null</code>
-<s>在Host PC执行</s>
+* 保存图片到文件
-<code><s>cd $L4T_DIR</s></code>
+<code>v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY --stream-mmap --stream-count=1 --stream-to=uyvy-1920x1080.yuv</code>
-<code><s>sudo ./flash.sh -k kernel jetson-xavier-nx-devkit mmcblk0p1</s></code>
+===== yavta =====
-*烧写DTS分区，进入烧写模式，在Host PC执行
+======安装yavta======
+<code>git clone <nowiki>https://github.com/veyeimaging/yavta.git</nowiki></code>
-<code>cp <path to your dtb dir>/dtbfilename $L4T_DIR/kernel/dtb/ -f</code>
+<code>cd yavta;make</code>
-<code>cd $L4T_DIR</code>
+====== 保存图片到文件 ======
+<code>./yavta -c1 -FUYVY-1920x1080.yuv --skip 0 -f UYVY -s 1920x1080 /dev/video0</code>
+=====Opencv=====
+为了将摄像头数据从v4l2设备导入到opencv，我们提供了几个sample。
-''- TX2''
+We provide some samples [https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/samples/opencv here].
+====使用i2c脚本修改摄像机参数====
-<code>sudo ./flash.sh -r -k kernel-dtb jetson-tx2 mmcblk0p1</code>
+*VEYE-MIPI-CAM2M系列（VEYE-MIPI-327、VEYE-MIPI-IMX327S、VEYE-MIPI-IMX462、VEYE-MIPI-IMX385）
-''- AGX Xavier''
+具体使用说明请见：[[VEYE-MIPI-290/327/zh/i2c|VEYE-MIPI-327 I2C脚本使用说明]]。
-<code>sudo ./flash.sh -r -k kernel-dtb jetson-xavier mmcblk0p1</code>
+*CS-MIPI-IMX307和CS-MIPI-SC132
-''- Xavier NX''
+具体使用说明请见：[[CS-MIPI-X i2c/zh|CS-MIPI-X I2C脚本使用说明]]。
-<code>sudo ./flash.sh -r -k kernel-dtb jetson-xavier-nx-devkit mmcblk0p1</code>
+* VEYE-MIPI-IMX335
-烧写完成后，断电重启。
+具体使用说明请见：[[5m mipi i2c user guide/zh|VEYE-MIPI-IMX335 I2C脚本使用说明]]。
+===怎样移植驱动到第三方底板===
+源码编译步骤请参考：[[VEYE CS Camera source for Jetson/zh|英伟达Jetson平台上VEYE和CS系列摄像头驱动源码编译指南]]
-====Image和DTB更新成功了吗？====
+==== 驱动移植 ====
-完成Image和DTB的更新后，可以使用以下步骤检查操作是否成功。
+对于Image，我们是在官方标准Image基础上增加了功能，并没有做任何删减。一般情况下，可以直接使用我们编译好的Image。特殊情况请参考源码进行整合。
-=====对于Image=====
+对于modules则更简单，直接使用即可。从源码编译和非常简单，此处不做赘述。
-<code>ls /sys/bus/i2c/drivers/</code>
-应当有 veye327 csx307 cssc132 目录的存在
+==== dts移植 ====
+我们只提供了Nano、TX2、Xavier、Orin的部分板子的dtb，对于没有提供的类型，需要：
-=====对于DTB=====
+. 得到该板子的dts源码。
-DTB在不同的平台和不同的摄像头模组都会有所不同。
-- TX2 Devkit
+. 我们camera相关的dts到整体中。
-<code>ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*</code>
+. 重新编译得到对应板子的dtb。
-- AGX Xavier
+操作步骤并不复杂，但是有一些第三方底板厂家并不开放dts源码。这就需要各方的配合才能做到了。
-<code>ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*</code>
+=== 常见问题和bug列表 ===
-- Xavier NX
+==== VEYE cameras on Jetpack5.x ====
+Jetpack5.x在xavier和orin平台对mipi信号的要求更加严格。VEYE-MIPI-xxx系列相机需要固件版本hdver>=7才可以完美支持。
-<code>ls /proc/device-tree/cam_i2cmux/i2c@*</code>
+==== CS-MIPI-IMX307配合Orin nano以及Orin NX绿屏 ====
+当CS-MIPI-IMX307使用FFC cable的3.3V供电模式时，现在（Jetpack5.1.1)Orin nano和Orin NX的MIPI接收状态机会进入错误状态。建议参考[[Power supply mode switching/zh|此文章]]，修改CS-MIPI-IMX307的供电模式，使用5V供电模式。
-应当可以发现摄像头型号。
+==== Jetpack5.0.1 DP ====
+本版本有很多bug，如不支持nvv4l2camerasrc,不建议使用。
-====使用源码进行编译====
+==== nv3dsink ====
+Jetpack5.x不再支持nvoverlaysink，使用nv3dsink替代之。nv3ksink需要使用本地执行，不能ssh远程登陆执行。
+=== 文档历史 ===
-=====编译kernel=====
+* 2024-10-22
-*patch代码
+将常见问题的一部分转移到驱动升级的文章中。
-<code>cp $RELEASE_PACK_DIR/drivers_source/cam_drv_src/* $NVIDIA_PATH/drivers/media/i2c/</code>
+* 2024-08-06
-''- r32.2.1''
+将第三章独立成一篇。
-<code>cp $RELEASE_PACK_DIR/drivers_source/kernel_veyecam_config_32.2.1 $L4T_DIR/sources/kernel/kernel-4.9/arch/arm64/configs/tegra_veyecam_defconfig</code>
+* 2024-05-22
-''- r32.3.1''
+支持Jetpack5.1.3。
-<code>cp $RELEASE_PACK_DIR/drivers_source/kernel_veyecam_config_32.3.1 $L4T_DIR/sources/kernel/kernel-4.9/arch/arm64/configs/tegra_veyecam_defconfig</code>
+*20230427
-''- r32.4.2''
+支持Jetpack5.1.1。
-<code>cp $RELEASE_PACK_DIR/drivers_source/kernel_veyecam_config_32.4.2 $L4T_DIR/sources/kernel/kernel-4.9/arch/arm64/configs/tegra_veyecam_defconfig</code>
+* 20230222
-''- r32.4.3''
+支持Jetpack5.1。
-<code>cp $RELEASE_PACK_DIR/drivers_source/kernel_veyecam_config_32.4.3 $L4T_DIR/sources/kernel/kernel-4.9/arch/arm64/configs/tegra_veyecam_defconfig</code>
+*20220831
-*编译
+完善Jetpack5.0.2下关于VEYE系列和 MV系列的说明。
-<code>cd $L4T_DIR/sources/kernel/kernel-4.9/</code>
+* 20220824
-<code>make ARCH=arm64 O=$TEGRA_KERNEL_OUT tegra_veyecam_defconfig</code>
+支持Jetpack5.0.2。
-<code>make ARCH=arm64 O=$TEGRA_KERNEL_OUT Image -j4</code>
+* 20220720
-编译完成的Image文件在 $TEGRA_KERNEL_OUT/arch/arm64/boot/Image，可以用于整体烧写，也可以用于动态升级。
+增加Jetson multimedia-api和v4l2-ctl描述。
-以下用于整体烧写
+* 20220714
-<code>sudo cp $TEGRA_KERNEL_OUT/arch/arm64/boot/Image $L4T_DIR/kernel/ -f</code>
+增加对L4T32.7.2的说明。
-*对于xavier，进行签名
+* 20220629
-<code>cd $L4T_DIR</code>
+增加Jetpack5.0.1DP的支持，调通AGX-Orin。
-<code>./l4t_sign_image.sh --file kernel/Image --chip 0x19</code>
+* 20220110
-=====编译DTS=====
+增加对新型号VEYE-MIPI-IMX335的相关说明。
-*patch代码
+* 20220105
-''-  '''TX2@Jetpack4.2.2'''''
+Use nvv4l2h264enc instead of omxh264enc in gstreamer command，because omxh264enc  has been deprecated.
-<code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.2.2_Linux_GA_P3310/dts\ dtb/common/t18x/* -r $TX2_DTS_PATH/</code>
+* 20211025
-对于CS-MIPI-IMX307
+gstreamer命令中，普遍采用nvv4l2camerasrc代替v4l2src，数据直接进入DMA内存。
-<code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.2.2_Linux_GA_P3310/dts\ dtb/CS-MIPI-IMX307/tegra186-quill-p3310-1000-a00-00-base.dts $TX2_DTS_PATH/quill/kernel-dts/</code>
-对于VEYE-MIPI-327
-<code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.2.2_Linux_GA_P3310/dts\ dtb/VEYE-MIPI-327/tegra186-quill-p3310-1000-a00-00-base.dts $TX2_DTS_PATH/quill/kernel-dts/</code>
-''-  '''TX2@Jetpack4.3'''''
-<code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.3_Linux_P3310/dts\ dtb/common/t18x/* -r $TX2_DTS_PATH/</code>
-对于CS-MIPI-IMX307
-<code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.3_Linux_P3310/dts\ dtb/CS-MIPI-IMX307/tegra186-quill-p3310-1000-a00-00-base.dts $TX2_DTS_PATH/quill/kernel-dts/</code>
-对于CS-MIPI-SC132
-<code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.3_Linux_P3310/dts\ dtb/CS-MIPI-SC132/tegra186-quill-p3310-1000-a00-00-base.dts $TX2_DTS_PATH/quill/kernel-dts/</code>
-对于VEYE-MIPI-327
-<code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.3_Linux_P3310/dts\ dtb/VEYE-MIPI-327/tegra186-quill-p3310-1000-a00-00-base.dts $TX2_DTS_PATH/quill/kernel-dts/</code>
-''-  '''TX2@Jetpack4.4'''''
-<code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.4_Linux_JETSON_TX2/dts\ dtb/common/t18x/* -r $TX2_DTS_PATH/</code>
-对于CS-MIPI-IMX307
-<code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.4_Linux_JETSON_TX2/dts\ dtb/CS-MIPI-IMX307/tegra186-quill-p3310-1000-a00-00-base.dts $TX2_DTS_PATH/quill/kernel-dts/</code>
-对于CS-MIPI-SC132
-<code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.4_Linux_JETSON_TX2/dts\ dtb/CS-MIPI-SC132/tegra186-quill-p3310-1000-a00-00-base.dts $TX2_DTS_PATH/quill/kernel-dts/</code>
-对于VEYE-MIPI-327
-<code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.4_Linux_JETSON_TX2/dts\ dtb/VEYE-MIPI-327/tegra186-quill-p3310-1000-a00-00-base.dts $TX2_DTS_PATH/quill/kernel-dts/</code>
-''- '''AGX Xavier@Jetpack4.2.2'''''
-<code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.2.2_Linux_GA_P2888/dts\ dtb/common/t19x/* -r $XAVIER_DTS_PATH/</code>
-对于CS-MIPI-IMX307
-<code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.2.2_Linux_GA_P2888/dts\ dtb/CS-MIPI-IMX307/tegra194-p2888-0001-p2822-0000.dts $XAVIER_DTS_PATH/galen/kernel-dts/</code>
-对于VEYE-MIPI-327
-<code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.2.2_Linux_GA_P2888/dts\ dtb/VEYE-MIPI-327/tegra194-p2888-0001-p2822-0000.dts $XAVIER_DTS_PATH/galen/kernel-dts/</code>
-''- '''AGX Xavier@Jetpack4.3'''''
-<code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.3_Linux_P2888/dts\ dtb/common/t19x/* -r $XAVIER_DTS_PATH/</code>
-对于CS-MIPI-IMX307
-<code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.3_Linux_P2888/dts\ dtb/CS-MIPI-IMX307/tegra194-p2888-0001-p2822-0000.dts $XAVIER_DTS_PATH/galen/kernel-dts/</code>
-对于CS-MIPI-SC132
-<code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.3_Linux_P2888/dts\ dtb/CS-MIPI-SC132/tegra194-p2888-0001-p2822-0000.dts $XAVIER_DTS_PATH/galen/kernel-dts/</code>
-对于VEYE-MIPI-327
-<code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.3_Linux_P2888/dts\ dtb/VEYE-MIPI-327/tegra194-p2888-0001-p2822-0000.dts $XAVIER_DTS_PATH/galen/kernel-dts/</code>
-''- '''AGX Xavier@Jetpack4.4'''''
-<code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.4_Linux_JETSON_AGX_XAVIER/dts\ dtb/common/t19x/* -r $XAVIER_DTS_PATH/</code>
-对于CS-MIPI-IMX307
-<code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.4_Linux_JETSON_AGX_XAVIER/dts\ dtb/CS-MIPI-IMX307/tegra194-p2888-0001-p2822-0000.dts $XAVIER_DTS_PATH/galen/kernel-dts/</code>
-对于CS-MIPI-SC132
-<code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.4_Linux_JETSON_AGX_XAVIER/dts\ dtb/CS-MIPI-SC132/tegra194-p2888-0001-p2822-0000.dts $XAVIER_DTS_PATH/galen/kernel-dts/</code>
-对于VEYE-MIPI-327
-<code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.4_Linux_JETSON_AGX_XAVIER/dts\ dtb/VEYE-MIPI-327/tegra194-p2888-0001-p2822-0000.dts $XAVIER_DTS_PATH/galen/kernel-dts/</code>
-''- '''Xavier NX@Jetpack4.4'''''
-<code>cp $RELEASE_PACK_DIR/Xavier-NX/JetPack_4.4_Linux_JETSON_XAVIER_NX_DEVKIT/dts\ dtb/common/t19x/* -r $XAVIER_DTS_PATH/</code>
-对于CS-MIPI-IMX307
-<code>cp $RELEASE_PACK_DIR/Xavier-NX/JetPack_4.4_Linux_JETSON_XAVIER_NX_DEVKIT/dts\ dtb/CS-MIPI-IMX307/tegra194-p3509-0000-a00.dtsi $XAVIER_DTS_PATH/jakku/kernel-dts/common/</code>
-对于CS-MIPI-SC132
-<code>cp $RELEASE_PACK_DIR/Xavier-NX/JetPack_4.4_Linux_JETSON_XAVIER_NX_DEVKIT/dts\ dtb/CS-MIPI-SC132/tegra194-p3509-0000-a00.dtsi $XAVIER_DTS_PATH/jakku/kernel-dts/common/</code>
-对于VEYE-MIPI-327
-<code>cp $RELEASE_PACK_DIR/Xavier-NX/JetPack_4.4_Linux_JETSON_XAVIER_NX_DEVKIT/dts\ dtb/VEYE-MIPI-327/tegra194-p3509-0000-a00.dtsi $XAVIER_DTS_PATH/jakku/kernel-dts/common/</code>
-*编译
-<code>cd $L4T_DIR/sources/kernel/kernel-4.9/</code>
-<code>make ARCH=arm64 O=$TEGRA_KERNEL_OUT dtbs</code>
-''- TX2''
-<code>cp $TEGRA_KERNEL_OUT/arch/arm64/boot/dts/tegra186-quill-p3310-1000-c03-00-base.dtb $L4T_DIR/kernel/dtb/</code>
-''- AGX XAVIER''
-<code>cp $TEGRA_KERNEL_OUT/arch/arm64/boot/dts/tegra194-p2888-0001-p2822-0000.dtb $L4T_DIR/kernel/dtb/</code>
-''- XAVIER NX''
-<code>cp $TEGRA_KERNEL_OUT/arch/arm64/boot/dts/tegra194-p3668-all-p3509-0000.dtb  $L4T_DIR/kernel/dtb/</code>
-kernel和DTS编译完成后，可以按照上面的步骤升级Image和DTB。
-===应用和测试===
-====系统状态检测====
-完成系统安装后，在Jetson TX2板端执行以下命令来检测是否正确连接摄像头。
-*VEYE-MIPI-327型号
-<code>dmesg | grep veye327</code>
-应当有类似如下提示：
-<code>Detected VEYE327 sensor</code>
-<code>subdev veye327 3X-003b bound</code>
-此外，检查/dev/videoX设备节点，应当是存在的。
-*CS-MIPI-IMX307型号
-<code>dmesg | grep csimx307</code>
-应当有类似如下提示：
-<code>Detected CS307 sensor</code>
-<code>subdev csimx307 3X-003b bound</code>
-此外，检查/dev/videoX设备节点，应当是存在的。
-*CS-MIPI-SC132型号
-<code>dmesg | grep cssc132</code>
-应当有类似如下提示：
-<code>subdev cssc132 3X-003b bound</code>
-此外，检查/dev/videoX设备节点，应当是存在的。
-====视频流软件包和测试====
-我们的摄像头模组，在TX2系统中映射为/dev/videoX设备节点。X值是按照detect的逻辑顺序[0-5]递增的。举例说，如果只接入一个摄像头，则X为0。如果接入5个，则X体现为[0-4]。
-gstreamer中，v4l2src可以通过指明device=/dev/videoX来访问不同的摄像头。
-=====Gstreamer Usage=====
-*视频预览1080p HD(硬件加速)
-<code>gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
-*视频预览720p@60 HD(模组支持此分辨率时，硬件加速)
-<code>gst-launch-1.0 v4l2src ! "video/x-raw,format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
-*视频预览1280*1080@45fpsHD(硬件加速)
-<code>gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)1280, height=(int)1080,framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
-*视频预览640*480@130fps(模组支持此分辨率时，硬件加速)
-<code>gst-launch-1.0 v4l2src ! "video/x-raw,format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
-*并列预览两路视频  1080p HD(硬件加速)
-<code>WIDTH=960</code>
-<code>HEIGHT=540</code>
-<code>CAPS="video/x-raw,format=(string)UYVY, width=1920, height=1080"</code>
-<code>gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nvoverlaysink v4l2src device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. v4l2src device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.</code>
-*视频录像1080p HD（硬件加速）
-<code>gst-launch-1.0 v4l2src num-buffers=300 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! omxh264enc qp-range=20,20:20,20:-1,-1 ! matroskamux ! queue ! filesink location=videoname.mkv</code>
-*录像回放（硬件加速）
-<code>gst-launch-1.0 filesrc location=videoname.mkv ! matroskademux ! h264parse ! omxh264dec ! nvoverlaysink</code>
-*抓拍图片
-<code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! jpegenc ! filesink location=jpgname.jpg</code>
-====视频控制软件包的使用====
-*i2c bus说明：
-在TX2和AGX-Xavier平台，ADP-N1共6个MIPI接口，对应的i2c地址为[30-35]。
-在Xavier NX平台，i2c地址为9和10。
-dmesg 显示的3X部分一致。
-<code>subdev veye327 3X-003b bound</code>
-<code>subdev csimx307 3X-003b bound</code>
-<code>subdev cssc132 3X-003b bound</code>
-执行i2c控制脚本时，需使用-b选项来指明控制的对应摄像头。
-*VEYE-MIPI-327
-具体使用说明请见：[[VEYE-MIPI-290/327/zh/i2c|VEYE-MIPI-327 I2C脚本使用说明]]。
-*CS-MIPI-IMX307和CS-MIPI-SC132
-具体使用说明请见：[[CS-MIPI-X i2c/zh|CS-MIPI-X I2C脚本使用说明]]。
-===瑞泰RTSO-9001的补充说明===
-====硬件连接方法====
-[[File:CS-MIPI-307 to ruitai 9001tx2.jpg|center|thumb|800x800px|CS-MIPI-IMX307 与瑞泰RTSO-9001（TX2）]]
-与瑞泰RTSO-9001配套，需使用树莓派相机扩展板RTST-RPI转接板。
-备注：当前版本的RTSO-9001的MIPI CSI-2接口供电能力不足以支撑我们摄像头的功率需求，需要额外5V供电给摄像头。上图中并未提现。
-====软件的补充说明====
-*针对瑞泰RTSO-9001,对应的目录为：
-nvidia_jetson_veye_bsp\TX2\JetPack_4.2.2_Linux_RTSO-9001
-*受与瑞泰公司协议限制，我方不发布源代码
-*我方资料已提交瑞泰公司，建议客户与瑞泰联系获取完善版本的支持镜像
 ===参考资料===
@@ Line 608: / Line 471: @@
 SDK Manager: https://docs.nvidia.com/sdk-manager/index.html
-L4T Doc:  https://docs.nvidia.com/jetson/archives/l4t-archived/l4t-3242/index.htm
+L4T Doc:  https://docs.nvidia.com/jetson/archives/l4t-archived/l4t-325/
+https://docs.nvidia.com/jetson/archives/r35.3.1/DeveloperGuide/index.html
 TX2 user guide: [https://developer.download.nvidia.cn/embedded/L4T/r28_Release_v2.0/GA/Docs/Jetson_TX1_and_TX2_Developer_Kits_User_Guide.pdf?lumI95GW6BEyMmhP1Is8E79OYo105-tpsC2bOVQmBZ6Tw8AkLU4pSDMPCuzOaEonWMiDO2hliXbNvtkH9do81TNIXmLZGGoV7xoEehyEgfc2WO8e0Czz5chLSHoCqIuPLL1 link]
-北京瑞泰新时代公司网址：http://www.realtimes.cn/
-<br />

Difference between revisions of "VEYE CS Camera for Jetson TX2/zh"

Latest revision as of 15:09, 18 November 2024

1 概述

1.1 支持的模组：

1.2 怎样查看当前L4T版本

1.2.1 方法1

1.2.2 方法2

2 硬件准备及安装

2.1 英伟达TX2 Developer Kit

2.2 英伟达AGX Xavier(AGX Orin与此相同)

2.3 英伟达Nano 、 Xavier NX Devkit和TX2 NX

3 更新Jetson系统

4 应用和测试

4.1 系统状态检测

4.2 视频流软件包和测试

4.2.1 Gstreamer Usage

4.2.2 VEYE-MIPI-IMX335 的gstreamer例子

4.2.3 Jetson multimedia-api samples

4.2.3.1 12_camera_v4l2_cuda

4.2.3.2 v4l2cuda

4.2.4 v4l2-ctl 应用范例

4.2.4.1 安装v4l2-utils

4.2.4.2 使用v4l2-ctl配置参数

4.2.5 yavta

4.2.5.1 安装yavta

4.2.5.2 保存图片到文件

4.2.6 Opencv

4.3 使用i2c脚本修改摄像机参数

5 怎样移植驱动到第三方底板

5.1 驱动移植

5.2 dts移植

6 常见问题和bug列表

6.1 VEYE cameras on Jetpack5.x

6.2 CS-MIPI-IMX307配合Orin nano以及Orin NX绿屏

6.3 Jetpack5.0.1 DP

6.4 nv3dsink

7 文档历史

8 参考资料

Navigation menu

Search