252
edits
Changes
Jump to navigation
Jump to search
Line 1:
Line 1: − + + + − + + + + − 我们设计了专用的转接板，连接方式如图（TODO）。 + + + + + + + − + Line 24:
Line 35: + + + + + + + + + + Line 50:
Line 71: + + − + + + + + + + Line 79:
Line 108: − 无论是使用预编译好的程序还是使用自行编译出的Image，只需在Jetson TX2板子上执行：+ + + + + + + + + + + + + Line 88:
Line 129: + + + + + + Line 98:
Line 145: − + − + Line 106:
Line 153: − + Line 119:
Line 166: + + Line 129:
Line 178: + + + + + + + + + + + + Line 166:
Line 227: − + Line 179:
Line 240: + + + + + + + + + + Line 195:
Line 266: − + Line 224:
Line 295: − + − + − + Line 241:
Line 312: − −
VEYE CS Camera for Jetson TX2/zh (view source)
Revision as of 17:28, 1 April 2020
, 17:28, 1 April 2020→视频控制软件包的使用
'''<big>如何在英伟达Jetsno TX2平台使用VEYE系列和CS系列摄像头模组</big>'''
[[VEYE CS Camera for Jetson TX2|English]]
'''<big>如何在英伟达Jetsno TX2和AGX Xavier平台使用VEYE系列和CS系列摄像头模组</big>'''
===概述===
===概述===
本文讲述怎样将VEYE系列和CS系列模组接入到英伟达公司的Jetson TX2开发板以及我们兼容的其他TX2主板上。采用的JetPack软件版本为r32.2.1，我们提供了编译好的固件和源代码两种方式来方便用户的使用。
本文讲述怎样将VEYE系列和CS系列模组接入到英伟达公司的Jetson TX2和AGX Xavier开发板以及我们兼容的其他TX2主板上。采用的JetPack软件版本为r32.2.1，我们提供了编译好的固件和源代码两种方式来方便用户的使用。
VEYE-MIPI-327/CS-MIPI-IMX307是星光级内置ISP的摄像头模组，输出为MIPI-CSI2接口UYVY流模式。对于图像效果参数，我们并没有采用V4L2接口实现，而是采用了DRA(Directly Register Access)模式，我们提供了一组Shell脚本直接控制摄像头模组。
VEYE-MIPI-327/CS-MIPI-IMX307是星光级内置ISP的摄像头模组，输出为MIPI-CSI2接口UYVY流模式。对于图像效果参数，我们并没有采用V4L2接口实现，而是采用了DRA(Directly Register Access)模式，我们提供了一组Shell脚本直接控制摄像头模组。
===硬件准备及安装===
===硬件准备及安装===
我们设计了专用的转接板，支持6路摄像头，兼容TX2 Devkit和Xavier。
[[File:ADP-N1-6CAM YT0.95-4I.jpg|center|thumb|800x800px|6cam interposer board connected with 6 cameras]]
====英伟达TX2 Developer Kit====
====英伟达TX2 Developer Kit====
[[File:TX2 Devkit 6cam.jpg|center|thumb|800x800px|'''TX2 Devkit 6 cameras connection''']]
<br />
====英伟达TX2 AGX Xavier====
转接板是兼容TX2转接板的，连接方式如图：
[[File:AGX XAVIER 6cam.jpg|center|thumb|800x800px|Connect VEYE cameras to AGX Xavier（绿色版本托板为临时版本，正式版本是黑色的） ]]
<br />
<br />
===更新Jetson TX2系统===
===更新Jetson TX2和 AGX Xavier系统===
====开发环境准备====
====开发环境准备====
可以通过SDK Manager或者[https://developer.nvidia.com/embedded/downloads 直接下载]两种方式来获得源码。具体参考官方文档，此处不再赘述。
可以通过SDK Manager或者[https://developer.nvidia.com/embedded/downloads 直接下载]两种方式来获得源码。具体参考官方文档，此处不再赘述。
使用SDK Manager时同步代码采用如下指令：
<code>./source_sync.sh -t tegra-l4t-r32.2.1</code>
*配置开发环境
*配置开发环境
以下步骤假设SDK安装目录为<TOPDIR>，源代码在$L4T_DIR/sources目录。
以下步骤假设SDK安装目录为<TOPDIR>，源代码在$L4T_DIR/sources目录。
''- TX2''
<code>export TOP_DIR=/home/xumm/nvidia/nvidia_sdk/JetPack_4.2.2_Linux_GA_P3310/</code>
<code>export TOP_DIR=/home/xumm/nvidia/nvidia_sdk/JetPack_4.2.2_Linux_GA_P3310/</code>
''- AGX Xavier''
<code>export TOP_DIR=/home/xumm/nvidia/nvidia_sdk/JetPack_4.2.2_Linux_GA_P2888/</code>
<code>export L4T_DIR=$TOP_DIR/Linux_for_Tegra</code>
<code>export L4T_DIR=$TOP_DIR/Linux_for_Tegra</code>
<code>export TX2_DTS_PATH=$L4T_DIR/sources/hardware/nvidia/platform/t18x</code>
<code>export TX2_DTS_PATH=$L4T_DIR/sources/hardware/nvidia/platform/t18x</code>
<code>export XAVIER_DTS_PATH=$L4T_DIR/sources/hardware/nvidia/platform/t19x</code>
<code>cd $L4T_DIR/sources/kernel/kernel-4.9/</code>
<code>cd $L4T_DIR/sources/kernel/kernel-4.9/</code>
*生成默认版本烧写镜像,烧写默认镜像到TX2，准备好L4T环境
*生成默认版本烧写镜像,烧写默认镜像到板子，准备好L4T环境
<code>cd $L4T_DIR</code>
<code>cd $L4T_DIR</code>
<code>sudo ./apply_binaries.sh</code>
<code>sudo ./apply_binaries.sh</code>
''- TX2''
<code>sudo ./flash.sh jetson-tx2 mmcblk0p1</code>
<code>sudo ./flash.sh jetson-tx2 mmcblk0p1</code>
''- AGX Xavier''
<code>sudo ./flash.sh jetson-xavier mmcblk0p1</code>
====下载我们的bsp包====
====下载我们的bsp包====
<code>cd $L4T_DIR</code>
<code>cd $L4T_DIR</code>
*升级Image文件
*升级Image文件
无论是使用预编译好的程序还是使用自行编译出的Image：
''- TX2''
在Jetson TX2板子上执行
<code>sudo cp <path to your Image dir>/Image /boot/Image -f</code>
<code>sudo cp <path to your Image dir>/Image /boot/Image -f</code>
''- AGX Xavier''
在Host PC执行
<code>cd $L4T_DIR</code>
<code>sudo ./flash.sh -k kernel jetson-xavier mmcblk0p1</code>
*烧写DTS分区，进入烧写模式，在Host PC执行
*烧写DTS分区，进入烧写模式，在Host PC执行
<code>cd $L4T_DIR</code>
<code>cd $L4T_DIR</code>
''- TX2''
<code>sudo ./flash.sh -r -k kernel-dtb jetson-tx2 mmcblk0p1</code>
<code>sudo ./flash.sh -r -k kernel-dtb jetson-tx2 mmcblk0p1</code>
''- AGX Xavier''
<code>sudo ./flash.sh -r -k kernel-dtb jetson-xavier mmcblk0p1</code>
烧写完成后，断电重启。
烧写完成后，断电重启。
*patch代码
*patch代码
<code>cp $RELEASE_PACK_DIR/drivers_source/cs_imx307 veye327/* $NVIDIA_PATH/drivers/media/i2c/</code>
<code>cp $RELEASE_PACK_DIR/drivers_source/cs_imx307\ veye327/* $NVIDIA_PATH/drivers/media/i2c/</code>
<code>cp $RELEASE_PACK_DIR/drivers_source/kernel_csimx307veye327_config $L4T_DIR/sources/kernel/kernel-4.9/arch/arm64/configs/kernel_csimx307veye327_config</code>
<code>cp $RELEASE_PACK_DIR/drivers_source/kernel_csimx307veye327_config $L4T_DIR/sources/kernel/kernel-4.9/arch/arm64/configs/tegra_csimx307veye327_defconfig</code>
*编译
*编译
<code>cd $L4T_DIR/sources/kernel/kernel-4.9/</code>
<code>cd $L4T_DIR/sources/kernel/kernel-4.9/</code>
<code>make ARCH=arm64 O=$TEGRA_KERNEL_OUT kernel_csimx307veye327_config</code>
<code>make ARCH=arm64 O=$TEGRA_KERNEL_OUT tegra_csimx307veye327_defconfig</code>
<code>make ARCH=arm64 O=$TEGRA_KERNEL_OUT Image -j4</code>
<code>make ARCH=arm64 O=$TEGRA_KERNEL_OUT Image -j4</code>
*patch代码
*patch代码
''- TX2''
<code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.2.2_Linux_GA_P3310/dts\ dtb/common/t18x/* -r $TX2_DTS_PATH/</code>
<code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.2.2_Linux_GA_P3310/dts\ dtb/common/t18x/* -r $TX2_DTS_PATH/</code>
<code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.2.2_Linux_GA_P3310/dts\ dtb/VEYE-MIPI-327/tegra186-quill-p3310-1000-a00-00-base.dts $TX2_DTS_PATH/quill/kernel-dts/</code>
<code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.2.2_Linux_GA_P3310/dts\ dtb/VEYE-MIPI-327/tegra186-quill-p3310-1000-a00-00-base.dts $TX2_DTS_PATH/quill/kernel-dts/</code>
''- AGX Xavier''
<code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.2.2_Linux_GA_P2888/dts\ dtb/common/t19x/* -r $XAVIER_DTS_PATH/</code>
对于CS-MIPI-IMX307
<code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.2.2_Linux_GA_P2888/dts\ dtb/CS-MIPI-IMX307/tegra194-p2888-0001-p2822-0000.dts $TX2_DTS_PATH/galen/kernel-dts/</code>
对于VEYE-MIPI-327
<code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.2.2_Linux_GA_P2888/dts\ dtb/VEYE-MIPI-327/tegra194-p2888-0001-p2822-0000.dts $TX2_DTS_PATH/galen/kernel-dts/</code>
*编译
*编译
此外，检查/dev/videoX设备节点，应当是存在的。
此外，检查/dev/videoX设备节点，应当是存在的。
====视频流软件包和测试====
====视频流软件包和测试====
我们的摄像头模组，在TX2系统中映射为/dev/videoX设备节点。X值是按照detect的逻辑顺序[0-5]递增的。举例说，如果只接入一个摄像头，则X为0。如果接入5个，则X提现为[0-4]。
我们的摄像头模组，在TX2系统中映射为/dev/videoX设备节点。X值是按照detect的逻辑顺序[0-5]递增的。举例说，如果只接入一个摄像头，则X为0。如果接入5个，则X体现为[0-4]。
gstreamer中，v4l2src可以通过指明device=/dev/videoX来访问不同的摄像头。
gstreamer中，v4l2src可以通过指明device=/dev/videoX来访问不同的摄像头。
<code>gst-launch-1.0 v4l2src ! "video/x-raw,format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
<code>gst-launch-1.0 v4l2src ! "video/x-raw,format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
*并列预览两路视频 1080p HD(硬件加速)
<code>WIDTH=960</code>
<code>HEIGHT=540</code>
<code>CAPS="video/x-raw,format=(string)UYVY, width=1920, height=1080"</code>
<code>gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nvoverlaysink v4l2src device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. v4l2src device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.</code>
*视频录像1080p HD（硬件加速）
*视频录像1080p HD（硬件加速）
*i2c bus说明：
*i2c bus说明：
ADP-TX2-6CAMA-F共6个MIPI接口，对应的i2c地址为[30-35]。
ADP-N1共6个MIPI接口，对应的i2c地址为[30-35]。
dmesg 显示的3X部分一致。
dmesg 显示的3X部分一致。
====软件的补充说明====
====软件的补充说明====
* 针对瑞泰RTSO-9001,对应的目录为：
*针对瑞泰RTSO-9001,对应的目录为：
nvidia_jetson_veye_bsp\TX2\JetPack_4.2.2_Linux_RTSO-9001
nvidia_jetson_veye_bsp\TX2\JetPack_4.2.2_Linux_RTSO-9001
* 受与瑞泰公司协议限制，我方不发布源代码
*受与瑞泰公司协议限制，我方不发布源代码
* 我方资料已提交瑞泰公司，建议客户与瑞泰联系获取完善版本的支持镜像
*我方资料已提交瑞泰公司，建议客户与瑞泰联系获取完善版本的支持镜像
===参考资料===
===参考资料===
北京瑞泰新时代公司网址：http://www.realtimes.cn/
北京瑞泰新时代公司网址：http://www.realtimes.cn/
<br />
<br />