Line 1: |
Line 1: |
− | '''<big>如何在英伟达Jetsno TX2平台使用VEYE系列和CS系列摄像头模组</big>''' | + | [[VEYE CS Camera for Jetson TX2|English]] |
| + | |
| + | '''<big>如何在英伟达Jetsno TX2和AGX Xavier平台使用VEYE系列和CS系列摄像头模组</big>''' |
| | | |
| ===概述=== | | ===概述=== |
− | 本文讲述怎样将VEYE系列和CS系列模组接入到英伟达公司的Jetson TX2开发板以及我们兼容的其他TX2主板上。采用的JetPack软件版本为r32.2.1,我们提供了编译好的固件和源代码两种方式来方便用户的使用。 | + | 本文讲述怎样将VEYE系列和CS系列模组接入到英伟达公司的Jetson TX2和AGX Xavier开发板以及我们兼容的其他TX2主板上。采用的JetPack软件版本为r32.2.1,我们提供了编译好的固件和源代码两种方式来方便用户的使用。 |
| | | |
| VEYE-MIPI-327/CS-MIPI-IMX307是星光级内置ISP的摄像头模组,输出为MIPI-CSI2接口UYVY流模式。对于图像效果参数,我们并没有采用V4L2接口实现,而是采用了DRA(Directly Register Access)模式,我们提供了一组Shell脚本直接控制摄像头模组。 | | VEYE-MIPI-327/CS-MIPI-IMX307是星光级内置ISP的摄像头模组,输出为MIPI-CSI2接口UYVY流模式。对于图像效果参数,我们并没有采用V4L2接口实现,而是采用了DRA(Directly Register Access)模式,我们提供了一组Shell脚本直接控制摄像头模组。 |
| | | |
| ===硬件准备及安装=== | | ===硬件准备及安装=== |
| + | 我们设计了专用的转接板,支持6路摄像头,兼容TX2 Devkit和Xavier。 |
| + | [[File:ADP-N1-6CAM YT0.95-4I.jpg|center|thumb|800x800px|6cam interposer board connected with 6 cameras]] |
| + | |
| | | |
| ====英伟达TX2 Developer Kit==== | | ====英伟达TX2 Developer Kit==== |
− | 我们设计了专用的转接板,连接方式如图(TODO)。
| |
− |
| |
− | ====瑞泰RTSO-9001====
| |
− | [[File:CS-MIPI-307 to ruitai 9001tx2.jpg|center|thumb|800x800px|CS-MIPI-IMX307 与瑞泰RTSO-9001(TX2)]]
| |
| | | |
| | | |
− | 与瑞泰RTSO-9001配套,需使用树莓派相机扩展板RTST-RPI转接板。
| + | [[File:TX2 Devkit 6cam.jpg|center|thumb|800x800px|'''TX2 Devkit 6 cameras connection''']] |
| + | <br /> |
| | | |
− | 备注:当前版本的RTSO-9001的MIPI CSI-2接口供电能力不足以支撑我们摄像头的功率需求,需要额外5V供电给摄像头。上图中并未提现。
| + | ====英伟达TX2 AGX Xavier==== |
− | | + | 转接板是兼容TX2转接板的,连接方式如图: |
− | ===更新Jetson TX2系统===
| + | [[File:AGX XAVIER 6cam.jpg|center|thumb|800x800px|Connect VEYE cameras to AGX Xavier(绿色版本托板为临时版本,正式版本是黑色的) ]] |
− | | + | <br /> |
− | ====参考资料====
| |
− | Jetson start up: https://developer.nvidia.com/embedded/learn/getting-started-jetson
| |
− | | |
− | TX2 development kit: https://developer.nvidia.com/embedded/jetson-tx2-developer-kit
| |
| | | |
− | SDK Manager: https://docs.nvidia.com/sdk-manager/index.html<br />TX2 user guide: [https://developer.download.nvidia.cn/embedded/L4T/r28_Release_v2.0/GA/Docs/Jetson_TX1_and_TX2_Developer_Kits_User_Guide.pdf?lumI95GW6BEyMmhP1Is8E79OYo105-tpsC2bOVQmBZ6Tw8AkLU4pSDMPCuzOaEonWMiDO2hliXbNvtkH9do81TNIXmLZGGoV7xoEehyEgfc2WO8e0Czz5chLSHoCqIuPLL1 link]
| + | ===更新Jetson TX2和 AGX Xavier系统=== |
| | | |
| ====开发环境准备==== | | ====开发环境准备==== |
Line 37: |
Line 35: |
| | | |
| 可以通过SDK Manager或者[https://developer.nvidia.com/embedded/downloads 直接下载]两种方式来获得源码。具体参考官方文档,此处不再赘述。 | | 可以通过SDK Manager或者[https://developer.nvidia.com/embedded/downloads 直接下载]两种方式来获得源码。具体参考官方文档,此处不再赘述。 |
| + | |
| + | 使用SDK Manager时同步代码采用如下指令: |
| + | |
| + | <code>./source_sync.sh -t tegra-l4t-r32.2.1</code> |
| | | |
| *配置开发环境 | | *配置开发环境 |
| | | |
| 以下步骤假设SDK安装目录为<TOPDIR>,源代码在$L4T_DIR/sources目录。 | | 以下步骤假设SDK安装目录为<TOPDIR>,源代码在$L4T_DIR/sources目录。 |
| + | |
| + | ''- TX2'' |
| | | |
| <code>export TOP_DIR=/home/xumm/nvidia/nvidia_sdk/JetPack_4.2.2_Linux_GA_P3310/</code> | | <code>export TOP_DIR=/home/xumm/nvidia/nvidia_sdk/JetPack_4.2.2_Linux_GA_P3310/</code> |
| + | |
| + | ''- AGX Xavier'' |
| + | |
| + | <code>export TOP_DIR=/home/xumm/nvidia/nvidia_sdk/JetPack_4.2.2_Linux_GA_P2888/</code> |
| | | |
| <code>export L4T_DIR=$TOP_DIR/Linux_for_Tegra</code> | | <code>export L4T_DIR=$TOP_DIR/Linux_for_Tegra</code> |
Line 62: |
Line 70: |
| <code>export NVIDIA_PATH=$L4T_DIR/sources/kernel/nvidia</code> | | <code>export NVIDIA_PATH=$L4T_DIR/sources/kernel/nvidia</code> |
| | | |
− | <code>export TX2_DTS_PATH=$L4T_DIR/sources/hardware/nvidia/platform/t18x/porg/kernel-dts</code> | + | <code>export TX2_DTS_PATH=$L4T_DIR/sources/hardware/nvidia/platform/t18x</code> |
| + | |
| + | <code>export XAVIER_DTS_PATH=$L4T_DIR/sources/hardware/nvidia/platform/t19x</code> |
| | | |
| <code>cd $L4T_DIR/sources/kernel/kernel-4.9/</code> | | <code>cd $L4T_DIR/sources/kernel/kernel-4.9/</code> |
| | | |
− | *生成默认版本烧写镜像,烧写默认镜像到TX2,准备好L4T环境 | + | *生成默认版本烧写镜像,烧写默认镜像到板子,准备好L4T环境 |
| | | |
| <code>cd $L4T_DIR</code> | | <code>cd $L4T_DIR</code> |
| | | |
| <code>sudo ./apply_binaries.sh</code> | | <code>sudo ./apply_binaries.sh</code> |
| + | |
| + | ''- TX2'' |
| | | |
| <code>sudo ./flash.sh jetson-tx2 mmcblk0p1</code> | | <code>sudo ./flash.sh jetson-tx2 mmcblk0p1</code> |
| + | |
| + | ''- AGX Xavier'' |
| + | |
| + | <code>sudo ./flash.sh jetson-xavier mmcblk0p1</code> |
| ====下载我们的bsp包==== | | ====下载我们的bsp包==== |
| <code>cd $L4T_DIR</code> | | <code>cd $L4T_DIR</code> |
Line 79: |
Line 95: |
| | | |
| <code>export RELEASE_PACK_DIR=$L4T_DIR/nvidia_jetson_veye_bsp</code> | | <code>export RELEASE_PACK_DIR=$L4T_DIR/nvidia_jetson_veye_bsp</code> |
| + | |
| + | =====bsp包包括以下主要内容:===== |
| + | |
| + | *预编译好的linux kernel:Image |
| + | *预编译好的不同平台下的dtb |
| + | *driver源码 |
| + | *dts源码 |
| + | *i2c通信工具集 |
| + | |
| ====使用预编译好Image和DTB==== | | ====使用预编译好Image和DTB==== |
| | | |
| *升级Image文件 | | *升级Image文件 |
| | | |
− | 无论是使用预编译好的程序还是使用自行编译出的Image,只需在Jetson TX2板子上执行:
| + | 无论是使用预编译好的程序还是使用自行编译出的Image: |
| + | |
| + | ''- TX2'' |
| + | |
| + | 在Jetson TX2板子上执行 |
| | | |
| <code>sudo cp <path to your Image dir>/Image /boot/Image -f</code> | | <code>sudo cp <path to your Image dir>/Image /boot/Image -f</code> |
| + | |
| + | ''- AGX Xavier'' |
| + | |
| + | 在Host PC执行 |
| + | |
| + | <code>cd $L4T_DIR</code> |
| + | |
| + | <code>sudo ./flash.sh -k kernel jetson-xavier mmcblk0p1</code> |
| | | |
| *烧写DTS分区,进入烧写模式,在Host PC执行 | | *烧写DTS分区,进入烧写模式,在Host PC执行 |
Line 92: |
Line 129: |
| | | |
| <code>cd $L4T_DIR</code> | | <code>cd $L4T_DIR</code> |
| + | |
| + | ''- TX2'' |
| | | |
| <code>sudo ./flash.sh -r -k kernel-dtb jetson-tx2 mmcblk0p1</code> | | <code>sudo ./flash.sh -r -k kernel-dtb jetson-tx2 mmcblk0p1</code> |
| + | |
| + | ''- AGX Xavier'' |
| + | |
| + | <code>sudo ./flash.sh -r -k kernel-dtb jetson-xavier mmcblk0p1</code> |
| | | |
| 烧写完成后,断电重启。 | | 烧写完成后,断电重启。 |
| ====使用源码进行编译==== | | ====使用源码进行编译==== |
| | | |
− | ===== 编译kernel ===== | + | =====编译kernel===== |
| | | |
− | * patch代码 | + | *patch代码 |
| | | |
− | <code>cp $RELEASE_PACK_DIR/drivers_source/cs_imx307 veye327/* $NVIDIA_PATH/drivers/media/i2c/</code> | + | <code>cp $RELEASE_PACK_DIR/drivers_source/cs_imx307\ veye327/* $NVIDIA_PATH/drivers/media/i2c/</code> |
| | | |
− | <code>cp $RELEASE_PACK_DIR/drivers_source/kernel_csimx307veye327_config $L4T_DIR/sources/kernel/kernel-4.9/arch/arm64/configs/kernel_csimx307veye327_config</code> | + | <code>cp $RELEASE_PACK_DIR/drivers_source/kernel_csimx307veye327_config $L4T_DIR/sources/kernel/kernel-4.9/arch/arm64/configs/tegra_csimx307veye327_defconfig</code> |
| | | |
− | * 编译 | + | *编译 |
| | | |
| <code>cd $L4T_DIR/sources/kernel/kernel-4.9/</code> | | <code>cd $L4T_DIR/sources/kernel/kernel-4.9/</code> |
| | | |
− | <code>make ARCH=arm64 O=$TEGRA_KERNEL_OUT kernel_csimx307veye327_config</code> | + | <code>make ARCH=arm64 O=$TEGRA_KERNEL_OUT tegra_csimx307veye327_defconfig</code> |
| | | |
| <code>make ARCH=arm64 O=$TEGRA_KERNEL_OUT Image -j4</code> | | <code>make ARCH=arm64 O=$TEGRA_KERNEL_OUT Image -j4</code> |
Line 120: |
Line 163: |
| <code>sudo cp $TEGRA_KERNEL_OUT/arch/arm64/boot/Image $L4T_DIR/kernel/ -f</code> | | <code>sudo cp $TEGRA_KERNEL_OUT/arch/arm64/boot/Image $L4T_DIR/kernel/ -f</code> |
| | | |
− | ===== 编译DTS(TODO) ===== | + | =====编译DTS===== |
| + | |
| + | *patch代码 |
| + | |
| + | ''- TX2'' |
| + | |
| + | <code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.2.2_Linux_GA_P3310/dts\ dtb/common/t18x/* -r $TX2_DTS_PATH/</code> |
| + | |
| + | 对于CS-MIPI-IMX307 |
| | | |
− | * patch代码
| + | <code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.2.2_Linux_GA_P3310/dts\ dtb/CS-MIPI-IMX307/tegra186-quill-p3310-1000-a00-00-base.dts $TX2_DTS_PATH/quill/kernel-dts/</code> |
| | | |
− | * 编译 | + | 对于VEYE-MIPI-327 |
| + | |
| + | <code>cp $RELEASE_PACK_DIR/TX2/JetPack_4.2.2_Linux_GA_P3310/dts\ dtb/VEYE-MIPI-327/tegra186-quill-p3310-1000-a00-00-base.dts $TX2_DTS_PATH/quill/kernel-dts/</code> |
| + | |
| + | ''- AGX Xavier'' |
| + | |
| + | <code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.2.2_Linux_GA_P2888/dts\ dtb/common/t19x/* -r $XAVIER_DTS_PATH/</code> |
| + | |
| + | 对于CS-MIPI-IMX307 |
| + | |
| + | <code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.2.2_Linux_GA_P2888/dts\ dtb/CS-MIPI-IMX307/tegra194-p2888-0001-p2822-0000.dts $TX2_DTS_PATH/galen/kernel-dts/</code> |
| + | |
| + | 对于VEYE-MIPI-327 |
| + | |
| + | <code>cp $RELEASE_PACK_DIR/AGX-Xaviar/JetPack_4.2.2_Linux_GA_P2888/dts\ dtb/VEYE-MIPI-327/tegra194-p2888-0001-p2822-0000.dts $TX2_DTS_PATH/galen/kernel-dts/</code> |
| + | |
| + | *编译 |
| + | |
| + | <code>cd $L4T_DIR/sources/kernel/kernel-4.9/</code> |
| + | |
| + | <code>make ARCH=arm64 O=$TEGRA_KERNEL_OUT dtbs</code> |
| | | |
| kernel和DTS编译完成后,可以按照上面的步骤升级Image和DTB。 | | kernel和DTS编译完成后,可以按照上面的步骤升级Image和DTB。 |
Line 132: |
Line 203: |
| 完成系统安装后,在Jetson TX2板端执行以下命令来检测是否正确连接摄像头。 | | 完成系统安装后,在Jetson TX2板端执行以下命令来检测是否正确连接摄像头。 |
| | | |
− | (Below TODO)
| + | *VEYE-MIPI-327型号 |
| | | |
| <code>dmesg | grep veye327</code> | | <code>dmesg | grep veye327</code> |
| | | |
− | 应当有如下提示:
| + | 应当有类似如下提示: |
| + | |
| + | <code>Detected VEYE327 sensor</code> |
| + | |
| + | <code>subdev veye327 3X-003b bound</code> |
| + | |
| + | 此外,检查/dev/videoX设备节点,应当是存在的。 |
| + | |
| + | *CS-MIPI-IMX307型号 |
| + | |
| + | <code>dmesg | grep csimx307</code> |
| + | |
| + | 应当有类似如下提示: |
| + | |
| + | <code>Detected CS307 sensor</code> |
| | | |
− | <code>subdev veye327 6-003b bound</code> | + | <code>subdev csimx307 3X-003b bound</code> |
| | | |
− | 此外,检查/dev/video0设备节点,应当是存在的。 | + | 此外,检查/dev/videoX设备节点,应当是存在的。 |
| ====视频流软件包和测试==== | | ====视频流软件包和测试==== |
− | =====Gstreamer Usage (TODO)===== | + | 我们的摄像头模组,在TX2系统中映射为/dev/videoX设备节点。X值是按照detect的逻辑顺序[0-5]递增的。举例说,如果只接入一个摄像头,则X为0。如果接入5个,则X体现为[0-4]。 |
| + | |
| + | gstreamer中,v4l2src可以通过指明device=/dev/videoX来访问不同的摄像头。 |
| + | |
| + | =====Gstreamer Usage===== |
| | | |
| *视频预览1080p HD(硬件加速) | | *视频预览1080p HD(硬件加速) |
| | | |
− | <code>gst-launch-1.0 v4l2src ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code> | + | <code>gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code> |
| | | |
− | * 视频预览720p@60 HD(硬件加速) | + | *视频预览720p@60 HD(模组支持此分辨率时,硬件加速) |
| | | |
| <code>gst-launch-1.0 v4l2src ! "video/x-raw,format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code> | | <code>gst-launch-1.0 v4l2src ! "video/x-raw,format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code> |
| + | |
| + | *并列预览两路视频 1080p HD(硬件加速) |
| + | |
| + | <code>WIDTH=960</code> |
| + | |
| + | <code>HEIGHT=540</code> |
| + | |
| + | <code>CAPS="video/x-raw,format=(string)UYVY, width=1920, height=1080"</code> |
| + | |
| + | <code>gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nvoverlaysink v4l2src device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. v4l2src device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.</code> |
| | | |
| *视频录像1080p HD(硬件加速) | | *视频录像1080p HD(硬件加速) |
| | | |
− | <code>gst-launch-1.0 v4l2src ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! omxh264enc qp-range=20,20:20,20:-1,-1 ! matroskamux ! queue ! filesink location=videoname.mkv</code> | + | <code>gst-launch-1.0 v4l2src num-buffers=300 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! omxh264enc qp-range=20,20:20,20:-1,-1 ! matroskamux ! queue ! filesink location=videoname.mkv</code> |
| | | |
| *录像回放(硬件加速) | | *录像回放(硬件加速) |
Line 163: |
Line 262: |
| | | |
| <code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! jpegenc ! filesink location=jpgname.jpg</code> | | <code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! jpegenc ! filesink location=jpgname.jpg</code> |
− | ====视频控制软件包的使用(TODO)==== | + | ====视频控制软件包的使用==== |
| | | |
| + | *i2c bus说明: |
| | | |
− | <code>cd $L4T_DIR/jetson_nano/i2c_cmd/bin</code> | + | ADP-N1共6个MIPI接口,对应的i2c地址为[30-35]。 |
| + | |
| + | dmesg 显示的3X部分一致。 |
| + | |
| + | <code>subdev veye327 3X-003b bound</code> |
| + | |
| + | <code>subdev csimx307 3X-003b bound</code> |
| + | |
| + | 执行i2c控制脚本时,需使用-b选项来指明控制的对应摄像头。 |
| + | |
| + | *VEYE-MIPI-327 |
| + | |
| + | 具体使用说明请见:[[VEYE-MIPI-290/327/zh/i2c|VEYE-MIPI-327 I2C脚本使用说明]]。 |
| + | |
| + | *CS-MIPI-IMX307 |
| + | |
| + | 具体使用说明请见:[[CS-MIPI-X i2c/zh|CS-MIPI-IMX307 I2C脚本使用说明]]。 |
| + | ===瑞泰RTSO-9001的补充说明=== |
| + | |
| + | ====硬件连接方法==== |
| + | [[File:CS-MIPI-307 to ruitai 9001tx2.jpg|center|thumb|800x800px|CS-MIPI-IMX307 与瑞泰RTSO-9001(TX2)]] |
| + | |
| + | |
| + | 与瑞泰RTSO-9001配套,需使用树莓派相机扩展板RTST-RPI转接板。 |
| + | |
| + | 备注:当前版本的RTSO-9001的MIPI CSI-2接口供电能力不足以支撑我们摄像头的功率需求,需要额外5V供电给摄像头。上图中并未提现。 |
| + | |
| + | ====软件的补充说明==== |
| + | |
| + | *针对瑞泰RTSO-9001,对应的目录为: |
| + | |
| + | nvidia_jetson_veye_bsp\TX2\JetPack_4.2.2_Linux_RTSO-9001 |
| + | |
| + | *受与瑞泰公司协议限制,我方不发布源代码 |
| + | *我方资料已提交瑞泰公司,建议客户与瑞泰联系获取完善版本的支持镜像 |
| | | |
− | 具体使用说明请见:[[VEYE-MIPI-290/327/zh/i2c|I2C脚本使用说明]]。
| |
| ===参考资料=== | | ===参考资料=== |
− | 1. 北京瑞泰新时代公司网址:http://www.realtimes.cn/<nowiki/>。
| + | Jetson start up: https://developer.nvidia.com/embedded/learn/getting-started-jetson |
| + | |
| + | TX2 development kit: https://developer.nvidia.com/embedded/jetson-tx2-developer-kit |
| + | |
| + | SDK Manager: https://docs.nvidia.com/sdk-manager/index.html |
| + | |
| + | TX2 user guide: [https://developer.download.nvidia.cn/embedded/L4T/r28_Release_v2.0/GA/Docs/Jetson_TX1_and_TX2_Developer_Kits_User_Guide.pdf?lumI95GW6BEyMmhP1Is8E79OYo105-tpsC2bOVQmBZ6Tw8AkLU4pSDMPCuzOaEonWMiDO2hliXbNvtkH9do81TNIXmLZGGoV7xoEehyEgfc2WO8e0Czz5chLSHoCqIuPLL1 link] |
| + | |
| + | 北京瑞泰新时代公司网址:http://www.realtimes.cn/ |
| | | |
| <br /> | | <br /> |