2,021
edits
Changes
Jump to navigation
Jump to search
Line 1:
Line 1: − + − + − + + + + + + + + + + + − + − [[File:Cs mipi imx307 jetson nao.JPG|alt=|center|thumb|600x600px|Jetson Nano 与CS-MIPI-IMX307模组连接]] − − [[File:Cs mipi imx307 jetson nano cameraboard.JPG|alt=|center|thumb|600x600px|CS-MIPI-IMX307接法]] − [[File:Jetson Nano B01 001.jpg|center|thumb|600x600px|CS-MIPI-307 dual cameras connect to Jetson Nano B01 ]] + + + + + + + + + + + + + Line 20:
Line 39: − 链接：https://pan.baidu.com/s/1sWrcfEOivjuQ7T7P5bVcng+ + + Line 31:
Line 52: − + Line 59:
Line 80: + + + + + + + + + + + + Line 98:
Line 131: + + Line 106:
Line 141: + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + Line 147:
Line 218: − + − + + + + + + + + + + + Line 155:
Line 236: − + Line 167:
Line 248: + + + + + + + + + + + + + + + + + + + + + + + + + + Line 181:
Line 288: − + Line 202:
Line 309: − <code>dmesg | grep csx307</code> + − 应当有如下提示：+ − <code>subdev csx307 6/7/8-003b bound</code>+ − + + + + + + + + + + + + + + + Line 219:
Line 340: + + + + + + + + + + + + + + + + + +
CS-MIPI-IMX307 for Jetson Nano/zh (view source)
Revision as of 20:07, 16 July 2020
, 20:07, 16 July 2020→使用编译好的整体镜像更新Jetson nano系统
[[CS-MIPI-IMX307 for Jetson Nano|English]]
[[CS-MIPI-IMX307 for Jetson Nano|English]]
<big><big><big><big>如何在英伟达Jetson Nano平台使用CS-MIPI-IMX307摄像头模组</big></big></big></big>
<big><big><big><big>如何在英伟达Jetson Nano平台使用CS-MIPI-X摄像头模组</big></big></big></big>
===概述===
===概述===
本文讲述怎样将CS-MIPI-IMX307 模组接入到英伟达公司的Jetson Nano开发板上。采用的Jetson Nano软件版本为r32.2.1，我们提供了编译好的固件和源代码两种方式来方便用户的使用。
本文讲述怎样将CS-MIPI系列 模组接入到英伟达公司的Jetson Nano开发板上。采用的Jetson Nano软件版本为
CS-MIPI-IMX307是星光级内置ISP的摄像头模组，输出为MIPI-CSI2接口UYVY流模式，支持1080p@30fps和720pcrop@60模式。对于图像效果参数，我们并没有采用V4L2接口实现，而是采用了Shell脚本直接控制摄像头模组寄存器来实现。
*Jetpack4.2.2,L4T版本r32.2.1
*Jetpack4.3,L4T版本r32.3.1
*Jetpack4.4,L4T版本r32.4.3
我们提供了编译好的固件和源代码两种方式来方便用户的使用。
CS-MIPI-IMX307是星光级内置ISP的摄像头模组，输出为MIPI-CSI2接口UYVY流模式，支持多种分辨率模式。
CS-MIPI-SC132是全局曝光黑白摄像头模组，输出为MIPI-CSI2接口UYVY流模式，支持多种分辨率模式，支持外触发模式。
对于图像效果参数，我们并没有采用V4L2接口实现，而是采用了Shell脚本直接控制摄像头模组寄存器来实现。
已支持Jetson Nano B01新版本。
已支持Jetson Nano B01新版本。
===硬件准备及安装===
===硬件准备及安装===
Jetson Nano的CSI2接口可以直接与CS-MIPI-IMX307连接。此外，需要额外的5V供电。
Jetson Nano的CSI2接口可以直接与CS-MIPI-X连接。摄像头模组支持多种供电方式，Jetson Nano的FFC排线上3.3V功率足够，因此可以使用两种供电方式。供电模式切换方法：[[Power supply mode switching/zh]]。
[[File:Jetson nano pwr connect.jpg|center|thumb|600x600px|Jetson Nano 电源线接法|link=http://wiki.veye.cc/index.php/File:Jetson_nano_pwr_connect.jpg]]
'''CS-MIPI-SC132默认供电方式为FFC排线3.3V供电,无需插红黑电源线。'''[[File:Cs mipi imx307 jetson nao.JPG|alt=|center|thumb|600x600px|Jetson Nano 与CS-MIPI-IMX307模组连接]]
[[File:Jetson nano pwr connect.jpg|center|thumb|600x600px|Jetson Nano 电源线接法]]
[[File:Cs mipi imx307 jetson nano cameraboard.JPG|alt=|center|thumb|600x600px|CS-MIPI-X接法]]
[[File:Jetson Nano B01 001.jpg|center|thumb|600x600px|CS-MIPI-X dual cameras connect to Jetson Nano B01 ]]<br />
===更新Jetson Nano系统===
====概述====
本章节描述怎样更新Jetson系统以支持我们的摄像头模组。要支持我们的摄像头模组，需要更新Jetson系统的L4T(Linux for Tegra)的两个部分，Image和DTB。
Image部分，我们增加了摄像头驱动，DTB部分则指明了使用的摄像头型号。一般情况下，只需使用我们已编译好的Image和DTB，非必要情况下，无需根据代码进行编译。
特别的，对于Xavier Nano,我们提供了TF卡的烧写镜像。
===使用编译好的整体镜像更新Jetson nano系统===
===使用编译好的整体镜像更新Jetson nano系统===
客户可选择直接使用我们编译好的镜像进行系统更新，以支持我司摄像头模组。
客户可选择直接使用我们编译好的镜像进行系统更新，以支持我司摄像头模组。
*镜像下载路径：
*镜像下载路径：
baiduyun：https://pan.baidu.com/s/1sWrcfEOivjuQ7T7P5bVcng
google driver:https://drive.google.com/drive/folders/1KHSMTdyw-ZczR1yJPj-5y9eIv7izbgt3?usp=sharing
下载后请先解压后烧写。
下载后请先解压后烧写。
===使用源码更新Jetson nano系统===
===使用源码更新Jetson nano系统===
====参考资料====
====参考资料====
Jetson Nano的系统安装及使用请参考官方文档：[https://developer.nvidia.com/embedded/learn/get-started-jetson-nano-devkit get-started-jetson-nano-devkit]. 详细的开发资料请参考官方文档：https://docs.nvidia.com/jetson/archives/l4t-archived/l4t-321/index.html
Jetson Nano的系统安装及使用请参考官方文档：[https://developer.nvidia.com/embedded/learn/get-started-jetson-nano-devkit get-started-jetson-nano-devkit]. 详细的开发资料请参考官方文档：https://docs.nvidia.com/jetson/archives/
====开发环境准备====
====开发环境准备====
以下步骤假设SDK安装目录为<TOPDIR>，源代码在$L4T_DIR/sources目录。
以下步骤假设SDK安装目录为<TOPDIR>，源代码在$L4T_DIR/sources目录。
''-Jetpack4.2.2''
<code>export TOP_DIR=<absolute path to top dir;in my case is /home/xumm/nvidia/nvidia_sdk/JetPack_4.2.2_Linux_GA_P3448/></code>
<code>export TOP_DIR=<absolute path to top dir;in my case is /home/xumm/nvidia/nvidia_sdk/JetPack_4.2.2_Linux_GA_P3448/></code>
''-Jetpack4.3''
<code>export TOP_DIR=<absolute path to top dir;in my case is /home/xumm/nvidia/nvidia_sdk/JetPack_4.3_Linux_JETSON_NANO_DEVKIT/></code>
''-Jetpack4.4''
<code>export TOP_DIR=<absolute path to top dir;in my case is /home/xumm/nvidia/nvidia_sdk//JetPack_4.4_Linux_JETSON_NANO_DEVKIT/></code>
- 通用部分
<code>export L4T_DIR=$TOP_DIR/Linux_for_Tegra</code>
<code>export L4T_DIR=$TOP_DIR/Linux_for_Tegra</code>
=====Installing the Kernel and DTS=====
=====Installing the Kernel and DTS=====
<code>cd $RELEASE_PACK_DIR/kernel_image</code>
<code>cd $RELEASE_PACK_DIR/kernel_image</code>
- ''Jetpack4.2.2''
<code>tar -xzvf Image_l4t_r32.2.1_veyecam.tar.gz</code>
<code>tar -xzvf Image_l4t_r32.2.1_veyecam.tar.gz</code>
<code>sudo cp $RELEASE_PACK_DIR/Nano/JetPack_4.2.2_Linux_GA_P3448/dts\ dtb/CS-MIPI-IMX307/tegra210-p3448-0000-p3449-0000-b00.dtb $L4T_DIR/kernel/dtb/ -f</code>
<code>sudo cp $RELEASE_PACK_DIR/Nano/JetPack_4.2.2_Linux_GA_P3448/dts\ dtb/CS-MIPI-IMX307/tegra210-p3448-0000-p3449-0000-b00.dtb $L4T_DIR/kernel/dtb/ -f</code>
- ''Jetpack4.3''
<code>tar -xzvf Image_l4t_r32.3.1_veyecam.tar.gz</code>
<code>sudo cp Image $L4T_DIR/kernel/ -f</code>
*For CS-MIPI-IMX307
<code>sudo cp $RELEASE_PACK_DIR/Nano/JetPack_4.3_Linux_P3448/dts\ dtb/CS-MIPI-IMX307/tegra210-p3448-0000-p3449-0000-a02.dtb $L4T_DIR/kernel/dtb/ -f</code>
<code>sudo cp $RELEASE_PACK_DIR/Nano/JetPack_4.3_Linux_P3448/dts\ dtb/CS-MIPI-IMX307/tegra210-p3448-0000-p3449-0000-b00.dtb $L4T_DIR/kernel/dtb/ -f</code>
*For CS-MIPI-SC132
<code>sudo cp $RELEASE_PACK_DIR/Nano/JetPack_4.3_Linux_P3448/dts\ dtb/CS-MIPI-SC132/tegra210-p3448-0000-p3449-0000-a02.dtb $L4T_DIR/kernel/dtb/ -f</code>
<code>sudo cp $RELEASE_PACK_DIR/Nano/JetPack_4.3_Linux_P3448/dts\ dtb/CS-MIPI-SC132/tegra210-p3448-0000-p3449-0000-b00.dtb $L4T_DIR/kernel/dtb/ -f</code>
- ''Jetpack4.4''
<code>tar -xzvf Image_l4t_r32.4.3_veyecam.tar.gz</code>
<code>sudo cp Image $L4T_DIR/kernel/ -f</code>
*For CS-MIPI-IMX307
<code>sudo cp $RELEASE_PACK_DIR/Nano/JetPack_4.4_Linux_JETSON_NANO_DEVKIT/dts\ dtb/CS-MIPI-IMX307/tegra210-p3448-0000-p3449-0000-a02.dtb $L4T_DIR/kernel/dtb/ -f</code>
<code>sudo cp $RELEASE_PACK_DIR/Nano/JetPack_4.4_Linux_JETSON_NANO_DEVKIT/dts\ dtb/CS-MIPI-IMX307/tegra210-p3448-0000-p3449-0000-b00.dtb $L4T_DIR/kernel/dtb/ -f</code>
*For CS-MIPI-SC132
<code>sudo cp $RELEASE_PACK_DIR/Nano/JetPack_4.4_Linux_JETSON_NANO_DEVKIT/dts\ dtb/CS-MIPI-SC132/tegra210-p3448-0000-p3449-0000-a02.dtb $L4T_DIR/kernel/dtb/ -f</code>
<code>sudo cp $RELEASE_PACK_DIR/Nano/JetPack_4.4_Linux_JETSON_NANO_DEVKIT/dts\ dtb/CS-MIPI-SC132/tegra210-p3448-0000-p3449-0000-b00.dtb $L4T_DIR/kernel/dtb/ -f</code>
<code>cd $L4T_DIR</code>
<code>cd $L4T_DIR</code>
*patch代码
*patch代码
<code>cp $RELEASE_PACK_DIR/drivers_source/cs_imx307\ veye327/* $NVIDIA_PATH/drivers/media/i2c/</code>
<code>cp $RELEASE_PACK_DIR/drivers_source/cam_drv_src/* $NVIDIA_PATH/drivers/media/i2c/</code>
<code>cp $RELEASE_PACK_DIR/drivers_source/kernel_csimx307veye327_config $L4T_DIR/sources/kernel/kernel-4.9/arch/arm64/configs/tegra_csimx307veye327_defconfig</code>
''- r32.2.1''
<code>cp $RELEASE_PACK_DIR/drivers_source/kernel_veyecam_config_32.2.1 $L4T_DIR/sources/kernel/kernel-4.9/arch/arm64/configs/tegra_veyecam_defconfig</code>
''- r32.3.1''
<code>cp $RELEASE_PACK_DIR/drivers_source/kernel_veyecam_config_32.3.1 $L4T_DIR/sources/kernel/kernel-4.9/arch/arm64/configs/tegra_veyecam_defconfig</code>
''- r32.4.3''
<code>cp $RELEASE_PACK_DIR/drivers_source/kernel_veyecam_config_32.4.3 $L4T_DIR/sources/kernel/kernel-4.9/arch/arm64/configs/tegra_veyecam_defconfig</code>
*编译
*编译
<code>cd $L4T_DIR/sources/kernel/kernel-4.9/</code>
<code>cd $L4T_DIR/sources/kernel/kernel-4.9/</code>
<code>make ARCH=arm64 O=$TEGRA_KERNEL_OUT tegra_csimx307veye327_defconfig</code>
<code>make ARCH=arm64 O=$TEGRA_KERNEL_OUT tegra_veyecam_defconfig</code>
<code>make ARCH=arm64 O=$TEGRA_KERNEL_OUT Image -j4</code>
<code>make ARCH=arm64 O=$TEGRA_KERNEL_OUT Image -j4</code>
*patch代码
*patch代码
''- Jetpack4.2.2''
<code>cp $RELEASE_PACK_DIR/Nano/JetPack_4.2.2_Linux_GA_P3448/dts\ dtb/common/t210/* -r $NANO_DTS_PATH/</code>
<code>cp $RELEASE_PACK_DIR/Nano/JetPack_4.2.2_Linux_GA_P3448/dts\ dtb/common/t210/* -r $NANO_DTS_PATH/</code>
<code>cp $RELEASE_PACK_DIR/Nano/JetPack_4.2.2_Linux_GA_P3448/dts\ dtb/CS-MIPI-IMX307/tegra210-porg-plugin-manager.dtsi -r $NANO_DTS_PATH/porg/kernel-dts/porg-plugin-manager</code>
<code>cp $RELEASE_PACK_DIR/Nano/JetPack_4.2.2_Linux_GA_P3448/dts\ dtb/CS-MIPI-IMX307/tegra210-porg-plugin-manager.dtsi -r $NANO_DTS_PATH/porg/kernel-dts/porg-plugin-manager</code>
''- Jetpack4.3''
<code>cp $RELEASE_PACK_DIR/Nano/JetPack_4.3_Linux_P3448/dts\ dtb/common/t210/* -r $NANO_DTS_PATH/</code>
对CS-MIPI-IMX307
<code>cp $RELEASE_PACK_DIR/Nano/JetPack_4.3_Linux_P3448/dts\ dtb/CS-MIPI-IMX307/tegra210-porg-plugin-manager.dtsi -r $NANO_DTS_PATH/porg/kernel-dts/porg-plugin-manager</code>
对CS-MIPI-SC132
<code>cp $RELEASE_PACK_DIR/Nano/JetPack_4.3_Linux_P3448/dts\ dtb/CS-MIPI-SC132/tegra210-porg-plugin-manager.dtsi -r $NANO_DTS_PATH/porg/kernel-dts/porg-plugin-manager</code>
''- Jetpack4.4''
<code>cp $RELEASE_PACK_DIR/Nano/JetPack_4.4_Linux_JETSON_NANO_DEVKIT/dts\ dtb/common/t210/* -r $NANO_DTS_PATH/</code>
对CS-MIPI-IMX307
<code>cp $RELEASE_PACK_DIR/Nano/JetPack_4.4_Linux_JETSON_NANO_DEVKIT/dts\ dtb/CS-MIPI-IMX307/tegra210-porg-plugin-manager.dtsi -r $NANO_DTS_PATH/porg/kernel-dts/porg-plugin-manager</code>
对CS-MIPI-SC132
<code>cp $RELEASE_PACK_DIR/Nano/JetPack_4.4_Linux_JETSON_NANO_DEVKIT/dts\ dtb/CS-MIPI-SC132/tegra210-porg-plugin-manager.dtsi -r $NANO_DTS_PATH/porg/kernel-dts/porg-plugin-manager</code>
*编译
*编译
编译完成后，可以进行整体烧写或者动态升级。
编译完成后，可以进行整体烧写或者动态升级。
====动态升级====
====动态升级Image和DTB====
*升级Image文件
*升级Image文件
完成系统安装后，在Jetson Nano板端执行以下命令来检测是否正确连接摄像头。
完成系统安装后，在Jetson Nano板端执行以下命令来检测是否正确连接摄像头。
*CS-MIPI-IMX307
<code>dmesg | grep csimx307</code>
应当有类似如下提示：
此外，检查/dev/video0(1)设备节点，应当是存在的。
<code>Detected CS307 sensor</code>
<code>subdev csimx307 6/7/8-003b bound</code>
此外，检查/dev/videoX设备节点，应当是存在的。
*CS-MIPI-SC132
<code>dmesg | grep cssc132</code>
应当有类似如下提示：
<code>subdev cssc132 6/7/8-003b bound</code>
此外，检查/dev/videoX设备节点，应当是存在的。
====视频流软件包和测试====
====视频流软件包和测试====
=====Gstreamer Usage=====
=====Gstreamer Usage=====
<code>gst-launch-1.0 v4l2src ! "video/x-raw,format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
<code>gst-launch-1.0 v4l2src ! "video/x-raw,format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
*视频预览1280*1080@45fpsHD(硬件加速)
<code>gst-launch-1.0 v4l2src device=/dev/video0 ! "video/x-raw,format=(string)UYVY, width=(int)1280, height=(int)1080,framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
*视频预览640*480@130fps(模组支持此分辨率时，硬件加速)
<code>gst-launch-1.0 v4l2src ! "video/x-raw,format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code>
*并列预览两路视频 1080p HD(硬件加速)
<code>WIDTH=960</code>
<code>HEIGHT=540</code>
<code>CAPS="video/x-raw,format=(string)UYVY, width=1920, height=1080"</code>
<code>gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nvoverlaysink v4l2src device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. v4l2src device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.</code>
*视频录像1080p HD（硬件加速）
*视频录像1080p HD（硬件加速）