Line 14: |
Line 14: |
| *Jetpack4.6,L4T版本r32.6.1 | | *Jetpack4.6,L4T版本r32.6.1 |
| *Jetpack4.6.1,L4T版本r32.7.1 | | *Jetpack4.6.1,L4T版本r32.7.1 |
− | *Jetpack5.0.1DP,L4T版本r34.0.1 | + | *Jetpack4.6.2,L4T版本r32.7.2 |
| + | *Jetpack5.0.1DP,L4T版本r34.1.1 |
| + | *Jetpack5.0.2,L4T版本r35.1 |
| | | |
| 我们提供了编译好的固件和源代码两种方式来方便用户的使用。 | | 我们提供了编译好的固件和源代码两种方式来方便用户的使用。 |
Line 79: |
Line 81: |
| | | |
| [[File:TX2 Devkit 6cam.jpg|center|thumb|800x800px|'''TX2 Devkit 6 cameras connection''']] | | [[File:TX2 Devkit 6cam.jpg|center|thumb|800x800px|'''TX2 Devkit 6 cameras connection''']] |
− | <br />'''注意,使用中请务必用螺丝将ADP转接板固定到底板上面。''' | + | <br />'''注意,使用中请务必用螺丝将ADP转接板固定到底板上面,以保证转接板安装平正。''' |
| | | |
| ====英伟达AGX Xavier(AGX Orin与此相同)==== | | ====英伟达AGX Xavier(AGX Orin与此相同)==== |
| 转接板是兼容TX2转接板的,连接方式如图: | | 转接板是兼容TX2转接板的,连接方式如图: |
| [[File:ADP-N1-V2.0 XAVIER 6CAM.jpg|alt=Connect VEYE cameras to AGX Xavier|center|thumb|800x800px|Connect VEYE cameras to AGX Xavier]] | | [[File:ADP-N1-V2.0 XAVIER 6CAM.jpg|alt=Connect VEYE cameras to AGX Xavier|center|thumb|800x800px|Connect VEYE cameras to AGX Xavier]] |
− | <br />'''注意,使用中请务必用螺丝将ADP转接板固定到底板上面。''' | + | <br />'''注意,使用中请务必用螺丝将ADP转接板固定到底板上面,以保证转接板安装平正。''' |
| ====英伟达Nano 、 Xavier NX Devkit和TX2 NX==== | | ====英伟达Nano 、 Xavier NX Devkit和TX2 NX==== |
| Xavier NX 的接口是兼容树莓派和Jetson Nano的。 连接方式如图: | | Xavier NX 的接口是兼容树莓派和Jetson Nano的。 连接方式如图: |
Line 107: |
Line 109: |
| 驱动不再编译进Image,而是以独立module的形式加载到系统中。dtb我们现在依然是采用整体编译到一起的方式以方便进行替换。 | | 驱动不再编译进Image,而是以独立module的形式加载到系统中。dtb我们现在依然是采用整体编译到一起的方式以方便进行替换。 |
| | | |
− | dtb也可以以overlay形式动态加载。
| + | dtb也可以以overlay形式动态加载,详情参考nVidia官方的NVIDIA® Jetson™ Linux开发者指南。 |
| + | |
| + | * MV系列模组 |
| + | |
| + | MV系列模组,为了支持扩展数据类型和外触发模式,我们在Image中增加了相关功能。因此无论Jetpack版本如何,都需要更新Image。是否需要更新modules,取决于Jetpack版本。 |
| | | |
| ====BSP包介绍:==== | | ====BSP包介绍:==== |
Line 147: |
Line 153: |
| =====XAVIER NX Devkit===== | | =====XAVIER NX Devkit===== |
| <code>tegra194-p3668-all-p3509-0000.dtb</code> | | <code>tegra194-p3668-all-p3509-0000.dtb</code> |
| + | |
| + | 特别的,对于Jetpack5.x: |
| + | |
| + | * Jetson Xavier NX (P3668-0000) For developer kit only: |
| + | |
| + | <code>tegra194-p3668-0000-p3509-0000.dtb</code> |
| + | |
| + | * Jetson Xavier NX (P3668-0001) Commercial module: |
| + | |
| + | <code>tegra194-p3668-0001-p3509-0000.dtb</code> |
| =====AGX Orin ===== | | =====AGX Orin ===== |
| <code>tegra234-p3701-0000-p3737-0000.dtb</code> | | <code>tegra234-p3701-0000-p3737-0000.dtb</code> |
Line 158: |
Line 174: |
| 2、以fpdlink为后缀的,对应fpdlink同轴型号模组。 | | 2、以fpdlink为后缀的,对应fpdlink同轴型号模组。 |
| | | |
− | ====Jetson Nano和Xavier NX、AGX Xavier无需HOST PC升级方法==== | + | ====Jetson板上直接升级的方法==== |
| + | 适用型号:Jetson Nano、Xavier和Orin。 |
| + | |
| 注:AGX Xavier在Jetpack4.4以后的版本,建议可以使用此方法。以前版本我们未作验证,不建议使用。 | | 注:AGX Xavier在Jetpack4.4以后的版本,建议可以使用此方法。以前版本我们未作验证,不建议使用。 |
| | | |
Line 171: |
Line 189: |
| | | |
| 则表示当前L4T版本为32.4.3。 | | 则表示当前L4T版本为32.4.3。 |
| + | |
| + | ===== 关于L4T 32.7.2的说明 ===== |
| + | L4T32.7.2版本的Image和dts与L4T32.7.1版本完全一致,所以直接使用L4T32.7.1相关目录下内容即可。 |
| + | |
| + | 此外,升级需要更新cboot,请参考常见问题章节。 |
| | | |
| =====下载bsp包到Jetson板子===== | | =====下载bsp包到Jetson板子===== |
| 在Jetson 板子上面,执行: | | 在Jetson 板子上面,执行: |
| | | |
− | <code>wget <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/download/nvidia_jetson_veye_bsp.tgz</nowiki></code> | + | <code>wget <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/download/nvidia_jetson_veye_bsp.tar.gz</nowiki></code> |
| + | |
| + | 或者在浏览器地址栏中输入<code><nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/</nowiki></code> |
| | | |
− | <code>tar -xzvf nvidia_jetson_veye_bsp.tgz</code>
| + | 下载发布版本。 |
| | | |
− | =====升级Image===== | + | <code>tar -xzvf nvidia_jetson_veye_bsp.tar.gz</code> |
| + | |
| + | =====升级Image(适用于Jetpack4.x以及MV系列摄像头的应用)===== |
| 备份原来的Image | | 备份原来的Image |
| | | |
Line 186: |
Line 213: |
| <code>cp /boot/Image.sig /boot/Image.sig.backup</code> | | <code>cp /boot/Image.sig /boot/Image.sig.backup</code> |
| | | |
− | 在bsp包目录下,找到对应版本的Image压缩包,解压后执行:
| + | 在bsp包目录下,找到对应版本的Image压缩包,解压,然后执行: |
| | | |
| <code>sudo cp <path to your Image dir>/Image /boot/Image -f</code> | | <code>sudo cp <path to your Image dir>/Image /boot/Image -f</code> |
| | | |
− | 特别的,对于xavier nx需要使用签名后的文件(比如Image_l4t_r32.*.*_veyecam_signed_4_xavier目录下),把新的Image和Image.sig拷贝的XAVIER的/boot/目录下。
| + | 特别的,对于xavier需要使用签名后的文件(比如Image_l4t_r32.*.*_veyecam_signed_4_xavier目录下),把新的Image和Image.sig拷贝的XAVIER的/boot/目录下。 |
| | | |
| <code>sudo cp <path to your Image dir>/Image /boot/Image -f</code> | | <code>sudo cp <path to your Image dir>/Image /boot/Image -f</code> |
Line 197: |
Line 224: |
| | | |
| 重启后生效。 | | 重启后生效。 |
| + | |
| + | ===== 安装modules(适用于Jetpack5.x) ===== |
| + | 查看系统linux版本 |
| + | |
| + | <code>uname -r</code> |
| + | |
| + | 在<code>nvidia_jetson_veye_bsp/ko</code>目录下找到对应的驱动版本目录, |
| + | |
| + | <code>sudo cp nvidia_jetson_veye_bsp/ko/$(uname -r)/* /lib/modules/$(uname -r)/kernel/drivers/media/i2c/ -f</code> |
| + | |
| + | ====== 一般情况 ====== |
| + | 执行如下命令,将modules注册到系统: |
| + | |
| + | <code>sudo depmod</code> |
| + | |
| + | ====== 特别的 ====== |
| + | 如果使用fpdlink接口的摄像机模组。必须手动控制加载顺序,保证ds90ub954.ko的加载早于摄像头驱动的加载。 |
| + | |
| + | 系统启动后,手动按照顺序插入驱动,如: |
| + | |
| + | <code>sudo insmod ds90ub954.ko</code> |
| + | |
| + | <code>sudo insmod cs_imx307.ko</code> |
| + | |
| + | 可将驱动加载的命令添加到启动脚本中。 |
| | | |
| =====升级dtb===== | | =====升级dtb===== |
| 在bsp包目录下,找到您对应的摄像头模组型号和L4T版本号的dtb文件。 | | 在bsp包目录下,找到您对应的摄像头模组型号和L4T版本号的dtb文件。 |
| | | |
− | <code>sudo cp <path to your dtb dir>/<DTB file name> /boot/ -f</code> | + | 将新的dtb拷贝的系统目录 |
| + | |
| + | <code>sudo mkdir /boot/veyecam/</code> |
| + | |
| + | <code>sudo cp <path to your dtb dir>/<DTB file name> /boot/veyecam -f</code> |
| | | |
| 备份extlinux.conf文件。 | | 备份extlinux.conf文件。 |
| | | |
− | <code>cp /boot/extlinux/extlinux.conf / boot/extlinux/extlinux.conf .back</code> | + | <code>cp /boot/extlinux/extlinux.conf /boot/extlinux/extlinux.conf.back</code> |
| | | |
| 然后,编辑 /boot/extlinux/extlinux.conf文件,在最下面增加如下一行。 | | 然后,编辑 /boot/extlinux/extlinux.conf文件,在最下面增加如下一行。 |
| | | |
− | <code>FDT /boot/<DTB file name></code> | + | <code>FDT /boot/veyecam/<DTB file name></code> |
| | | |
| 注意:<DTB file name>应当替换为主板对应的dtb名称,确保FDT一行所指明的文件确实正确存在。 | | 注意:<DTB file name>应当替换为主板对应的dtb名称,确保FDT一行所指明的文件确实正确存在。 |
Line 215: |
Line 271: |
| 重启后生效。 | | 重启后生效。 |
| | | |
− | ====通过HOST PC升级方法==== | + | ====通过HOST PC烧写Jetson主板进行升级的方法==== |
| + | 本节提供第二种升级系统的方法。这个方法与上一节的方法的目标相同,二选一即可。本方法比较复杂,对于Nano,Xavier,Orin不建议使用。 |
| + | |
| + | 特别的,对于TX2系统,只能采取本节的方法升级。 |
| | | |
| =====烧写标准版本镜像===== | | =====烧写标准版本镜像===== |
Line 241: |
Line 300: |
| | | |
| - Nano | | - Nano |
− |
| |
− | <code><s>sudo ./flash.sh jetson-qspi-sd mmcblk0p1</s></code>
| |
| | | |
| <code>sudo ./flash.sh jetson-nano-devkit mmcblk0p1</code> | | <code>sudo ./flash.sh jetson-nano-devkit mmcblk0p1</code> |
Line 266: |
Line 323: |
| <code>cd $L4T_DIR</code> | | <code>cd $L4T_DIR</code> |
| | | |
− | <code>wget <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/download/nvidia_jetson_veye_bsp.tgz</nowiki></code> | + | <code>wget <nowiki>https://github.com/veyeimaging/nvidia_jetson_veye_bsp/releases/latest/download/nvidia_jetson_veye_bsp.tar.gz</nowiki></code> |
| | | |
− | <code>tar -xzvf nvidia_jetson_veye_bsp.tgz</code> | + | <code>tar -xzvf nvidia_jetson_veye_bsp.tar.gz</code> |
| | | |
| <code>export RELEASE_PACK_DIR=$L4T_DIR/nvidia_jetson_veye_bsp</code> | | <code>export RELEASE_PACK_DIR=$L4T_DIR/nvidia_jetson_veye_bsp</code> |
Line 343: |
Line 400: |
| ====Image和DTB更新成功了吗?==== | | ====Image和DTB更新成功了吗?==== |
| 完成Image和DTB的更新后,可以使用以下步骤检查操作是否成功。 | | 完成Image和DTB的更新后,可以使用以下步骤检查操作是否成功。 |
− |
| |
− | =====对于Image=====
| |
− | <code>ls /sys/bus/i2c/drivers/</code>
| |
− |
| |
− | 应当有 veye327 veyecam csx307 cssc132 目录的存在
| |
| | | |
| =====对于DTB===== | | =====对于DTB===== |
Line 368: |
Line 420: |
| <code>ls /proc/device-tree/i2c@3180000/tca9548@77/i2c@*</code> | | <code>ls /proc/device-tree/i2c@3180000/tca9548@77/i2c@*</code> |
| | | |
− | - AGX Xavier | + | - AGX Xavier和AGX Orin |
| | | |
| <code>ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*</code> | | <code>ls /proc/device-tree/i2c@3180000/tca9548@70/i2c@*</code> |
Line 381: |
Line 433: |
| | | |
| 应当可以发现摄像头型号。 | | 应当可以发现摄像头型号。 |
| + | |
| + | =====对于Image===== |
| + | <code>ls /sys/bus/i2c/drivers/</code> |
| + | |
| + | 正确安装摄像头时,摄像头的相关目录应当存在,如 veyecam csx307 cssc132 mvcam等。 |
| | | |
| ==== 防止被升级所覆盖 ==== | | ==== 防止被升级所覆盖 ==== |
Line 389: |
Line 446: |
| ====使用源码进行编译==== | | ====使用源码进行编译==== |
| | | |
− | 请参考:[[VEYE CS Camera source for Jetson/zh|英伟达Jetson平台上VEYE和CS系列摄像头驱动源码编译指南]] | + | 请参考:[[VEYE CS Camera source for Jetson/zh|英伟达Jetson平台上VEYE摄像头驱动源码编译指南]] |
| | | |
| kernel和DTS编译完成后,可以按照上面的步骤升级Image和DTB。 | | kernel和DTS编译完成后,可以按照上面的步骤升级Image和DTB。 |
Line 396: |
Line 453: |
| ====系统状态检测==== | | ====系统状态检测==== |
| 完成系统安装后,在Jetson板端执行以下命令来检测是否正确连接摄像头。 | | 完成系统安装后,在Jetson板端执行以下命令来检测是否正确连接摄像头。 |
− |
| |
− | *VEYE-MIPI-327型号(使用VEYE-MIPI-327 dtb)
| |
− |
| |
− | <code>dmesg | grep veye327</code>
| |
− |
| |
− | 应当有类似如下提示:
| |
− |
| |
− | <code>Detected VEYE327 sensor</code>
| |
− |
| |
− | <code>subdev veye327 X-003b bound</code>
| |
− |
| |
− | 此外,检查/dev/videoX设备节点,应当是存在的。
| |
| | | |
| *VEYE-MIPI-X型号(使用VEYE-MIPI-CAM2M dtb) | | *VEYE-MIPI-X型号(使用VEYE-MIPI-CAM2M dtb) |
Line 419: |
Line 464: |
| <code>sensor is IMX327/IMX462/IMX385</code> | | <code>sensor is IMX327/IMX462/IMX385</code> |
| | | |
− | <code>subdev veyecam X-003b bound</code> | + | <code>subdev veyecam [i2c_bus]-003b bound</code> |
| | | |
| 此外,检查/dev/videoX设备节点,应当是存在的。 | | 此外,检查/dev/videoX设备节点,应当是存在的。 |
Line 431: |
Line 476: |
| <code>Detected CS307 sensor</code> | | <code>Detected CS307 sensor</code> |
| | | |
− | <code>subdev csx307 X-003b bound</code> | + | <code>subdev csx307 [i2c_bus]-003b bound</code> |
| | | |
| 此外,检查/dev/videoX设备节点,应当是存在的。 | | 此外,检查/dev/videoX设备节点,应当是存在的。 |
Line 441: |
Line 486: |
| 应当有类似如下提示: | | 应当有类似如下提示: |
| | | |
− | <code>subdev cssc132 X-003b bound</code> | + | <code>subdev cssc132 [i2c_bus]-003b bound</code> |
| | | |
| 此外,检查/dev/videoX设备节点,应当是存在的。 | | 此外,检查/dev/videoX设备节点,应当是存在的。 |
Line 453: |
Line 498: |
| <code>camera id is VEYE-MIPI-IMX335</code> | | <code>camera id is VEYE-MIPI-IMX335</code> |
| | | |
− | <code>subdev veye_imx335 10-003b bound</code> | + | <code>subdev veye_imx335 [i2c_bus]-003b bound</code> |
| + | |
| + | 此外,检查/dev/videoX设备节点,应当是存在的。 |
| + | |
| + | *VEYE-MIPI-327型号(使用VEYE-MIPI-327 dtb) |
| + | |
| + | <code>dmesg | grep veye327</code> |
| + | |
| + | 应当有类似如下提示: |
| + | |
| + | <code>Detected VEYE327 sensor</code> |
| + | |
| + | <code>subdev veye327 [i2c_bus]-003b bound</code> |
| | | |
| 此外,检查/dev/videoX设备节点,应当是存在的。 | | 此外,检查/dev/videoX设备节点,应当是存在的。 |
| + | |
| + | 驱动提示信息中的<code>[i2c_bus]</code>表示此摄像头对应的i2c总线。 |
| ====视频流软件包和测试==== | | ====视频流软件包和测试==== |
| 摄像头模组在Jetson系统中映射为/dev/videoX设备节点。 | | 摄像头模组在Jetson系统中映射为/dev/videoX设备节点。 |
Line 463: |
Line 522: |
| 举例说,如果只接入一个摄像头,无论硬件连接到哪个位置,X都为0。如果接入5个,则按照i2c bus从小到大,X为[0-4]。 | | 举例说,如果只接入一个摄像头,无论硬件连接到哪个位置,X都为0。如果接入5个,则按照i2c bus从小到大,X为[0-4]。 |
| | | |
− | gstreamer中,v4l2src可以通过指明device=/dev/videoX来访问不同的摄像头。
| + | gstreamer中,v4l2src和nvv4l2camerasrc可以通过指明device=/dev/videoX来访问不同的摄像头。 |
| | | |
| =====Gstreamer Usage===== | | =====Gstreamer Usage===== |
Line 469: |
Line 528: |
| *视频预览1080p HD | | *视频预览1080p HD |
| | | |
− | <code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code> | + | <code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code> |
| | | |
− | <code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nvoverlaysink sync=false</code> | + | <code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)NV12" ! nv3dsink sync=false</code> |
| | | |
− | * 视频预览1080p HD(using xvimagesink sink) | + | * 视频预览1080p HD(using xvimagesink sink if supported) |
| | | |
| <code>export DISPLAY=:0</code> | | <code>export DISPLAY=:0</code> |
Line 481: |
Line 540: |
| *视频预览720p@60 HD(模组支持此分辨率时) | | *视频预览720p@60 HD(模组支持此分辨率时) |
| | | |
− | <code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code> | + | <code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)720, framerate=(fraction)60/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code> |
| | | |
| *视频预览1280*1080@45fpsHD | | *视频预览1280*1080@45fpsHD |
| | | |
− | <code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)1080, framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code> | + | <code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)1280, height=(int)1080, framerate=(fraction)45/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code> |
| | | |
| *视频预览640*480@130fps(模组支持此分辨率时) | | *视频预览640*480@130fps(模组支持此分辨率时) |
| | | |
− | <code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code> | + | <code>gst-launch-1.0 nvv4l2camerasrc ! "video/x-raw(memory:NVMM),format=(string)UYVY, width=(int)640, height=(int)480, framerate=(fraction)130/1" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code> |
| | | |
| *并列预览两路视频 1080p HD | | *并列预览两路视频 1080p HD |
Line 499: |
Line 558: |
| <code>CAPS="video/x-raw(memory:NVMM),format=(string)UYVY, width=1920, height=1080"</code> | | <code>CAPS="video/x-raw(memory:NVMM),format=(string)UYVY, width=1920, height=1080"</code> |
| | | |
− | <code>gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nvoverlaysink nvv4l2camerasrc device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. nvv4l2camerasrc device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.</code> | + | <code>gst-launch-1.0 nvcompositor name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=$WIDTH sink_0::height=$HEIGHT sink_1::xpos=$WIDTH sink_1::ypos=0 sink_1::width=$WIDTH sink_1::height=$HEIGHT ! nv3dsink nvv4l2camerasrc device=/dev/video0 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp. nvv4l2camerasrc device=/dev/video1 ! $CAPS ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420"! comp.</code> |
| | | |
| * Gstreamer 嵌入到 OpenCV | | * Gstreamer 嵌入到 OpenCV |
Line 517: |
Line 576: |
| *抓拍图片 | | *抓拍图片 |
| | | |
− | <code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg</code> | + | <code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)1920, height=(int)1080" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jp</code> |
| | | |
| ===== VEYE-MIPI-IMX335 的gstreamer例子 ===== | | ===== VEYE-MIPI-IMX335 的gstreamer例子 ===== |
| 由于VEYE-MIPI-IMX335仅支持几种特定的分辨率模式,其驱动我们采用了use_sensor_mode_id模式。 | | 由于VEYE-MIPI-IMX335仅支持几种特定的分辨率模式,其驱动我们采用了use_sensor_mode_id模式。 |
| {| class="wikitable" | | {| class="wikitable" |
− | |+VEYE-MIPI-IMX335 mode | + | |+VEYE-MIPI-IMX335 mode |
| !./veye5_mipi_i2c.sh video mode | | !./veye5_mipi_i2c.sh video mode |
| !v4l2-ctl sensor_mode | | !v4l2-ctl sensor_mode |
Line 554: |
Line 613: |
| <code>v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=0</code> | | <code>v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=0</code> |
| | | |
− | <code>./veye5_mipi_i2c.sh -w -f videomode -p1 1</code> | + | <code>./veye5_mipi_i2c.sh -w -f videomode -p1 1 -b [busnum]</code> |
| | | |
| <code>v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5376</code> | | <code>v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5376</code> |
Line 560: |
Line 619: |
| 预览 | | 预览 |
| | | |
− | <code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM), width=(int)2592, height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvoverlaysink sync=false</code> | + | <code>gst-launch-1.0 nvv4l2camerasrc device=/dev/video0 ! "video/x-raw(memory:NVMM), width=(int)2592, height=(int)1944" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nv3dsink sync=false</code> |
| | | |
| 帧率统计 | | 帧率统计 |
Line 570: |
Line 629: |
| <code>v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=3</code> | | <code>v4l2-ctl -d /dev/video0 --set-ctrl sensor_mode=3</code> |
| | | |
− | <code>./veye5_mipi_i2c.sh -w -f videomode -p1 4</code> | + | <code>./veye5_mipi_i2c.sh -w -f videomode -p1 4 -b [busnum]</code> |
| | | |
| <code>v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5120</code> | | <code>v4l2-ctl -d /dev/video0 --set-ctrl preferred_stride=5120</code> |
Line 586: |
Line 645: |
| <code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg</code> | | <code>gst-launch-1.0 v4l2src num-buffers=1 ! "video/x-raw,format=(string)UYVY, width=(int)2560, height=(int)1440" ! nvvidconv ! "video/x-raw(memory:NVMM),format=(string)I420" ! nvjpegenc ! filesink location=jpgname.jpg</code> |
| | | |
− | ====视频控制软件包的使用==== | + | ===== Jetson multimedia-api samples ===== |
| + | Jetson平台上提供了[https://docs.nvidia.com/jetson/l4t-multimedia/index.html Jetson Linux API] 供开发者使用。具体jetson_multimedia_api包的安装请参考nVidia官方文档。 |
| + | |
| + | 对于VEYE和CS系列相机,已经在相机内集成了ISP功能,因此不能使用libargus获取数据,而可以直接使用使用标准V4L2接口从/dev/videoX设备文件获取数据。 |
| + | |
| + | 下面两个sample可以直接运行: |
| + | |
| + | ====== 12_camera_v4l2_cuda ====== |
| + | <code>./camera_v4l2_cuda -d /dev/video0 -s 1920x1080 -f UYVY</code> |
| + | |
| + | ====== v4l2cuda ====== |
| + | <code>./capture-cuda -d /dev/video0 -f UYVY -m -o out.ppm -s 1920x1080 -c 1</code> |
| + | |
| + | ===== v4l2-ctl 应用范例 ===== |
| + | |
| + | ======安装v4l2-utils====== |
| + | <code>sudo apt-get install v4l-utils</code> |
| + | ======使用v4l2-ctl配置参数 ====== |
| + | |
| + | * 列出相机支持的数据格式 |
| + | |
| + | <code>v4l2-ctl --list-formats-ext</code> |
| + | |
| + | * 帧率统计 |
| + | |
| + | <code>v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY--stream-mmap --stream-count=-1 --stream-to=/dev/null</code> |
| + | |
| + | * 保存图片到文件 |
| + | |
| + | <code>v4l2-ctl --set-fmt-video=width=1920,height=1080,pixelformat=UYVY --stream-mmap --stream-count=1 --stream-to=uyvy-1920x1080.yuv</code> |
| + | |
| + | ===== yavta ===== |
| + | |
| + | ======安装yavta====== |
| + | <code>git clone <nowiki>https://github.com/veyeimaging/yavta.git</nowiki></code> |
| + | |
| + | <code>cd yavta;make</code> |
| + | |
| + | ====== 保存图片到文件 ====== |
| + | <code>./yavta -c1 -FUYVY-1920x1080.yuv --skip 0 -f UYVY -s 1920x1080 /dev/video0</code> |
| + | =====Opencv===== |
| + | 为了将摄像头数据从v4l2设备导入到opencv,我们提供了几个sample。 |
| + | |
| + | We provide some samples [https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/samples/opencv here]. |
| + | ====使用i2c脚本修改摄像机参数==== |
| | | |
| *VEYE-MIPI-CAM2M系列(VEYE-MIPI-327、VEYE-MIPI-IMX327S、VEYE-MIPI-IMX462、VEYE-MIPI-IMX385) | | *VEYE-MIPI-CAM2M系列(VEYE-MIPI-327、VEYE-MIPI-IMX327S、VEYE-MIPI-IMX462、VEYE-MIPI-IMX385) |
Line 599: |
Line 702: |
| | | |
| 具体使用说明请见:[[5m mipi i2c user guide/zh|VEYE-MIPI-IMX335 I2C脚本使用说明]]。 | | 具体使用说明请见:[[5m mipi i2c user guide/zh|VEYE-MIPI-IMX335 I2C脚本使用说明]]。 |
− | ===瑞泰RTSO-9001的补充说明=== | + | ===怎样移植驱动到第三方底板=== |
| + | 源码编译步骤请参考:[[VEYE CS Camera source for Jetson/zh|英伟达Jetson平台上VEYE和CS系列摄像头驱动源码编译指南]] |
| + | |
| + | ==== 驱动移植 ==== |
| + | 对于Image,我们是在官方标准Image基础上增加了功能,并没有做任何删减。一般情况下,可以直接使用我们编译好的Image。特殊情况请参考源码进行整合。 |
| + | |
| + | 对于modules则更简单,直接使用即可。从源码编译和非常简单,此处不做赘述。 |
| + | |
| + | ==== dts移植 ==== |
| + | 我们只提供了Nano、TX2、Xavier、Orin的部分板子的dtb,对于没有提供的类型,需要: |
| + | |
| + | 1. 得到该板子的dts源码。 |
| + | |
| + | 2. 我们camera相关的dts到整体中。 |
| + | |
| + | 3. 重新编译得到对应板子的dtb。 |
| + | |
| + | 操作步骤并不复杂,但是有一些第三方底板厂家并不开放dts源码。这就需要各方的配合才能做到了。 |
| + | |
| + | === 常见问题和bug列表 === |
| | | |
− | ====硬件连接方法==== | + | ==== VEYE cameras on Jetpack5.x ==== |
− | [[File:CS-MIPI-307 to ruitai 9001tx2.jpg|center|thumb|800x800px|CS-MIPI-IMX307 与瑞泰RTSO-9001(TX2)]]
| + | Jetpack5.x在xavier和orin平台对mipi信号的要求更加严格。VEYE-MIPI-xxx系列相机需要固件版本hdver>=7才可以完美支持。 |
| | | |
| + | ==== Jetpack5.0.1 DP ==== |
| + | 本版本有很多bug,如不支持nvv4l2camerasrc,不建议使用。 |
| | | |
| + | ==== nv3dsink ==== |
| + | Jetpack5.x不再支持nvoverlaysink,使用nv3dsink替代之。 |
| | | |
− | 与瑞泰RTSO-9001配套,需使用树莓派相机扩展板RTST-RPI转接板。
| + | ==== L4T32.7.2在xavier系列上的bug ==== |
| + | 对于Xavier系列,L4T32.7.2的cboot存在一个bug,必须要先解决掉才可以升级。 |
| | | |
− | 备注:当前版本的RTSO-9001的MIPI CSI-2接口供电能力不足以支撑我们摄像头的功率需求,需要额外5V供电给摄像头。上图中并未提现。
| + | [https://elinux.org/Jetson/L4T/r32.7.x_patches <nowiki>[Cboot] Cboot in 32.7.2 fails to read extlinux.conf</nowiki>] |
| | | |
− | ====软件的补充说明====
| + | 我们编译了正确版本的cboot并放在[https://github.com/veyeimaging/nvidia_jetson_veye_bsp/tree/master/cboot_l4t_32.7.2 这里]。 |
| | | |
− | *针对瑞泰RTSO-9001,对应的目录为:
| + | 下载后,放到Linux_for_Tegra/bootloader目录下,进入recovery模式后,在PC端执行如下命令以烧写cboot。 |
| | | |
− | nvidia_jetson_veye_bsp\TX2\JetPack_4.2.2_Linux_RTSO-9001
| + | * AGX Xavier |
| | | |
− | *受与瑞泰公司协议限制,我方不发布源代码
| + | <code>sudo ./flash.sh -r -k cpu-bootloader jetson-xavier mmcblk0p1</code> |
− | *我方资料已提交瑞泰公司,建议客户与瑞泰联系获取完善版本的支持镜像
| |
| | | |
| + | * Xavier NX |
| + | |
| + | <code>sudo ./flash.sh -r -k cpu-bootloader jetson-xavier-nx-devkit mmcblk0p1</code> |
| === 文档历史 === | | === 文档历史 === |
| + | |
| + | *20220831 |
| + | |
| + | 完善Jetpack5.0.2下关于VEYE系列和 MV系列的说明。 |
| + | |
| + | * 20220824 |
| + | |
| + | 支持Jetpack5.0.2。 |
| + | |
| + | * 20220720 |
| + | |
| + | 增加Jetson multimedia-api和v4l2-ctl描述。 |
| + | |
| + | * 20220714 |
| + | |
| + | 增加对L4T32.7.2的说明。 |
| + | |
| + | * 20220629 |
| + | |
| + | 增加Jetpack5.0.1DP的支持,调通AGX-Orin。 |
| | | |
| * 20220110 | | * 20220110 |
Line 631: |
Line 780: |
| * 20211025 | | * 20211025 |
| | | |
− | gstreamer命令中,普遍采用nvcamerasrc代替v4l2src,数据直接进入DMA内存。
| + | gstreamer命令中,普遍采用nvv4l2camerasrc代替v4l2src,数据直接进入DMA内存。 |
| | | |
| ===参考资料=== | | ===参考资料=== |
Line 647: |
Line 796: |
| | | |
| TX2 user guide: [https://developer.download.nvidia.cn/embedded/L4T/r28_Release_v2.0/GA/Docs/Jetson_TX1_and_TX2_Developer_Kits_User_Guide.pdf?lumI95GW6BEyMmhP1Is8E79OYo105-tpsC2bOVQmBZ6Tw8AkLU4pSDMPCuzOaEonWMiDO2hliXbNvtkH9do81TNIXmLZGGoV7xoEehyEgfc2WO8e0Czz5chLSHoCqIuPLL1 link] | | TX2 user guide: [https://developer.download.nvidia.cn/embedded/L4T/r28_Release_v2.0/GA/Docs/Jetson_TX1_and_TX2_Developer_Kits_User_Guide.pdf?lumI95GW6BEyMmhP1Is8E79OYo105-tpsC2bOVQmBZ6Tw8AkLU4pSDMPCuzOaEonWMiDO2hliXbNvtkH9do81TNIXmLZGGoV7xoEehyEgfc2WO8e0Czz5chLSHoCqIuPLL1 link] |
− |
| |
− | 北京瑞泰新时代公司网址:http://www.realtimes.cn/
| |
− |
| |
− | <br />
| |