注:此为搭载 SLAMTEC A1 激光雷达的 JetAuto 入门套件,共有六种不同版本,其他版本的 JetAuto 请参阅以下说明
由 NVIDIA Jetson Nano 提供支持并基于 ROS
可选深度摄像头,用于 3D 视觉映射和导航
可选配7英寸触摸屏,用于参数监控和调试
可选配 6 个麦克风阵列,用于语音交互 可选配 6 个麦克风阵列,用于语音交互
产品描述:
JetAuto 是一款入门级 ROS 教育机器人,由 Jetson Nano 提供支持。JetAuto 配备激光雷达、深度摄像头和 7 英寸屏幕,提供各种功能,例如机器人运动控制、地图绘制和导航以及人体特征识别。
1)360°全方位移动
JetAuto配备4个万向麦克纳姆轮,可360°移动,多种移动方式(前进、水平、斜行、旋转)和优异的性能让它敢于挑战各种复杂路线。
2)配备激光雷达并支持SLAM测绘导航
JetAuto搭载激光雷达,可实现SLAM建图及导航,支持路径规划、定点导航和动态避障。
3)直流齿轮电机
它提供强劲的动力,具有高精度编码器,并包含保护端壳以确保延长使用寿命。
4)7英寸高清液晶触摸屏
该屏幕分辨率为1024 x 600像素,兼容NVIDIA,可让您自由监控和调试机器人的各种参数。
5)240°高性能云台
JetAuto 的高精度摆式悬挂结构可以平衡四个车轮所受的力,使其能够很好地适应不平坦的路面。
6)6通道远场麦克风阵列
6通道麦克风阵列及扬声器支持声源定位、语音识别控制、语音导航等功能。
1.激光雷达测绘导航
JetAuto搭载激光雷达,支持路径规划、定点导航、导航避障、多种算法建图,实现雷达守卫、雷达跟踪功能。
1)激光雷达定位
结合自主研发的Lidar高精度编码器和IMU加速度计传感器数据,JetAuto可以实现精准的测绘和导航。
2)各种二维激光雷达测绘方法
JetAuto 采用 Gmapping、HectorKarto、Cartographer 等多种建图算法,并支持路径规划、定点导航、导航避障等功能。
3)多点导航、TEB路径规划
JetAtuo采用激光雷达探测周围环境,支持定点导航、多点连续导航等机器人应用。
4)RRT自主探索地图
JetAuto采用RRT算法,可自主完成勘探测绘、保存地图并返回起点,无需人工控制。
5)动态避障
支持TEB路径规划,在导航过程中实时监测障碍物,从而重新规划路线避开障碍物并继续行驶。
6)激光雷达跟踪
激光雷达通过扫描前方运动物体,使机器人能够进行目标跟踪。
2. 3D Vision AI升级交互
JetAuto搭载3D深度摄像头,支持3D视觉建图及导航,可获取3D点云图像,通过深度学习,可实现更多AI视觉互动玩法。
1)3D深度相机
JeAuto配备Astra Pro Plus深度摄像头,可以有效感知环境变化,实现与人类的智能Al交互。
2)RTAB-VSLAM 3D 视觉映射和导航
JetAuto 利用 RTAB SLAM 算法,创建 3D 彩色地图,实现 3D 环境下的导航和避障,并支持地图内的全局定位。
3)ORBSLAM2 + ORBSLAM3
ORB-SLAM 是一个针对单目、双目和 RGB-D 相机的开源 SLAM 框架,能够实时计算相机轨迹并重建 3D 周围环境,并且在 RGB-D 模式下可以获取物体的真实尺寸。
4)深度图数据、点云
通过相应的APl,JetAuto可以获得相机的深度图,彩色图像和点云。
3.深度学习、自动驾驶
通过JetAuto,您可以设计一个自动驾驶场景来将ROS付诸实践,从而让您更好地了解自动驾驶的核心功能。
1)道路标志检测
通过训练深度学习模型库,JetAuto可以实现基于Al视觉的自动驾驶。
2)车道保持
JetAuto 能够识别两侧车道,并与车道保持安全距离。
3)自动停车
结合深度学习算法,JetAuto 可以识别停车标志,然后自动驶入停车位。
4)转变决策
JetAuto 会根据车道、路标和交通信号灯,判断交通状况并决定是否转弯。
4、MediaPipe发展,AI交互升级
JetAuto利用MediaPipe开发框架实现人体识别、指尖识别、人脸检测、3D检测等功能。
1)指尖轨迹识别
2)人体识别
3)3D检测
4)3D人脸检测
5. AI视觉交互
通过融入人工智能,JetAuto 可以实现 KCF 目标跟踪、线路跟踪、颜色/标签识别和跟踪、YOLO 物体识别等。
1)KCF目标跟踪:
依靠KCF滤波算法,机器人可以跟踪选定的目标。
2)视线跟随:
JetAuto 支持自定义颜色选择,机器人可以识别颜色线并跟随它们。
3)颜色/标签识别与追踪
JetAuto 能够识别和跟踪指定的颜色,并且可以同时识别多个 April 标签及其坐标。
4)YOLO 物体识别
利用YOLO网络算法和深度学习模型库进行物体识别。
6. 6CH远场麦克风阵列
该6CH远场麦克风阵列擅长远场声源定位、语音识别和语音交互。与普通麦克风模块相比,它可以实现更多高级功能。
1)声源定位:
通过6麦克风阵列,实现降噪源的高精度定位,配合雷达距离识别,可以在任意地点召唤Hiwonder。
2)TTS语音播报
ROS发布的文字内容可直接转换为语音播报,方便进行交互设计。
3)语音交互
语音识别与TTS语音播报相结合,实现语音交互,支持科大讯飞在线语音对话功能扩展。
4)语音导航
使用语音命令控制Hiwonder到达地图上任意指定位置,类似送餐机器人的语音控制场景。
7. 互联形成
JetAuto通过多机通讯及导航技术,可实现多机编队表演及人工智能游戏。
1)多车导航
JetAuto依靠多机通讯,可以实现多车导航、路径规划和智能避障。
2)智能编队
JetAuto批次可以在移动过程中保持队形,包括水平线,垂直线和三角形。
3)群组控制
只需一个无线手柄即可控制一组JetAuto,统一、同时执行动作
8.ROS机器人操作系统
ROS 是一个开源的机器人元操作系统,提供硬件抽象、底层设备控制、常用功能实现、进程间消息传递、包管理等基础服务,以及跨计算机获取、编译、编写和运行代码所需的工具和库函数,旨在为机器人研发提供代码重用支持。
9. 凉亭模拟
JetAuto 建立在机器人操作系统 (ROS) 上,并与 Gazebo 模拟集成。这使得在模拟环境中轻松控制机器人成为可能,有助于算法预验证以防止潜在错误。Gazebo 提供视觉数据,让您可以观察每个端点和中心的运动轨迹。这种视觉反馈有助于算法增强。
1)车身模拟控制:
通过机器人仿真控制,可以进行建图导航的算法验证,提高算法的迭代速度,减少反复试验的成本。
2)Rviz展示URDF模型
提供精准的URDF模型,并通过Rviz可视化工具观察建图导航效果,方便调试和改进算法。
10. 多种控制方式
1)WonderAi APP
2)地图导航应用程序(仅限Android)
3)无线手柄