JetHexa 教程链接:https://drive.google.com/drive/folders/1YY5vy4sfUiNDoEkvPir-d634UZdzCQuT?usp=sharing
提醒:地图和导航功能仅适用于JetHexa高级套件。
此链接适用于 JetHexa Advanced Kit:https://www.robotshop.com/en/hiwonder-jethexa-ros-hexapod-robot-kit-powered-by-jetson-nano-with-lidar-depth-camera-support-slam-mapping-navigation-advanced-kit.html
JetHexa 是一款基于机器人操作系统(ROS)的开源六足机器人,搭载 NVIDIA Jetson Nano、智能串行总线舵机、激光雷达、高清摄像头/3D 深度摄像头等高性能硬件,可实现机器人运动控制、建图导航、循迹避障、自定义巡游、人体特征识别、体感互动等功能。
JetHexa 采用新颖的逆运动学算法,支持三脚架和波纹步态,并具有高度可配置的身体姿势、高度和速度,将为用户带来极致的使用体验。
JetHexa 不仅为用户提供了学习和验证六足机器人运动的先进平台,还提供了 ROS 开发的解决方案。为了帮助用户踏上 ROS 六足机器人世界的新旅程,提供了丰富的 ROS 和机器人学习材料和教程。
1.Jetson Nano 控制系统
NVIDIA Jetson Nano 能够运行主流深度学习框架,如 TensorFlow、PyTorch、Caffe/Caffe2、Keras、MXNet 等,为海量 AI 项目提供强大算力。JetHexa 搭载 Jetson Nano 可实现图像识别、物体检测与定位、姿态估计、语义分割、智能分析等全能功能。
2. 单目相机(带2DOF云台)
单目相机可上下左右旋转,并实现彩色跟踪,自动驾驶等。
3. 3D深度相机
深度相机可以处理深度地图数据,实现3D视觉建图导航。
4. ROS 亮点
1)2D激光雷达测绘、导航和避障:
JetHexa 搭载高性能 EAI G4 激光雷达,支持使用 Cartographer、Hector、Karto 和 Gmapping 等多种算法进行测绘、路径规划、定点导航以及导航避障。
2)RTAB-VSLAM 3D视觉映射和导航:
JetHexa 支持纯 RTAB 视觉和视觉与激光雷达融合两种方式的 3D 彩色制图,能够在 3D 地图中导航和避障并执行全局重新定位。
3)多点导航与避障:
激光雷达可以实时探测周围环境,让JetHexa在多点导航时避开障碍物。
4)深度图像数据、点云图像:
通过相应的API,JetHexa可以获得相机的深度图像、彩色图像和点云图像。
5)KCF目标跟踪:
基于KCF滤波算法,机器人可以跟踪选定的目标。
6)深度相机障碍物识别:
借助深度摄像头,它可以检测前方的障碍物并穿过障碍物。
7)自定义路径搜寻:
用户可以自定义路径并命令机器人沿着设计的路径行走。
8)激光雷达跟踪:
激光雷达通过扫描前方运动物体,使机器人能够进行目标跟踪。
9)激光雷达守卫:
激光雷达承担着守卫周围环境和检测到入侵者时发出警报的作用。
10)颜色识别与追踪:
该机器人能够熟练地识别和跟踪颜色,并可以根据颜色执行不同的动作。
11)群组控制:
只需一个无线手柄便可控制一组JetHexa统一、同时地执行动作。
12)智能编队:
可以控制一批机器人以不同的队形巡逻。
13)穿越峡谷:
当激光雷达扫描到前方的峡谷时,机器人就会调整姿态和方向,穿过峡谷。
14)自动线路跟踪:
机器人能够识别用户指定的颜色线并沿着线行走。
15)标签识别与跟踪:
JetHexat 擅长同时识别和定位多个 AR 标签。
16)姿势检测:
内置IMU传感器,可实时检测身体姿势。
5. 升级的逆运动学算法(三脚架步态/波纹步态):
一键步态切换:
JetHexa 支持随意切换三脚架步态和波纹步态。
1)定速定高“月球漫步”:
通过逆运动学算法,JetHexa 可以在 SLAM 建图过程中保持稳定,并以恒定的速度进行月球漫步。
2)俯仰角和横滚角调整:
高度可配置的身体姿势、重心、俯仰角和横滚角使六足机器人能够克服各种复杂的地形。
3)方向、速度、高度和步幅调整:
JetHexa可以在移动中实现转弯、变道,并支持线速度、角速度、姿态、高度、步幅的无级调整。
4)身体自我平衡:
内置的IMU传感器负责实时检测身体姿态,从而安排机器人调整关节,保持身体平衡。
6. 深度学习与模型训练助力人工智能创造力
JetHexa采用GoogLeNet、Yolo、mtcnn等神经网络,掌握深度学习训练模型,通过加载各类模型,快速识别目标,实现垃圾分类、口罩识别、情绪识别等复杂的AI项目。
1)口罩识别:
凭借强大的计算能力,JetHexa的AI功能可以通过深度学习进行扩展。
2)垃圾分类:
快速识别不同的废弃卡,并按照类别放置到相应的区域。
3)情绪识别:
JetHexa 能够准确识别面部特征,捕捉表情的每一个细微差别。
6. MediaPipe发展,AI交互升级
JetHexa基于MediaPipe框架,可以进行人体跟踪、手部检测、姿势检测、整体检测、人脸检测、3D检测等。
1)指尖轨迹控制
2)人体姿势控制
3)手势识别
4)3D人脸检测
7. 凉亭模拟
JetHexa 采用 ROS 框架,支持 Gazebo 模拟,Gazebo 为您提供了一种全新的方式控制 JetHexa,并在模拟环境中验证算法,降低实验要求,提高效率。
1)车身控制模拟:
通过仿真验证运动学算法,避免因算法错误导致机器人的损坏。
2)视觉数据:
提供视觉数据,观察机器人末端及重心轨迹,优化算法。
8.控制方式多样:
1)WonderAi APP
2)地图导航应用程序(仅限Android)
3)PC软件
4)无线手柄
-控制方式多样:
-WonderAi APP
-地图导航应用程序(仅限安卓)
-PC软件
-无线手柄