宇叠机器人产品使用简述

1. 概述

宇叠在机器人领域的产品,主要有两大类。

  1. 宇叠智能超感数据手套遥操:以宇叠智能超感数据手套(UDCap DataGlove,简称宇叠数据手套)为核心、对灵巧手进行遥操控制的产品。

  1. 宇叠机器人遥操作仿真系统:该系统可连接宇叠数据手套、半身/全身动捕设备,对机器人进行遥操作,系统可支持对部分机器人的URDF模型进行仿真操作。

2. 宇叠智能超感数据手套遥操

2.1. 用户手册入口

首先需要了解数据手套的使用,这是用户手册总入口,所有的信息都可以从这里获得:

UDEXREAL UDCAP智能超感数据手套用户手册chevron-right

2.2. 快速使用指南

想要快速使用起来,在用户手册中有相应章节:

快速使用指南

使用介绍视频

2.3. HandDriver适配版软件获取

由于人类手和机器人灵巧手有较大差异,所以手套的配套软件HandDriver需要针对灵巧手进行适配。

适配工作为机器人遥操的核心必要工作,通常宇叠免费进行,但需要将灵巧手提供给宇叠公司。

2.3.1. HandDriver支持的操作系统

HandDriver支持Windows和Linux Ubuntu。

点这里下载HandDriver

HandDriver分为两个版本,推荐使用HandDriver Web版,采用B/S架构,支持浏览器访问图形界面(可关闭图形界面),具体使用方法请访问这里:HandDriver Web软件部署使用指南若要进行固件升级,建议下载Windows独立软件版,注意务必先升级手套,再升级接收器)。

2.3.2. HandDriver通用版支持灵巧手适配

2.3.2.1. 灵巧手字符匹配功能

HandDriver v2.2.1 Windows版和Linux Web版新增“灵巧手字符匹配”功能,在HandDriver中输入某个灵巧手的字符之后,就可以获得适配该灵巧手的数据。灵巧手字符在双方确定合作后由宇叠提供。

输入灵巧手字符后,点击“√”按钮。

成功匹配灵巧手字符后,字符将保留在下拉列表中。字符匹配成功或失败,系统都会有相应提示。

2.3.2.2. 灵巧手数据传输与动作展示

HandDriver中的动作展示采用人手数据(“数据”页也是人手数据),对外发送的数据依照“灵巧手字符匹配”而定。

2.3.3. HandDriver适配版获取

针对某个特定品牌型号灵巧手的HandDriver适配版需要联系宇叠商务获取,适配版不支持“灵巧手字符匹配”。

2.4. 手套使用核心步骤

用HandDriver适配版连接手套-->动作标定-->设置数据发送,这三项为手套使用的核心步骤,请参照用户手册相应章节。

动作标定对于动作准确性至关重要,请查看动作标定章节中的参考视频arrow-up-right

2.5. 如何让灵巧手动起来

2.5.1. 灵巧手控制程序

要使灵巧手动起来,需要实现灵巧手控制程序。该程序主要由三部分构成:

  1. 接收并解析HandDriver所发送的数据

戴上手套标定后,HandDriver通过数据发送功能,基于UDP协议,对外发送人手各个关节实时数据(120Hz)。

数据传输格式分为JSON和Protobuf两种,并分别包含关节角度(欧拉角)和四元数两种数据内容,通常建议使用关节角度(欧拉角)实现对灵巧手的驱动。

以下文档详细说明了数据格式以及如何接收并解析HandDriver所发送的数据,并包含开源的SDK。

JSON C++/Python SDK_关节角度使用手册chevron-rightJSON C++/Python SDK_四元数使用手册chevron-rightProtobuf C++/Python SDK使用手册chevron-right
  1. 将HandDriver的各关节角度数据与灵巧手各关节进行映射(即对应)

按灵巧手的各关节选取所需要的数据,并按照灵巧手的格式对数据进行弧度制映射等处理。映射样例如下:

灵巧手关节
HandDriver关节

Joint 0

output [20]

Joint 1

output [2]

Joint 2

output [1]

Joint 3

output [7]

Joint 4

output [6]

Joint 5

output [10]

  1. 调用灵巧手SDK控制灵巧手运动

将处理后的关节角度数据发送至灵巧手SDK(调用SDK),进行角度控制。

2.5.2. 合作实践

在实际合作中,宇叠默认不提供灵巧手控制程序,该程序需客户方自行实现,但会提供上述映射关系。如果需要灵巧手控制程序,请与宇叠商务联系。

2.5.3. 手部动作空间位姿说明

宇叠数据手套基于柔性传感器原理,所获数据为各关节角度数据,不同于光学、惯性等传感器,不具备空间位姿信息。如果要采用空间位姿数据路径,需要基于上述四元数手册进行,该四元数由角度数据转换而来。

宇叠同时提供了手套模型的初始状态位姿数据,请访问:

HandDriver手部模型关节和数据说明chevron-right

该说明的最后章节给出了各关节点(含指尖)的位置和旋转,原点在两个手套根部连线的中点。

2.6. 人侧数据记录

记录手套每帧关节角度,在软件设置中有一个开关,默认为关闭状态。

  • 功能入口:设置->快捷键->数据采集

  • 文件存储路径:Windows版与设置中的“文件存储路径”一致,HandDriver Web版的数据文件存放于服务器端安装目录中。

  • 文件命名规则:DeviceName_YYYYMMDDHHMMSS.csv,例如:UDXST4007L_20241210100233.csv,时间为开始记录的具体时间,每次打开HandDriver会生成一个新的文件。

  • 文件大小不限,文件不会被自动清除。

3. 宇叠机器人遥操作仿真系统

该系统可实现对机器人半身或全身的遥操作,该系统为收费的定制化实施服务,根据不同的机器人、灵巧手、机械臂而定。宇叠数据手套上的摇杆按键可实现自定义的遥操交互。

半身/全身动捕设备亦根据客户实际情况进行选择,宇叠主力推荐PICO头显+PICO体感追踪器实现遥操作,体感追踪器用于获取手部空间位置。

该系统目前已支持部分机械臂、灵巧手的直接使用,如睿尔曼RM65-B+傲意ROH-A001,宇叠欢迎各方合作。

定制化实施服务流程:前期技术咨询-->方案设计-->项目评估-->设备采购-->项目实施-->后期技术支持。

4. 常见问题

4.1. 为什么灵巧手有延迟?

从人手开始动,到开始调用灵巧手SDK控制灵巧手运动,在不考虑网络传输延迟的情况下,大约需要20ms;从调用灵巧手SDK到灵巧手真正动起来,由灵巧手厂商的产品而定,其中包括软件驱动和硬件驱动两部分,硬件驱动方面与灵巧手的物理实现技术相关。

所以有的灵巧手基本可以与人手保持实时同步,而有的则有明显延迟。普通人可分辨的最低延迟大约在20ms左右。

Last updated