宇叠在机器人领域的产品,主要有两大类。
宇叠智能超感数据手套遥操:以宇叠智能超感数据手套(UDCap DataGlove,简称宇叠数据手套)为核心、对灵巧手进行遥操控制的产品。
宇叠机器人遥操作仿真系统:该系统可连接宇叠数据手套、半身/全身动捕设备,对机器人进行遥操作,系统可支持对部分机器人的URDF模型进行仿真操作。
2. 宇叠智能超感数据手套遥操
首先需要了解数据手套的使用,这是用户手册总入口,所有的信息都可以从这里获得:
UDEXREAL UDCAP智能超感数据手套用户手册想要快速使用起来,在用户手册中有相应章节:
快速使用指南
使用介绍视频
2.3. HandDriver适配版软件获取
由于人类手和机器人灵巧手有较大差异,所以手套的配套软件HandDriver需要针对灵巧手进行适配。
适配工作为机器人遥操的核心必要工作,通常宇叠免费进行,但需要将灵巧手提供给宇叠公司。
2.3.1. HandDriver支持的操作系统
HandDriver支持Windows和Linux Ubuntu。
点这里下载HandDriver
HandDriver分为两个版本,推荐使用HandDriver Web版,采用B/S架构,支持浏览器访问图形界面(可关闭图形界面),具体使用方法请访问这里:HandDriver Web软件部署使用指南(若要进行固件升级,建议下载Windows独立软件版,注意务必先升级手套,再升级接收器)。
2.3.2. HandDriver通用版支持灵巧手适配
2.3.2.1. 灵巧手字符匹配功能
HandDriver v2.2.1 Windows版和Linux Web版新增“灵巧手字符匹配”功能,在HandDriver中输入某个灵巧手的字符之后,就可以获得适配该灵巧手的数据。灵巧手字符在双方确定合作后由宇叠提供。
输入灵巧手字符后,点击“√”按钮。
成功匹配灵巧手字符后,字符将保留在下拉列表中。字符匹配成功或失败,系统都会有相应提示。
2.3.2.2. 灵巧手数据传输与动作展示
HandDriver中的动作展示采用人手数据(“数据”页也是人手数据),对外发送的数据依照“灵巧手字符匹配”而定。
2.3.3. HandDriver适配版获取
针对某个特定品牌型号灵巧手的HandDriver适配版需要联系宇叠商务获取,适配版不支持“灵巧手字符匹配”。
用HandDriver适配版连接手套-->动作标定-->设置数据发送,这三项为手套使用的核心步骤,请参照用户手册相应章节。
动作标定对于动作准确性至关重要,请查看动作标定章节中的参考视频。
要使灵巧手动起来,需要实现灵巧手控制程序。该程序主要由三部分构成:
戴上手套标定后,HandDriver通过数据发送功能,基于UDP协议,对外发送人手各个关节实时数据(120Hz)。
数据传输格式分为JSON和Protobuf两种,并分别包含关节角度(欧拉角)和四元数两种数据内容,通常建议使用关节角度(欧拉角)实现对灵巧手的驱动。
以下文档详细说明了数据格式以及如何接收并解析HandDriver所发送的数据,并包含开源的SDK。
JSON C++/Python SDK_关节角度使用手册JSON C++/Python SDK_四元数使用手册Protobuf C++/Python SDK使用手册将HandDriver的各关节角度数据与灵巧手各关节进行映射(即对应)
按灵巧手的各关节选取所需要的数据,并按照灵巧手的格式对数据进行弧度制映射等处理。映射样例如下:
将处理后的关节角度数据发送至灵巧手SDK(调用SDK),进行角度控制。
在实际合作中,宇叠默认不提供灵巧手控制程序,该程序需客户方自行实现,但会提供上述映射关系。如果需要灵巧手控制程序,请与宇叠商务联系。
2.5.3. 手部动作空间位姿说明
宇叠数据手套基于柔性传感器原理,所获数据为各关节角度数据,不同于光学、惯性等传感器,不具备空间位姿信息。如果要采用空间位姿数据路径,需要基于上述四元数手册进行,该四元数由角度数据转换而来。
宇叠同时提供了手套模型的初始状态位姿数据,请访问:
HandDriver手部模型关节和数据说明该说明的最后章节给出了各关节点(含指尖)的位置和旋转,原点在两个手套根部连线的中点。
记录手套每帧关节角度,在软件设置中有一个开关,默认为关闭状态。
文件存储路径:Windows版与设置中的“文件存储路径”一致,HandDriver Web版的数据文件存放于服务器端安装目录中。
文件命名规则:DeviceName_YYYYMMDDHHMMSS.csv,例如:UDXST4007L_20241210100233.csv,时间为开始记录的具体时间,每次打开HandDriver会生成一个新的文件。
3. 宇叠机器人遥操作仿真系统
该系统可实现对机器人半身或全身的遥操作,该系统为收费的定制化实施服务,根据不同的机器人、灵巧手、机械臂而定。宇叠数据手套上的摇杆按键可实现自定义的遥操交互。
半身/全身动捕设备亦根据客户实际情况进行选择,宇叠主力推荐PICO头显+PICO体感追踪器实现遥操作,体感追踪器用于获取手部空间位置。
该系统目前已支持部分机械臂、灵巧手的直接使用,如睿尔曼RM65-B+傲意ROH-A001,宇叠欢迎各方合作。
定制化实施服务流程:前期技术咨询-->方案设计-->项目评估-->设备采购-->项目实施-->后期技术支持。
4.1. 为什么灵巧手有延迟?
从人手开始动,到开始调用灵巧手SDK控制灵巧手运动,在不考虑网络传输延迟的情况下,大约需要20ms;从调用灵巧手SDK到灵巧手真正动起来,由灵巧手厂商的产品而定,其中包括软件驱动和硬件驱动两部分,硬件驱动方面与灵巧手的物理实现技术相关。
所以有的灵巧手基本可以与人手保持实时同步,而有的则有明显延迟。普通人可分辨的最低延迟大约在20ms左右。