近日，我院李昕明研究员团队在机器人视触觉感知研究方面取得新进展，提出了一种融合时间力序列与空间形变场的视触觉感知方法，实现对物体顺应性及软硬度状态的识别。相关成果以“Vision-Based Tactile Sensing for the Perception of the Objects’s Compliance and Hardness”为题，被《IEEE Robotics and Automation Letters》接收。论文中黄木兴和陈梓斌为共同第一作者，李昕明研究员为通讯作者，华南师范大学为论文作者单位。
图1 力-形变双流融合视触觉顺应性感知总体框架
人类在判断物体软硬时，往往会通过按压同时感受“用了多大的力”和“物体发生了怎样的形变”。现有机器人触觉方法通常主要依赖接触力或形变中的单一信息：仅依靠形变难以消除不同作用力和接触条件带来的歧义，仅依靠力信号又容易受到加载速度、接触深度和物体几何特征等因素影响。针对这一问题，研究团队构建了由时间力序列流和形变流组成的双流融合特征网络。其中，一条信息流从连续触觉图像中提取接触力随按压过程的变化，表征材料的动态力学响应；另一条信息流通过光度立体重建接触区域深度图，提取物体的几何与形变特征，并进一步融合两类信息。在三类具有不同硬度与表面形貌组合的柔性仿体分类实验中，仅使用时间力序列时识别准确率为77.0%，仅使用形变场时为79.0%，而双流融合后提高至99.3%，较两种单一信息分别提升22.3和20.3个百分点。结果表明，动态力响应与空间形变信息具有明显互补性，双流融合能够有效减少单一触觉特征造成的识别歧义。
为进一步验证该方法在机器人接触感知中的适用性，研究团队将视触觉传感器集成至机械臂系统开展多类物体实验。其中，在由4种不同缺陷区域及局部硬度状态的橙子和2种不同软硬状态的圣女果组成的实验中，分类准确率不低于98.5%；随后又选取18类具有不同局部曲率、尺寸、表面纹理和肖氏硬度的物体，包括硅胶球、刚性球、仿水果柔性模型及纹理物体等进行测试，总体识别准确率约为99.3%。研究结果表明，融合动态力响应与空间形变信息能够提升机器人对不同几何和力学特性物体的综合感知能力，为柔性物体操作、物理属性感知及具身智能系统与真实环境交互提供新的技术思路。
图2 视触觉传感器机械臂集成及多类型物体感知实验验证
近年来，李昕明研究员团队围绕人工感知与实体交互开展研究，重点关注人工触觉感知、机器人精细操控与认知推理等方向，先后在该领域的多家学术期刊发表多篇重要论文。
论文链接：https://ieeexplore.ieee.org/abstract/document/11685314