机器人展认识到，精密电子装配机器人的视觉遮挡难题，一直是行业有待突破的技术痛点。清华大学孙富春教授团队联合中科院自动化所、北京航空航天大学，共同研发出一套数字孪生驱动的机器人手机装配系统。

当下工业机器人已广泛应用于各类装配产线，但手机FPC柔性排线装配环节仍存在明显技术难点。FPC连接器体积微小，机械臂抓取时容易遮挡检测视野，设备难以精准判断连接器对位空间关系，会对装配速度与加工精度造成一定影响。

本次研究针对性提出数字孪生驱动的FPC检测装配方案，系统搭建与实体产线一比一映射的虚拟数字空间，操作人员可自由切换观测视角、缩放画面，全方位还原装配作业场景，清晰分辨机械臂末端与FPC连接器的位置关系，避开实体场景的视觉遮挡问题。

团队在传统深度学习框架基础上创新设计数字孪生奖励函数，通过测算机械臂带动排线的运动轨迹、虚拟标准点位之间的平移与旋转偏差计算装配误差，有效提升整体装配作业效率。虚实融合的机器人视觉优化方案，也是不少行业从业者在机器人展中重点关注的研发方向。

整套技术方案依靠两项核心思路优化装配精度，一是利用单应性变换完成虚拟平台与实体装配平台的坐标校准，实体工位被机械手遮挡的区域，能够在孪生空间完整呈现，减少遮挡带来的检测偏差。二是依托自研奖励函数，以虚实场景内FPC点位差值作为评价标准，让深度学习模型同步学习实体产线与虚拟空间的定位逻辑，输出适配工况的机械臂动作。

整套方案依托红米Note 11模拟装配平台完成验证，在故障样本数量有限的情况下，综合表现优于纯视觉检测、无数字孪生辅助的传统装配方案。

系统整体分为CNN自编码器特征提取、LSTM机械臂动作预测两大核心模块，卷积网络将现场实拍画面转化为时序特征，长短时记忆网络结合特征数据输出机械臂控制指令。系统设置两条独立计算链路，实体产线与数字孪生空间分别独立运算，虚拟空间生成的机械臂运动轨迹用于扩充训练数据集，实体机械臂动作既参与模型训练，也直接用于现场装配。整体架构结合马尔可夫决策过程，融合虚实两类观测数据规划适配的装配动作。

数字孪生观测增强模块用于改善机械手遮挡造成的视觉盲区，研究人员选取虚实平台四角标记点完成对齐校准，装配过程中FPC高度固定，仅依靠单应矩阵转换坐标，就能缓解遮挡对视觉检测的干扰。当抓取动作遮挡目标时，系统同步读取虚实空间排线坐标，借助数字孪生俯视视角完整捕捉连接器位置，精准计算实际点位与标准点位的偏移差值，以此作为模型训练的奖励依据。手机排线装配仅需水平面平移旋转，模型以对齐虚拟标准点位为目标，输出对应的机械臂动作指令完成贴合装配。

研究团队开展多组完整装配对照实验，针对FPC连接器完成200次装配测试，累计采集实景、孪生、校准三类图像各24000张，全部数据按照6:2:2划分为训练集、验证集、测试集。数据结果显示，搭载数字孪生的CNN+LSTM方案拥有良好的识别准确率，测试集精度相较传统模型有所提升，平移、旋转误差收敛速度更稳，长期运行稳态误差更低。在不同伺服按压次数的测试条件下，该方案装配成功率表现良好，有限次数按压的作业效果，优于传统模型多次按压的装配水平，适配量产车间的高效生产需求。

整套技术已在手机模拟装配平台完成全流程验证，相比传统纯视觉装配方案，精度与装配稳定性都有明显提升。机器人与数字孪生结合的新型装配技术，也将持续在机器人展这类专业行业平台中，为3C智能制造提供全新的优化思路。

来源：CSDN