情绪响应玩偶

August 17, 2026

项目概览

这个项目将情绪识别系统与可动玩偶连接起来，尝试让玩偶成为情绪反馈的实体载体。系统通过硬件检测人的面部表情，并结合适配后的医疗数据判断情绪变化；情绪状态传递到玩偶端后，玩偶根据预设的动作策略做出相应反馈。

我主要负责玩偶端的动作控制与交互开发。除了让玩偶能够响应情绪系统，我还搭建了自然语言输入和仿真环境，使同一套动作可以在真实玩偶与仿真玩偶之间转换、验证和复用。

我负责将情绪系统输出的状态接入玩偶控制端，并把情绪变化映射为可执行的动作。通过对动作进行组合和编排，玩偶可以针对不同情绪状态做出具有差异的姿态和行为反馈，而不是只执行单一的开关动作。

在开发过程中，我加入了自然语言输入框，并扩展了语音控制流程。用户可以用文字或语音描述想要的动作，系统将输入匹配到玩偶的动作指令，再驱动玩偶完成对应行为。

这部分工作的重点是建立从“人的表达”到“机器人动作”的映射关系，让动作控制不再依赖固定按钮或预先编排的单一流程，也方便后续扩展新的动作和交互方式。

为了验证动作控制链路，我实现并联调了多种操作方式：

这些方式共享同一套动作表达和执行接口，便于在调试时快速定位问题，也能比较不同输入方式下的动作效果。

我还搭建了仿真环境中的史迪仔模型，用于验证动作、控制逻辑和交互流程。通过手动调整真实玩偶的姿态，可以对动作进行示教；示教得到的动作再映射到仿真环境中，用于检查动作是否合理、关节是否存在冲突，以及控制过程是否满足预期。

反过来，仿真环境也可以作为动作设计和调试入口，在真实硬件执行前先验证动作流程。这样形成了“自然语言/语音输入—动作匹配—仿真验证—真实玩偶执行”的开发闭环。

视频第一阶段为自然语言输入，在仿真环境里实验，然后投射到实体玩偶的动作上；第二阶段为手动遥控（这一步可以改为直接掰动）实体玩偶，后台记录玩偶轨迹后在虚拟环境中复现。