近日，哈尔滨工业大学社会计算与交互机器人研究中心张伟男教授带领博士生王雪松、硕士生王寄哲、宋浩、田翔、梁师齐、韦明杰、冯怀绪、孙楚芮、本科生段传喜、于佳宁、韩喆共同研发了可通过语言交互进行指挥和操控机器人的机器脑系统。该系统通过搭载在Aloha机器人上，不仅实现了对本体的智能化操控，更令其自主完成了“乘电梯下楼取咖啡”的复杂、长程办公服务任务，让机器人的智能水平再进一步！
目前，机器人本体的研发如火如荼，涌现出众多令人瞩目的成果，尤其是近期上演了“机器人春晚舞台转手绢”这样令人激动的场景。然而，尽管这些前沿机器人已经在运动方面取得了巨大进步，但它们仍然处于“四肢发达，头脑简单”的阶段，智能水平尚无法满足进入日常生活、为人类提供服务的需求。为了提升机器人的智能水平，并适应日益多样化的机器人形态，我中心具身智能团队瞄准了机器人智能“大脑”这一关键领域，致力于打造集成具身大模型算法与传感器、计算单元等硬件的智能机器脑系统。这个系统不仅能够在各种异构机器人上进行部署和迁移，更为具备运动能力的机器人赋予智能，满足未来人机共融时代对智能的迫切需求。
团队研发的机器脑系统虽然身形仅有20cm×20cm×28cm，但内部却装配有双目3D相机、激光雷达、阵列麦克风、迷你主机、显示屏、音响等硬件设备，兼备视、听、说功能。不仅如此，系统还搭载了基于Transformer架构的执行模型和ROS（Robot Operating System），并通过与云端部署的自研具身大模型实现无缝连接，赋予机器人强大的语音交互、环境感知、任务规划、导航和本体操控等智能能力。
云端部署的自研具身大模型能在复杂的现实环境中高效拆解并规划长程任务，而且还能和人类自然对话，听懂人类的指令并做出反应。以拿“下楼取咖啡”任务来说，机器人会把这个任务拆解成“到电梯”“叫电梯”“判断电梯是否到达”“进电梯”“按楼层按钮”“再次判断电梯是否到达”“出电梯”“到达咖啡店”“取咖啡”等一系列步骤，保证每一步的“小细节”都做到位，最终圆满完成“大任务”。同时，这款机器脑还能与人类流畅互动，不仅能接收指令，还能主动提问，并根据反馈快速调整策略，实现基于人和环境反馈的闭环控制。比如，如果机器人在电梯里遇到人挡住了按钮，它会礼貌请求对方避让，甚至直接求助，主动让人帮忙按电梯按钮。
除此以外，该机器脑系统还部分应用在展厅服务场景，如从2024年7月起在中央大街哈工大中心服务的展厅机器人“小红”；搭载在乐聚Kuavo机器人上，实现了亚冬会测试赛场馆的服务等等。在未来，这款机器脑系统还将适配多种场景和多种形态的机器人，实现任务场景和异构机器人间的快速迁移，让机器人走进更多生活和工作场景。