生态大会”在上海举行,主办单位是中国机器人网和上海智能谷。会议期间,俄罗斯工程院外籍院士、苏州大学机电工程学院机器人技术与系统国家重点实验室副主任孙立宁做了“与控制技术”的报告,从多个角度介绍了下当前在这一个方面领域中的进展。
从我国近几年制定的发展政策到“十四五”规划,尤其是2023年11月工信部发布了《人形机器人创新发展指导意见》,按照“谋划三年、展望五年”的时间安排做了战略部署,指出:到2025年人形机器人创新体系初步建立,到2027 年达到深入结合2。2024年3月北京又“揭榜挂帅”了19个项目3.....我们正真看到很多人形机器人项目发展良好。
2024年1月,工信部、教育部、科技部等7部门正式对外发布《关于推动未来产业创新发展的实施建议》中,在专栏“创新标志性产品”中,第一条就是“人形机器人”,之后的二~四条分别是量子计算机、新型显示、脑机接口。从这一-点来看,我国很看重人形机器人领域的发展。
近期业内人士也可以感觉到,无论是科技部还是工信部纷纷对白皮书、路线图进行了制定,而且在各个省市的发展规划中,纷纷成立人形机器人创新中心、研究院等。
人形机器人的优点人们已清楚,主要是从带足形到像人一样,解决复杂场景的应用。
人形机器人这几年出现了很多。尤其从2023年至2024年3月这一年多时间里,沉寂了20多年的人形机器人再次爆发。国外的案例,从美国波士顿动力的Atlas,到近期特斯拉的Optimus (擎天柱),以及英国Ameca、 美国Digit V3、迪士尼双足机器人、Figure 01等,国内有之江实验室的“小之”,优必选的“Walker x”.“星动纪元”、云深处“悟空”、追觅人形机器人、乐“星动纪元”、云深处“悟空”、追觅人形机器人、乐聚“夸父”等。
①技术层面,想使机器人像人一样一能动、能跑、能越障;更重要的是提升智能化水平,例如能针对任务②市场层面,尽管各种应用场景还在探索之中,但灵活、 稳定、智能。
②市场层面,尽管各种应用场景还在探索之中,但至少市场目标没改变,希望达到:低成本、高可靠性、用于军事场景、家用场景、抢险救援等。
网上有很多视频。例如,波士顿动力的AI建筑机器人,还有海尔和乐聚推出的“家庭服务机器人概念演示”。2024 年3月,在“2024年中国家电及消费电子博览会”上,海尔机器人与乐聚机器人联合展出了国内首款面向家庭场景的人形机器人Kuavo (夸父)。这款作功能,还展示了洗衣、浇花、插花、晾衣服等近期学作功能,还展示了洗衣、浇花、插花、晾衣服等近期学习的手部操作成果。该机器人能炒菜,这是否采用了数学模型?可能不是,是人的经验、行为能够数据化,这一点非常关键。
未来人形机器人怎么实现?人们上班后,家里收拾桌子和打扫卫生,包括把家电之间(洗衣机、冰箱、洗碗机等)连起来,变成了一个电子保姆,慢慢帮人们做家务,这应该是对我们生活有帮助的一种理想场景 。
过去的半闭环系统更关注内在的闭环,像工业机器人的码盘。现在人形机器人出现以后,更关注外部的传感,像听、看、闻,以及内部的陀螺和惯性等,用于外部的手、足和皮肤等(如图1)。
首先,做了柔性电子皮肤,用基于纳米摩擦发电的柔性传感器进行设计,研制出了便携式、低功耗、低成机交互系统,实现机器人末端的实时三维轨迹交互控制。这里的自发电指运动过程中的摩擦发电,是用先进材料研制出来的可穿戴的皮肤。这个研究较为实用。
第二,在传统的、未来不可少的灵巧手传感方面,有力的感知/触觉。为实现小型化和集成化,采用了更多的先进材料,利用了柔性和压铸等原理。在这方面,国内团队做了很多工作。
从感知外部来看,机器人无论是在AGV (自动引导车) 1移动方面都会存在挑战。环境感知方面的挑战涉及如下。
● 环境几何特征感知。基于IMU+激光雷达+视觉的几何特征感知:足底冲击振动下的多帧图像去噪与配准,像人一样,建立室外大场最地图,通过回环检测与回环验证对自身进行重定位,提供图像的精度。
●地形感知与分割。基于视觉的野外地形感知:建立具有典型地形的野外地形图像数据集;根据野外地形特征设计地形分割网络,并进行训练和测试;最终可通过视觉图像推断地形类型。与过去的机器人的吻合。
● 多信息地图建立。基于视觉进行三维建图:进行稠密深度估计,对薄结构及低纹理区域(如树干、水面)建模:通过视觉SLAM架构建立具有三维信息、地形以及物理特征信息的多信息稠密地图。
● 面向操作物体感知。这是协作机器人与人形机器人特有的问题。例如炒菜,主要是面向操作任务的目标物感知:实时建图与动态物体检测,防止操作碰撞,基于卷积神经网络目标物分类,进行特征点匹配,依据非完整点云数据估计目标物6维位姿。
● 类人时空域信息感知。基于脉冲神经网络的时空域信息感知:突破以空间信息为主的静态感知范式,将视觉感知的维度扩充至时空维度,提高机器人在动态、开放环境下的感知能力。
体感知方面,早期做视觉已比较多了,现在对软体或复杂的形状,触觉就发挥了很大的作用,所以对完整的估计等,包括清华等高校研究单位做的MEMS传感器的项目,已经能够对材质(钢铁、玻璃还是木头等)能够识别了,包括手指已经有了纹理,这方面就更精准化了。
●系统建模。系统建模是在运动控制层面,是比较难的,主要是根据人体运动特征,构建基于倒立摆模型:如线性倒立摆,弹簧负载倒立摆模型,用于行走与跳跃运动控制,还有被动动力学、单刚体1多刚体动力学模型进行人形机器人控制(如图2)。
● 动步态运动。静态1准静态运动的特点是依赖较大脚掌,行走缓慢,采用位置控制;动态运动无需大脚掌保持静态稳定性,走路的速度大幅度提高,由位置控制转为力控方案,有一定的鲁棒性。高动态运动的人形机器人软硬件成本最高,追求极致的运动性能,以突破人类运动的极限。
早期仿生机器人主要是四足机器人,做了多少年都本体,这很复杂,然后再降维。应该说从机械动力学方面有很多科学问题,非常难。但是如果能把系统动力学面有很多科学问题,非常难。但是如果能把系统动力学模型与大数据结合,可能是一种处理方法。再加上人形机器人的自学习训练,像人一样—人实际 上没有模型,通过训练学习的过程把AI问题解决了。这两方面能结合。
机器人的自学习训练,像人一样—人实际上没有模型,通过训练学习的过程把AI问题解决了。这两方面能结合。
动态运动控制方面。实际上机器人的发展也经历了从静态、准动态到高动态的发展过程,这方面已经看到了挑战,无论是Atlas还是擎天柱(Optimus),都是向动第二,控制也是一个大的问题,包括控制目标与模态和高动态发起了挑战,使之能够更好地得到应用。
第二,控制也是一个大的问题,包括控制目标与模型的问题。如前所叙,这里是模型与训练。底层来看,工业机器人是多关节位置控制,现在是全身运动控制,需要全身的力学模型。目前国内很多学者和高校开展了这方面的研究。
从这两方面的手段来看,我们早期的控制手段、控制要素、执行的变化基本是动力学的问题。
现在全身动力学要搞关节的位置控制、冲击力的柔性、接触、执行(让人跳起来)等问题。这些模型的基础原理也是多方面的,有基于动量、动能的,还包括机械动力学模型等。
发展趋势如前所述:准动态做了10年,然后运动控制/力控又做了10年,高动态是当前发展是最为火热的技术,最终的目标是类人化。
两条腿、两条胳膊以及两只手做复杂动作的时候,对协调控制带来挑战:怎样来把人的行为复用到机器人上?这很重要,需要数据驱动。
想比之下,模型驱动很难做得很精准一由于计算量要特别大,因此很难做到真实。所以数据驱动是很重要的。因为刚才提到,人的行为可能没有过多的模型,是通过学习进化的,最后能够与外部环境进行协调和适应,因此就需要跟大模型、数据平台结合。
未来的发展可能在手的操作方面会有很多挑战。抓取相关的技术问题,包括无缝地融合物理模型,最终是多模态一--通过大模型将不同传 感器的信息融合处理,通过语言实现机器人智能控制。
无论从运动模型还是感知,人形机器人跟人不完全一样,现在只能是从工程的角度改进。例如人类有39万亿个细胞/节点,我们对其认识太有限了。人运动最基本的是运动神经元。神经元来自于生物,截至2008年,孙立宁老师团队通过机械模型的方法建立了神经时空分布模型、突触生长模型以及神经电学模型,设计并搭建了神经电路。这个模型准不准?他们把一个水蛭的腿切断了,然后结合电生理实验平台(膜片钳)进行了运动供了基础。现在来看这是生物芯片的概念,至少说明这个模型是成功的,通过条件反射就能实现肌肉的控制。
会有什么样的效果呢?对于神经元模型,我们看一朵花在含苞待放的时候,只要-滴水就会突然爆发, 这是神经发育的过程。包括动物生下来的时候,神经很快就会发育了,这是生物进化的现象。
所以能不能把这个模型建好?通过一定的训练, 它自己就能爆发出一个神经元?这样的一个问题很重要一结合生物学原理。
实际上,我们人类的神经元,包括人类对于声觉和视觉的认识是因为大脑里有个海马体,这个海马区域的所以通过海马体脑区的情感认知,把拓扑关系找出来,可能这样一个宏观模型对嵌入运动控制是一种非常好的原理。
前期工作已做到了包括建图、采集,通过复杂环境导航、仿真强化学习等结合起来,算力非常快,相对来说还是比较前沿。在未来的研究.上如果这样结合起来,是否是一种新的思路?
ChatGPT已火热一年多了,现在已司空见惯,但对我们的发展是很有帮助的。孙立宁教授很关注神经网络和生成数据,这两者是很重要的。前边的感知是作为采集,从算法、AI到落地机器人的时候,主要有两个大问题,数据如何来?神经网络怎么做?
如果能够把像神经元这种生物学的原理,借鉴我们现在的神经网络,可能进展更快更好,但这需要人们的探索。
人形机器人的应用前景已经很肯定。核心问题是在我们的生活、生产/工作的每个方面怎么用? 一个自然语言的模型,另一个是操作,尤其操作是很难的,一个动作如果描述出来有很多数据。操作发展的过程都存在鲁棒性。
还有数据存储、技能的存储,例如一段视频或照相需要上G、几百兆,因此一个动作的存储恐怕是非常巨大的,海量数据怎么样存储?后边还有模型神经网络?这方面很重要。
有了数据以后,我们人的行为有了,那么怎么迁移到机器人里?还得有异构吧?包括4足机器人迁移到两足机器人,人的行为迁移到机器人里,所以数据迁移问题很重要了。从大样本的、小样本的、特征的、模型的,不同的角度来迁移数据。
所以我们在面临人形机器人方面大的战略思路也很清楚,但细节的问题还是很难在机械本体存在着一些瓶颈,在感知方面也需要创新,最重要的是结合AI技术怎么落地?数据、操作这样一些问题也给我们大家带来很多挑战。
这些问题若能够解决,相信就回到人形机器人的特种环境,最终可能在像工厂里,这样几大技术结合起特种环境,最终可能在像工厂里,这样几大技术结合起来,希望从业者能够从不同角度去合作、交叉,解决共性技术,最后迁移到产业的载体,使人形机器人的性能逐步的提升,好使好用,就达到了我们的梦想。
1:《人形机器人创新发展指导意见》中提到,到2025年人形机“大脑、小脑、肢体”等一批关键技术取得突破,确保核心部组件安全有效供给。
2:《人形机器人创新发展指导意见》中指出,到2027年人形机器人技术创造新兴事物的能力明显提升,形成安全可靠的产业链供应链体系,构建具有国际竞争力的产业生态,总实力达到世界先进水度融入实体经济,成为重要的经济稳步的增长新弓擎。度融入实体经济,成为重要的经济稳步的增长新弓擎。
3: 2024年3月13日,人形机器人大赛暨人形机器人百人会论坛在经开区开幕,其中参赛的116个项目均是围工信部关于人形机器人“揭榜挂帅”任务榜单的4大板块19个方向展开。4大板块为:核心基础,重点产品,公共支撑,典型应用。19个方向分别传感器,触觉传感器,旋转型电驱动关节,直线型电驱动关节,传感器,触觉传感器,旋转型电驱动关节,直线型电驱动关节,机械臂与灵巧手,高算力主控制器,高单位体积内的包含的能量电池,人形机器人端到端仿真开发平台,人形机器人的标准、测试与评估,人形机器人的机器脑智能控制技术,面向工业制造的典型应用,面向灾害救援的典型应用,面向危险作业的典型应用,面向智慧物流的典型应用,面向安防巡逻的典型应用,面向服务娱乐的典型应用。