organization

行业动态

干货 | 汉堡大学教授张建伟:提升机器人性能要靠跨模态学习技术

2019-07-17

2018年12月,GBAS大会组委会十分荣幸邀请到德国汉堡大学教授、多模态技术研究所所长张建伟参加2018 GBAS 大湾区机器人与人工智能大会。


12月6日,德国汉堡大学教授、多模态技术研究所所长张建伟在GBAS 2018大会上发表了主题为《提升机器人性能的跨模态学习技术》的演讲。

他在演讲中提到,目前人工智能与人类还有很大的差距,未来人工智能与机器人的发展还会面临许多挑战。技术人员不应只关注人工智能和大数据技术,还要多关注可穿戴设备、5G通讯、生物技术、新材料新能源等新兴技术,只有把各种技术融合起来,才能创造新的可能,实现良性的产业发展。

张建伟1_副本.png


2019年GBAS大会正紧锣密鼓筹备中,那不妨在这个紧张又令人兴奋的时刻让我们一同回顾张建伟教授的精彩演讲:


大家好,今天我们有来自于美国、德国、日本的其他的嘉宾,他们给我们做了非常精彩的演讲。但是不好意思,可能我会给大家作中文的演讲,你们可以用到同声传译的耳机听,我会用中文介绍一下我们在跨模态的研究和理论实践,还有基础的背景。

前面几位报告人都讲过了,现在的人工智能可以给我们带来什么样的新的赋能的技术?

早上罗教授讲了,从分析未来人类美好生活的需求要什么,未来少人化的工厂,个性化老人的护理,老龄化社会的问题等等,这些都是我们下一代做人工智能和机器人要努力的目标。

从技术的整个可能性来讲,我们不能只关注人工智能和大数据,我们更多的还要关注可穿戴设备、5G通讯、生物技术、新材料新能源。上午听完了王教授(王中林,关于纳米发电机)的报告,我马上和他联系,因为我们现在做的行走机器人以后可以用他的纳米发电机,或许能创造新的可能。

比如说现在3D打印,我们在汉堡正在进行把3D打印的电路跟传感打到3D结构里的实验,使得打印出来的物体能具有智能和感知。这就是现在我们在未来机器人领域里面的新的动能,把各种各样新的技术融合起来,做更好的操作。

c2be0e10-1c74-4c19-ab48-410e44a7ccbd_副本.jpg

今天听了很多人工智能的内容,人工智能包括了机器人的学习。但机器学习只是近10个代码的之一,这10个里面又包含好几种方法,现在大家最熟悉的就是其中的自下至上的递进学习,这是得到了非常广泛的应用,并取得了一些很好的结果。但是这种弱人工智能也有很多问题,包括不透明,不可迁移等等。所以下一步做机器学习,就是要融合其他的强人工智能的学习方法,融入自上而下的知识,全局化的优化,让进化算法实现可泛化的学习。

现在人工智能变得非常热,从政府到投资人到用户到老百姓都非常关心人工智能,比如央视的一个节目,叫做《机智过人》。我想讲一讲,现在的深度学习能做什么和不能做什么。

我们用最强的人工智能和最强的人类,通过孩子的图像识别父母,在清晰的图像下,我们可以让机器人和最强的人类都能成功识别。但是在模糊的情况下,机器就会完全失灵,但最强的人类用知识和外推画出的肖像就能成功锁钉父母。这说明,现在的机器学习跟真正的人类差很多。又比如在《机智过人》第三期,曾经做过定点投球比赛。第一场人类女孩输给了机器人,但是第二场比赛请了林书豪出场,又战胜了机器人。

所以就像前面几位教授都提到的,我们现在的智能机器人和人类的智能系统还差很多。

现在的问题是,如何把认知系统里面机器人还比较缺少的性能,做成算法和控制结构,从而使机器人更聪明。比如说注意力、知识指导搜索等等。如果把这些信息进行有效的表达,表达成符号、概念、知识,指导机器人进行更高的规划,我们又该如何用这些认知方法改善现在的深度学习的一些弱点。

现在的深度学习非常容易被欺骗,用一些简单的噪声就能够让它识别的结果是另外的结果。所以这种现在的人工智能系统,不犯小错,一犯就是大错,这跟人的思维方法正好相反。

1563349764(1)_副本.jpg

现在我正在协调一个中德之间有史以来最大人工智能基础研究项目,由国家自然科学基金和德国的科学基金会联合资助,一方面通过我们和神经科学和心理学的合作,来研究人的模态的融合、传感、学习是如何实现的;另外一方面我们把它做成未来的算法,来做最好的2.0的机器人。

我们可以看到人类在融合方面是个很好的榜样,现在我们就是通过这种研究,用大脑的观察,包括脑成像、脑接口、脑刺激、行为实验等等,最后做成一个集成系统,用机器人测试多模态融合肌理做出更强的机器人。

人的认知通道包括视觉、触觉、听觉,我们把多模态的信号分析放在里面处理的话,在正常的情况下,它们会在比较高的层次上进行融合。但是如果有一个通道受阻,就会造成错判。如果我们在单通道出现问题或者不完全的情况下实现融合,这将会是个对机器人非常有用的技术。

这个项目已经进入第三年,取得了基础性的结果。我们通过观察老鼠的神经细胞在学习前和学习后的差别,最后抽象出一种新型的神经网络,里面带有局部的记忆。我们现在也正在总结泛化,希望更好的应用到机器人领域。另外,机器人协同,预测、泛化现在也是我们研究的重要的题目。

在我和孙富春教授合作的项目里,我们通过语言和交互的学习,让机器人不只是听懂一些话,而且还能看着听和说的图像,就学会语言、概念。我们也把这些东西用到了灵巧操作的过程,让未来的机器人能具有更好的灵巧操作能力。除了触觉和视觉之外,让它们在灵巧操作和力控操作方面,通过不断的交互学到新本事。

如何把自上而下的知识融入进去,通过经验的学习,使得机器人能力变得越来越强,这就是我们的项目。通过不断的人机交互,使得人机交互时间长度变得越来越短,同时使得机器人对世界的理解越来越精确。

我觉得未来人工智能的发展,还有下一代机器人,都还有很多很多挑战要应付,还有非常艰难的过程,我们还有近50年-100年的路要走。要真正做出在知识和能力方面能够超越我们人类的机器人,我想还任重道远。但正是在这个逐渐认清我们自我认知能力的过程中,我们才能不断把一些可以产业化的东西做成产品,提高我们生活质量。谢谢大家。