这大概是世界上最聪明的一块玻璃,它可以用来识别数字,并且无需耗电,也不用传感器,只要光亮即可。
这个玻璃 AI 研究将人工智能嵌入了一个非计算机的物理装置中,自带科幻色彩。它能够实时区分手写数字,也就是说,一块小小的玻璃实现了传统 AI 的相机、传感器和深度神经网络的功能整合。当数字变换时,系统能及时作出反馈。
图 | 从左到右分别为:喻宗夫、Ang Chen 和 Efram Khoram。他们开发了这款智能玻璃。 (来源:SAM MILLION WEAVER)
核心算法:光的散射
光学神经计算最重要的特点是,几乎不消耗能量,且因其有内在的并行性可大大加快计算速度。与此前光学神经计算不同,喻宗夫团队的研究没有遵循数字神经网络架构,也不采用分层前馈网络,而是利用光学反射连接各个激活单元。正是这种光反射作为反馈机制,从而导致了丰富的波动结果。
这是一种无需分层的连续人工神经计算系统。这套系统利用了特意嵌入玻璃中的石墨烯和小气泡。当目标图像的光线穿过玻璃 AI 时,其路径就会被这些气泡和石墨烯反射或折射而造成弯曲,弯曲后的光线会聚焦到玻璃另一侧 10 个点中的某个点上。
图丨玻璃 AI 的原理。(a)传统的人工神经网络架构,其中信息只能向前传播; (b)玻璃 AI 系统的光学神经网络,采用通过具有线性和非线性散射体的光进行神经计算。
图丨玻璃 AI 的工作过程。(a)系统经过训练以识别手写数字,输入波将图像编码为光能强度分布。(b)数字 2 的两个样本。 可以看出,两个 2 的光能场分布不同,但是它们被识别为 2。(c)两个 8 的光能场分布不同,它们都被识别为 8。(来源:喻宗夫)
这 10 个点对应了从 0 到 9 这 10 个数字。就像一把钥匙开一把锁,如果某个数字的光线没有对焦到相应的数字,研究者就调整系统中的杂质大小和位置。研究者对此进行了成千上万次训练,最终玻璃 AI 学会了精确的数字对应。即使手写数字风格不同,这套系统也能准确聚焦、识别。
这是一种以简单结构获得复杂行为表现的研究。在机器学习的过程中,研究人员训练的是物理材料,而不是数字代码。也就是说,光传播的波动力学实现了人工神经计算的功能。相对于数字计算,这是颠覆性的观念。
研究人员认为,这套系统在现实中的应用还不确定,但理论上可以制作成生物识别锁,进行人脸识别。只是这个系统还缺乏计算上的灵活性,以及面对多线程或不同的任务。
显然,这个玻璃 AI 看起来和我们此前认识的 AI 系统不一样,它为何会被称为 AI 系统?这个系统有人脸识别的潜力吗?研究者下一步会如何开发这个系统?带着诸多问题,DeepTech 专访了作者喻宗夫。
模糊识别很难,是 AI 的体现
DeepTech:能不能介绍你们课题组的工作内容以及你们的研究目标?利用光来做 AI 系统,这个思路是怎么产生的?
喻宗夫:我们希望在纳米光学技术和机器学习的交叉口创新,希望对光敏材料、传感器件、光学成像系统和机器学习全栈优化。以前硬件和软件的研究比较分立,我们希望把软硬件看作一个整体,以具体应用为目标导向,从新整体考虑视觉感知。在这个大方向下面,我们组成员们展开思路,不拘泥于现有光感、成像、识别的架构体系,于是 Erfan 和其他组员就想出了这个点子。
DeepTech:与其他的光计算相比,你们这个研究是怎样的特点?
喻宗夫:以前的光计算本质上还是数字计算,只是把电子换成了光子,从电路改成了光路。用光作为载体来计算有几十年历史了,这次我们利用的是结构材料本身特性。
首先第一点,我们的玻璃 AI 不存在以前神经网络的分层概念,它整个就是一体化的。另外,我们整个优化方法的过程也不是按照模拟数字神经网络的思路,而是优化麦克斯韦方程,去控制光的物理散射过程。
从实现的结果上来说更不一样。就是说我这个装置可以做得非常小,也不需要用任何能量,因为以前的结构需要分层,体积和能耗就比较大。
DeepTech:这个玻璃 AI 看起来和我们此前认识的 AI 系统不一样,它为何会被称为 AI 系统?能不能说,这只是一套数字密码系统?
喻宗夫:模式识别是典型的 AI 应用。这和密码系统完全相反,我们需要这个玻璃有很大的容错性:一个数字谁来写,都要认出来,这种模糊识别很难,是 AI 的体现。 相反,密码则要一个比特也不能差,却容易实现多了。
DeepTech:这个 AI 系统与计算机是什么关系呢?该系统的训练学习过程是一个调整玻璃内石墨烯杂质的过程,而不是其他 AI 系统那样在计算机输入数据、在终端输出结果那样的过程,对吗?
喻宗夫:光在玻璃里面传播就是一个偏微分方程控制的波动过程,而神经网络和偏微分方程有很大的相似性。我们利用这种相似性,以波动方程为载体实现神经网络的计算效果。
光打到玻璃里的小孔上,就会被散射开。小孔就像数字神经网络里的节点,它们把输入混合起来,产生输出。我们这个训练过程,就要去做和神经网络一样的梯度下降,去调整玻璃里面的小孔和非线性材料的位置与大小。
DeepTech:这个思路很出奇,做出这样的系统需要哪些研究基础呢?
喻宗夫:其实做这个事情需要很多领域的配合。我们不是仅仅把数字改换成光子,我们还要去解电磁场方程。所以对机器学习、电磁场方程这两块领域都要熟悉。 我们希望在这个交叉领域继续研究创新。
DeepTech:似乎这个 AI 系统不需要那么巨量规模的训练,是这样理解吗?
喻宗夫:不是,我们也需要很多训练。因为这个是在电磁场介质里面传播,我们要仿真整个电磁场传播的过程,然后在这个基础上要对偏微分方程整体做优化,所以计算量其实是非常大的。我们用的是机器学习的方法,但解的是电磁场的优化问题,所以这两块结合起来很有挑战,需要从头写整个训练工具。
一个新的概念
DeepTech:这个研究是一个怎么定位?是技术的突破,还是说创造了一个新的工具?
喻宗夫:我觉得这是一种新的概念。我们是用玻璃本身来实现人工智能的计算,而以前的人工智能都是用计算机完成的,那么现在是利用非数字模拟的物理作用就可以实现这件事情,所以说在这方面是一个突破。如此引申的话,很多其他物理作业比如声波也可以这样操作。
DeepTech:能说这是一个计算机吗?
喻宗夫:对。通用的计算机可以做很多事情,我们这个系统只能做一件事情,所以在这一点上它跟计算机是有差别的。但是目前来说,计算机的发展也渐渐地趋向于只做一件事情。比如说挖比特币的矿机。
我觉得,这个不是为了取代已有的图像识别系统,更多的可能是一些更广阔、以前没有应用的方式。比如说,虽然说我们现在有了数字锁,但是没电或者断网就不能用。我们这个人脸识别锁就像传统物理锁,只要有钥匙它就一直可以用。
所以可能是在这种更加特殊的时候,如果你担心 AI 系统被攻击的话,那么这个系统完全没有可能从外界去攻击或干扰,它对安全性很有保障。
DeepTech:除了数字识别,这个系统如果用来开发人脸识别的话,还需要做哪些工作?以及其挑战有多大?
喻宗夫:人脸识别在概念上的可行性已经可以通过现在的工作证明。人脸识别的应用需要不少工程工作,可能超出一个学术问题了。比如训练的样本的光场建模需要大量的计算。
DeepTech:你们下一步会如何开发这个系统?这个系统将来如何能便捷应用到普通民众中,能成为一款便携式的智能产品吗?
喻宗夫:这个概念为我们自己打开了一个思路:不一定要有数字和芯片才能智能。智能可以无所不在,我们称之为物理驱动智能。 我们今天证明玻璃可以识别图像,就是麦克斯韦电磁场定律赋予的。还有很多物品可以利用物理定律的来智能化。
数字芯片是人类的智能产品,物理定律的智能产品一定更广阔。我们觉得利用物理来做智能计算很有意思,而且有广泛的应用价值。
专家点评:
阮智超(浙江大学物理学系教授):本研究原创性较高,与 2018 年一篇 Science 研究有异曲同工之妙,后者创造了一种 3D 打印的全光学衍射深度神经网络架构。在喻宗夫研究中,如要应用到如人脸识别等复杂场景,需要进行复杂的调参,这对于这种玻璃 AI 装置有挑战性。
喻宗夫简介:
喻宗夫(ZongFu YU),威斯康星大学麦迪逊分校电子及计算机工程系副教授。2004 年本科毕业于中国科学技术大学物理学系,博士毕业于美国斯坦福大学,主要研究领域是微纳光子学、机器视觉和新能源。他是非互易纳米光子学开创人之一,提出了纳米太阳能电池的效率理论,并开发了多模视觉相机,应用于下一代的机器视觉。