平板电脑的光传感器可以监视你

Yang Liu, MIT    

大多数人可能意识到了移动设备或笔记本电脑上的前置摄像头带来的隐私风险（https://spectrum.ieee.org/location-histories-privacy-laws），因此可以采取措施降低这些风险。但现在的研究表明，黑客（https://spectrum.ieee.org/flipper-zero-hackers-delight）也可以通过环境光传感器以意想不到的方式捕捉用户的图像，该传感器有助于自动调整许多设备上的屏幕亮度。

当应用程序和网站想要访问摄像头、麦克风或地理定位系统的数据时，请求许可已成为标准做法。然而，麻省理工学院的博士生Yang Liu表示，智能手机、平板电脑、笔记本电脑甚至智能电视等设备都装有其他传感器，这些传感器的潜在安全风险往往被忽视。

他说，在这些传感器中，环境光传感器引起了特别的关注。这些组件提供本地环境中照明的读数，操作系统使用该读数来改变屏幕亮度或切换暗模式。虽然这似乎无法提供太多详细信息，但研究人员已经表明，这些传感器可以检测光强度的变化，这些变化可以用来推断某人正在观看什么样的电视节目（https://dl.acm.org/doi/10.1145/2660267.2660358）、浏览什么网站（https://www.semanticscholar.org/paper/LightSpy%3A-Optical-eavesdropping-on-displays-using-Chakraborty-Ouyang/13ffdf3a54709ffa69efb9a21723fa9299925791），甚至触摸屏上的键盘条目（https://dl.acm.org/doi/10.1145/2666620.2666622）。

现在，Liu和他的同事在《科学进展》杂志（https://www.science.org/doi/10.1126/sciadv.adj3608）上的一篇论文中表明，通过将平板电脑上环境光传感器的数据与平板电脑屏幕上显示的专门定制的视频进行交叉引用，可以在用户与平板电脑互动时生成手部的图像。他说，虽然这些图像的分辨率很低，目前拍摄时间很长，但这种方法可以帮助攻击者推断出人们是如何使用设备上的触摸屏的。

Liu说：“人们知道笔记本电脑和平板电脑上有自拍镜头，有时会通过物理方法来遮盖它们。但对于环境光传感器，人们甚至不知道应用程序正在使用这些数据。而且这个传感器一直处于开启状态。”

然而，用光传感器捕捉图像并非易事，因为该设备只有一个像素，可以记录给定时刻的光强度。Liu说，，他们通过牺牲时间分辨率来获得空间分辨率来解决这个问题。它们在平板电脑的显示器上显示一系列快速的图案，照亮场景的不同部分，从而在传感器上产生不同的光强读数。重建算法能够获取这一读取序列，并将其与已知的照明模式相匹配，以拼凑出图像。

因为这个装置没有镜头，所以即使是很小的距离也不可能聚焦在任何东西上。一个关键的挑战是能够对显示屏正上方区域发生的事情进行成像，从而能够跟踪用户的手部运动。因此，该团队使用了一种名为“双重摄影（dual photography）”的方法，该方法依赖于一些反直觉的物理和巧妙的计算，将平板电脑的显示器变成了相机。

这项技术的基础是一种被称为亥姆霍兹互易性的物理原理（Helmholtz reciprocity）。想象一下，一条光线穿过光学系统，经历一系列反射、折射和吸收。这一原理表明，如果沿着相同的路径向后发送新的光线，这些转换将以完全相同的方式相加。在传统摄影中，光从照明源传播到相机。双重摄影利用Helmholz互易性来计算反向光的流动，本质上是交换相机和周围的光源。这使得从光源而不是相机的角度拍摄照片成为可能。

在Liu和他的同事测试的场景中，来自显示器的光线被用户的手部分遮挡，并从他们的脸上反射。然后由光传感器拾取。然而，从双摄影的角度来看，可以想象光从传感器向相反的方向传播，手在显示器上投下阴影。

该团队设计了一种反演算法，能够将光传感器的读数转换为32 x 32像素的图像，该图像捕捉到显示器正上方的区域。为了测试这种方法，他们拿出了一款现成的三星Galaxy View2平板电脑，屏幕为17.3英寸，并在其前面放了一个人体模型的头和手来模仿人。研究人员证明其能够捕捉各种触摸手势的图像，如两个手指滚动和三个手指捏。同时，还展示了他们可以使用Tom和Jerry的修改视频捕捉用户手部的粗略图像，这表明照明模式可以隐藏在视频中。

Liu承认，这种方法的主要局限性在于拍摄图像所需的时间。因为它们依赖于单个像素传感器，所以它们必须循环通过大量的照明模式来构建清晰的图像。光传感器的速度相对较慢，这意味着他们解决手势的最快速度是3.3分钟，而修改后的Tom and Jerry视频的实验需要68分钟。

独立安全研究员兼顾问Lukasz Olejnik表示：“以分钟为单位的获取时间太过繁琐，无法大规模发起简单而普遍的隐私攻击。”他之前曾强调过环境光传感器带来的安全风险。“然而，我不排除对针对选定目标的量身定制行动的重要性。”

但他也指出，在他早期的研究之后，万维网联盟（World Wide Web Consortium）发布了一项新标准，限制了对光传感器API的访问，浏览器供应商已经采用了该标准。

然而，Liu指出，安卓应用程序仍然没有全面的限制。此外，研究人员发现，一些设备将光传感器的数据直接记录在一个易于访问的系统文件中，而无需通过API。该团队还发现，降低图像的分辨率可以将采集时间限制在实际范围内，同时仍能为基本的识别任务保持足够的细节。

尽管如此，Liu也认为这种方法过于复杂，不适合广泛的攻击。一个可取之处是，它不太可能在智能手机上工作，因为显示器太小了。但Liu表示，他们的研究结果表明，移动设备中看似无害的组件组合会导致令人惊讶的安全风险。