密歇根大学开发的实时 3D 跟踪系统,可能会取代自主技术中的激光雷达和摄像头。该系统结合了基于石墨烯的透明光探测器和先进的神经网络，可以在三个维度上感知和成像场景。



由电气和计算机工程副教授钟朝晖开发的石墨烯光电探测器经过改进，仅吸收了它们所暴露的光的 10% 左右，这使得它们几乎透明。由于石墨烯对光的高度敏感，该百分比足以生成可通过计算成像重建的图像。

制造透明探测器的一种方法是使吸收材料变薄，通常在几十纳米以下。



基于石墨烯的透明光电探测器阵列（充当相机中的两层传感器）,通过将绿色激光束聚焦到内部透镜前方的小点上来测量模拟点物体的焦堆图像。



基于硅和 III-V 族材料的传统图像传感器以高吸收为目标以最大化响应。



通过使用原子级薄的二维材料来制造光电晶体管来解决这个问题，光电导增益放大了来自弱吸收的小信号，从而同时实现了大响应和高透明度。

新设计中的光电探测器相互堆叠在一起，形成一个紧凑的系统，每一层都聚焦在不同的焦平面上，以实现 3D 成像。



石墨烯纳米器件和机器学习算法的深度结合可以为科学和技术带来迷人的机会，与其他几种解决方案相比，该系统结合了计算效率、快速跟踪速度、紧凑的硬件和更低的成本。



除了 3D 成像，研究人员还使用该系统进行实时运动跟踪，这对各种自主机器人应用至关重要。为此，他们必须找到一种方法来确定被跟踪对象的位置和方向。研究人员说，通常这是通过激光雷达和光场相机完成的，两者都有很大的局限性。其他方法使用超材料或多个相机。



考虑到焦点堆栈图像的小数据量和使用 GPU 的神经网络的短推理时间，速度可以很快。



与其他方式相比，该技术具有某些优势，而其他方式本身也有其独特的优势和劣势。激光雷达需要主动照明，这会导致额外的功耗、复杂性和安全问题。光场成像需要大量细节，但由于必须处理大量数据，它可能会降低速度。另一种方法是立体相机，由于需要多个相机，因此体积可能很大。

该团队发现，通过添加深度学习算法，该技术可用于运动跟踪。博士生徐震帮助弥合了两个领域之间的差距。徐建立了光学装置并与团队合作，使网络能够破译位置信息。



该网络旨在搜索场景中的特定物体，然后仅关注感兴趣的物体，例如行人或在高速公路上驶入车道的物体。该技术特别适用于稳定的系统，例如在自动化制造或某些医疗环境中。



该算法是由 Pytorch 通过提供网络训练样本来实现和训练的，在 3D 点对象跟踪的情况下，每个训练样本都包含一个输入焦点堆栈和正在成像的点对象的相应 3D 坐标。



这些样品要么是使用透明石墨烯探测器在单次曝光中通过实验收集的，要么是使用具有不同焦点位置的多次曝光的 CMOS 相机。
在演示中，该技术使用两个 16 像素石墨烯光电探测器阵列的堆叠成功跟踪了光束和瓢虫。研究人员还证明了该方法是可扩展的，他们认为对于一些实际应用，它只需要 4000 个像素，而对于更多的应用则需要 400×600 像素阵列。






上一篇：人工智能如何缓解妇女在技术方面面临的挑战
下一篇：人工智能宇航员：CIMON世界上第一个飞入国际空间站的人工智能助理