作者丨博雯
编辑丨海腰
在黑暗中视物是人类一直以来的追求，而智能时代的到来，又使整个夜视领域进入了新的阶段。
今年3月，AI增强夜视公司深知未来完成数千万人民币A+轮融资，由景泰资本投资。
所谓“AI增强夜视”，是指通过计算机视觉和深度学习卷积网络技术，能够在0.001Lux的极低照度下实现全彩细节成像。照度是反映光照强度的物理量，Lux（勒克斯）则是其基本单位。对于人眼来说，适宜阅读的照度约为500Lux，能感受到的极限照度为1Lux，相当于在全黑环境中点燃一根蜡烛。目前市场上大部分夜视相机可达到的极限为0.01Lux，也就是月夜下的亮度，而深知未来能达到的最低照度0.001Lux被称为“极弱光”，相当于夜晚星空下的光照强度。那么，这种突破性的夜间视物能力到底是怎么做到的？又有什么用？夜视领域：从卷硬件到用AI
夜视技术最早诞生于20世纪初，本质是在低照度条件下， 将不可见的辐射加入转换，或将微弱的环境光进行增强，最终得以成像的一种技术。这种技术首先需要一个感知光信号的前端设备，也就是图像传感器，负责感知和接收光信号，并将其转变成电信号。接下来，前端传感器输出的电压、电流信号就要通过ISP（图像信号处理器），对上一步的输出信号做“后期处理”——比如“线性校正”，也就是通过线性变换抵消较为偏暗的成像；比如“降噪”，也就是在弱光条件下，当传感器难以接收到足够的光信息，从而导致发热，产生噪点图像时，去减少这些图案图案噪声，同时保留纹理细节。再比如“白平衡”，通过分析来自传感器的亮度信息，计算和控制光圈、快门速度和感光度（ISO） ，使得图像亮度适宜。从本质来说，ISP是一系列图像处理算法的集合，通过各种增强、矫正、去噪、转换等环节，力求还原图像。从重要性来说，如果说图像传感器是人眼，那么ISP就是视觉处理中枢。在2018年之前，夜视领域的玩家们大都都选择卷硬件，试图对感光设备进行工艺改进，增加其感光面积。其中的最强玩家索尼，就曾花费5年的时间，将低照度感光芯片的光照感知能力从0.14Lux提升到了0.07Lux。然而，由于材料学以及制造工艺难以突破，视觉成像效果渐渐难以从硬件层面得到大幅提升。与此同时，一些特定场景对于最低照度的需求越来越高，比如夜间侦查瞄准等现代军事应用，或者安保监测等公共安全领域，都要求在0.001Lux及以下的星光级环境下仍能成像。2018年，英特尔实验室发表论文《Learning to see in the dark》，提出通过深度学习算法打造一种全新的AI-ISP成像体系。传统ISP常常基于硬件，通过不断扩充参数库来调试各种效果。这篇论文则论证了通过神经网络算法实现ISP全部功能的可能性——即通过深度学习海量场景和数据，输出算法模型，对图像进行精准处理。神经网络算法本就是模仿生物神经网络的结构所建立的，因此，这就像是将人类复杂的视觉神经网络融入ISP，使其成为了真正的“视觉处理中枢”这篇论文在当年被计算机视觉顶会CVPR收录，而文中提出的方法也为夜视领域带来了一条全新思路。夜间图像亮度提升200倍
2015年，32岁的张齐宁从任职8年的腾讯离职，开始做互联网方面的创业。他本科就读于武汉大学的计算机科学与技术专业，毕业后先后任职于华为和腾讯，在腾讯创新中心、腾讯研究院、IEG等多个部门历任研发、策划和管理职务。离职两年后，张齐宁于2017年10月创立了深知未来。公司的另一位联合创始人兼CTO郭奇锋曾任腾讯SOSO搜索系统架构师、百度商务搜索部基础检索组技术负责人、小米MIUI 9多个人工智能项目技术负责人。英特尔的那篇关键论文在他们公司成立一年后发布，也正是在那一年12月，深知未来获得了南岭投资的种子轮融资。万事俱备，深知未来便和很多企业一样，开始沿着这条新路线探索。在张齐宁看来，AI-ISP的定义，是完成从感光芯片到成像过程的一整个算法集合体，包含20-30个算法，如降噪、锐化、HDR等等。但如果通过神经网络实现ISP的所有功能，当时端侧的算力有限，不同功能要全部实现的难度也很高，从商业化角度来说性价比不大。此外，不同产品对于视觉成像的要求也不同，因此，一般芯片厂商会预留大量参数，以供产品厂商再做下游的调试。所以，深知未来决定只做部分关键ISP环节的AI化，如白平衡、降噪等。在去年的某次采访中，张齐宁提到，整个AI-ISP体系的20-30个算法，有的厂商关注了其中2-4个成像领域，而他们关注了7-8个领域，在涵盖范围和深度上是行业中最大的。基于英特尔论文的基本思路，深知未来利用神经网络深度学习噪声和信号的分布特性，在2019年推出了自研的夜视神经网络EODNet（end of dark），意为“黑暗终结者”。这套系统能够从极弱光信号中分离噪声和真实信号，在降噪的同时将真实信号增强至正常光环境强度，还能够在复杂光线、抖动和帧率等情况下保持稳定的成像质量。从最直观的数字来讲，能够将硬件的最低照度从0.1lux提升至0.003lux，最高能将夜间图像的亮度提升200倍。应用场景多为G端、B端
2023年，全球夜视设备市场规模约为89.5亿美元，而国内的夜视设备市场规模同比增长6.3%。这并不是一个规模巨大的市场，但其应用场景，却已在G端、B端和C端都形成了分支。比如，公安领域有数据显示，七成以上的犯罪都在晚上7点到次日凌晨5点的时间段内发生，但此前，市面上主流的热成像夜视仪和红外补光夜视仪，成像多为黑白或弱彩，存在目标细节特征不明显等缺点。因此，在这种极低照度下的夜间，能够提供彩色清晰的图像，尤其是像衣着颜色、车身颜色、车牌等，往往就能成为破案的关键线索。不仅在刑侦领域，还有环境恶劣的边防、山岭和沙漠油田区的违规监控、国家自然保护区的野生动物监测、禁渔期的河流监测，都是低照度全彩夜视成像的应用范围。除此之外，面临夜间行驶场景的自动驾驶领域，在拍照功能上无限内卷的手机厂商，都在近些年或多或少地引入了基于AI-ISP的低照度全彩夜视成像，改善图像质量。过去一年，深知未来的全彩夜视产品已在多个全天候安防场景中实现落地应用，并与中海油等大型企业建立了深度合作关系。至于消费端，则多见于户外运动场景，比如夜爬、露营等等。对于深知未来，他们目前最大的商业化场景是工业级无人机的全彩夜视相机挂载，也是最早商业化的领域。目前官网展示出了三种型号的整机产品，可适配搭载于大疆的行业机。这类产品主要针对B端场景，主要围绕着农业植保、电力巡检和警用安防三大领域。在汽车领域，张齐宁在去年接受采访时透露，公司已与国内一线主机厂商联合开展相关研发，推进夜视模组上车应用。而对于C端客户，深知未来也在2023年推出了类似单筒望远镜形态的P8 Pro，和一款单反式的夜视设备P6。截至目前，算上最近的这一次，深知未来已获得5轮融资，团队规模则为50人左右。除了用于产品出海，组建北美小型本地化团队之外，张齐宁也在去年年底时表示，将继续进行AI-ISP的研发。在五六年前，业界考虑到端侧算力、训练推理成本等问题，大多建立的是部分传统ISP+部分神经网络流程的管线。但现在，随着底层技术的不断进步，是否有可能继续与AI融合？“ 接下来，我们想完全切掉所有传统ISP流程，用神经网络替代。”去年8月，张齐宁在接受媒体“机器之能”采访时这样说。他希望建立一个all in one的神经网络，不再依赖于任何传统ISP管线。 
