1月22日上午，由中国科学院、中国工程院主办的“两院院士评选2024年中国/世界十大科技进展新闻”在江苏省南京市揭晓。
两院院士评选的2024年中国十大科技进展新闻分别是：嫦娥六号首次在月球背面采样并发布首批研究成果；我国科学家研制出世界首款基于原语的类脑互补视觉芯片；我国首艘大洋钻探船“梦想”号正式入列；科学家研发出全球首个Pb级超大容量光盘存储器；“天关”卫星成功发射并获系列成果；我国研究人员为无液氦极低温制冷提供新方案；我国学者发表国际首个通用CAR-T治疗成果；我国研制超级显微镜，首次全景“看到”大规模细胞交互行为；我国科学家在世界上首次观察到凝聚态物质中的引力子模；第二次青藏科考钻取全球最长山地冰芯并实现系列突破。
两院院士评选的2024年世界十大科技进展新闻分别是：科学家首次3D打印出功能性人类脑组织；谷歌新量子芯片跨越精度里程碑；欧几里得空间望远镜公布首批科学成果，包括首张“宇宙地图”照片；科学家绘制迄今最大脑基因调控网络图谱；超精确癌细胞3D图谱问世；首个双语读脑装置让失语者重新“开口”；美“星舰”第五次试飞，“筷子”成功回收助推器；世界首例干细胞治疗恢复人类视力；全球首例人类接受经基因编辑的猪肾脏移植完成；长效HIV预防针剂试验成功。
此项年度评选活动至今已举办31次。评选结果经新闻媒体广泛报道后，在社会上产生了强烈反响，使公众进一步了解国内外科技发展动态，对普及科学前沿知识起到了积极作用。
其中，“2024年中国十大科技进展新闻”中的“我国科学家研制出世界首款基于原语的类脑互补视觉芯片”，由清华大学类脑计算研究中心团队研制，这是一款全面超越现有传统图像传感器和神经形态传感器的视觉传感器芯片，是智能感知芯片领域的一个重大突破。
该研发成果相关论文以《面向开放世界感知具有互补通路的视觉芯片》（A Vision Chip with Complementary Pathways for Open-world Sensing）为题，被全球顶尖学术期刊《Nature》作为期刊封面文章发布。
同时，该成果也在第十一届世界互联网大会上荣获2024世界互联网领先科技奖。该奖项由全球40多位顶尖专家评选，2024年共评选出20项，分基础研究组、关键技术组和工程研发组三类。清华大学精仪系类脑团队“基于原语表示的类脑互补视觉感知芯片”荣获领先科技奖（基础研究组，共评选出3项）。
文末，附录2024年中国/世界十大科技进展新闻全名单及简介。
该新型视觉传感器芯片长什么样？有什么特点？有什么优势？
目前，我们主流中使用的视觉传感器，主要是CMOS图像传感器和CCD图像传感器。
然而现有图像传感器在开放世界中处理动态、多样化和不可预测的场景时，存在许多的不足，如向高速、高分辨率、大动态范围和高精度方向发展，受到功率和带宽的限制。
论文通讯作者、清华大学精密仪器系教授施路平在媒体采访中介绍，在开放世界中，智能系统不仅要应对庞大的数据量，还需要应对如驾驶场景中的突发危险、隧道口的剧烈光线变化和夜间强闪光干扰等极端事件。而传统视觉感知芯片面对此类场景往往出现失真、失效或高延迟，限制系统的稳定性和安全性。
“该范式借鉴了人类视觉系统的基本原理，将开放世界的视觉信息拆解为基于视觉原语的信息表示，并通过有机组合这些原语，模仿人视觉系统的特征，形成两条优势互补、信息完备的视觉感知通路。”
与传统图像传感器相比，人类视觉系统在开放世界环境中以其多功能性、适应性和鲁棒性而脱颖而出。人类视觉系统将视觉刺激解释为多种视觉，如颜色、方向和运动，并以互补的方式将其分配给腹侧和背侧通路。
当前已有一系列模仿人类视觉系统特定特征的器件，包括硅视网膜、神经形态视觉传感器、脉冲频率调制和近传感器计算芯片等。然而，在有限的功率和带宽的限制下，实现具有高空间分辨率、高速、高精度和大动态范围的图像传感器仍然存在挑战。
因此，研究团队提出一种受人类视觉系统（HVS）多级特性启发的互补感知范式，该范式涉及将视觉信息解析为基于视觉原语的表示，并通过有机组合这些原语，模仿人视觉系统的特征，形成两条优势互补、信息完备的视觉感知通路：用于准确认知的面向认知的路径和用于快速认知的面向行动的路径。
为了实现这一范式，研究团队开发了世界首款类脑互补视觉芯片「天眸芯」（Tianmouc），该芯片结合了混合像素阵列和并行异构读出架构，利用互补视觉通路的特性，可以在极低的带宽（降低 90%）和功耗条件下，实现每秒 10000 帧的高速、10bit 的高精度、130dB 的高动态范围视觉信息采集。它不仅突破了传统视觉感知范式的性能瓶颈，而且能够高效应对各种极端场景，确保系统的稳定性和安全性。
下图为类脑互补视觉芯片「天眸芯」的测试系统。被处理的数据首先会传输到 FPGA 版上，FPGA 板采集原始数据，然后通过 PCIe 传输到主机，主机再负责数据处理，以完成测试等任务。
▲“天眸芯”（Tianmouc）芯片测试系统
基于 Tianmouc 芯片，研究团队将其与自动驾驶系统集成，展示了其即使在开放道路上具有挑战性的极端情况下也能实现准确、快速和稳健感知的能力。基于基元的互补传感范式有助于克服为各种开放世界应用开发视觉系统的基本限制。
“天眸芯”（Tianmouc）互补视觉芯片怎么设计？采用90nm CMOS背照式技术制造！
在物理传感系统中，想实现互补传感范式有几个必须解决的挑战。首先，设计像素阵列至关重要，这需要同时解析同一焦平面上相应图元的光电信息转换。其次，两条路径的读出架构必须包含异构构建块，这些构建块可以使用不同的数据分布和格式对电信息进行编码。
如图 2 所示，「天眸芯」采用 90 nm CMOS 背照式技术制造，由两个核心部分组成：
- 用于将光学信息转换为电信号的混合像素阵列；
- 用于构建两个 CVP 的并行异构读出架构。
受感光细胞的启发，混合像素阵列包括锥体和杆体像素，具有不同的特性，如颜色、响应模式、分辨率和灵敏度。这些像素可以将视觉信息解析为特定的颜色（红色、绿色、蓝色）和白色光谱，充当颜色对立图元。
研究团队对「天眸芯」的量子效率、动态范围、响应速度、功率和带宽等性能指标进行了全面的评估。该芯片在 COP 和 AOP 中均表现出较高的量子效率，530 nm 最高可实现 72% 的 AOP 和 69% 的 COP。「天眸芯」通过利用互补的 COP 和 AOP 中不同增益模式的动态范围来实现高动态范围。
可以说，全面超越了现有的神经形态传感器和传统图像传感器，同时仍能保持低功耗和低带宽消耗。
以自动驾驶为示例，“天眸芯”（Tianmouc）的表现有多强悍？
「天眸芯」的互补感知范式为自动化系统提供了巨大的想象空间，它可以作为感知算法的优质数据源。为了在开放世界场景中评估这些能力，研究人员开发了一个集成「天眸芯」的汽车驾驶感知系统（图 4a），以评估在开放道路上行驶，涉及各种极端情况，例如强光干扰、高动态范围场景、域偏移问题（异常物体）和具有多个极端情况的复杂场景。
▲图 4：开放世界感知实验。
为了利用天眸芯架构的优势，作者设计了一种多路径算法，专门用于利用 AOP 和 COP 的互补特性。在感知层面，图元的完整性使得原始场景的重建和对极端照明的适应成为可能。同时在感知层面，AOP 提供对变化、纹理和运动的即时感知，而 COP 提供精细的语义细节。通过同步这些结果，我们可以让 AI 系统全面了解场景。
图 4b 所示的第一种场景评估了突然强光环境的感知能力，在光照快速变化的情况下，传感器的鲁棒性受到了考验。天眸芯对这种强光表现出了极强的适应能力，同时在正常情况下也保持了较高的感知性能。对于实时高动态范围感知（图 4c），两条通路的互补灵敏度使天眸芯能够感知高亮度对比度而不会牺牲速度。
在感知层面，AOP 上的高速光流滤波器补充了异常检测能力，其中 AOP-TD 和 AOP-SD 之间的协作可以精确计算运动方向和速度以识别异常（图 4d）。图 4e 显示了自然光照昏暗、交通环境混乱、人造光突然干扰的复杂场景，需要在采样速度、分辨率和动态范围方面具有不同的感知能力。CVP 上的算法提供了互补和多样化的结果，为这些场景中的进一步决策提供了充足的空间。
根据 mAP_0.50（平均精度），与图 4 中所有情况下仅使用单一路径相比，CVP 具有更优的整体检测性能。值得注意的是，它在实现这一目标的同时消耗了不到 80 MB s^(-1) 的带宽和 328 mW 的平均功耗。实验结果表明，天眸芯可以有效适应极端光环境并提供领域不变的多级感知能力。
天眸芯擅长捕捉复杂的认知细节，同时可对快速不可预测的突发情况和运动作出响应。它提供高速、高动态范围和高精度，同时保持了自适应低带宽的特性。同样重要的是，它的高可扩展性允许通过先进的制造工艺实现高级空间分辨率，从而促进具有低功耗和带宽要求的分辨率敏感应用。作者认为，新的范式为开发用于开放世界应用的先进计算机视觉理论、算法和系统开辟了