追光逐电 重塑视觉

“超高速脉冲相机”的研发与转化之路

在近日举行的“十三五”科技成果展上，来自北京大学计算机科学技术系教授、北京智源人工智能研究院院长黄铁军团队的“超高速脉冲相机”项目，作为“学科交叉促进重大原始创新”成果展出，引起公众的广泛关注。

“这项成果的研发，得益于2015年北京市科委推动的‘脑科学研究’专项。在专项的连续资助、学校的支持下，我们最终在探索视觉信息处理新路径方面取得了进展。”谈及项目的研发，黄铁军感慨良深。

近期，北京大学、智源研究院等积极支持超高速脉冲相机的产业化，与北大科技成果转化基金合作成立产业化公司，推动成果转化。黄铁军希望，超高速脉冲相机能“形成高速相机自主技术知识产权和标准体系，促进我国引领视频和视觉产业发展方向”。

“十三五”科技成果展上展出超高速脉冲相机。智源研究院供图

不彻底的“伪革命”

2015年9月，北京市科委宣布启动“脑科学研究”专项工作，汇集北京大学、清华大学、北京师范大学、军事医学科学院等十多家单位参与，并确定从脑认知与脑医学、脑认知与类脑计算两个方向重点开展。

黄铁军团队正是北京市“脑科学研究”专项的重要参与力量之一。自2015年以来，“我们团队得到了北京市科委每两年1期、连续3期的资助。”黄铁军介绍。

相机是对人类生活和生产影响最大的发明之一。自照相术发明以来，相机历经胶片、数码等阶段的变革，至今相机已然成为手机的标配。有人因此认为，相机已经完成了数字革命。

“实际上，这只是一场不彻底的‘伪革命’。”黄铁军介绍，“传统相机是工业革命时代化学技术的产物，数码相机虽然抛弃了胶片，但仍然采用图像和视频记录光学信息，观念上还停留在化学时代，不能有效表达光的高速变化过程。这已成为数字时代和智能时代束缚视觉技术创新的最大瓶颈。”

例如，传统的照相机在拍照时，存在曝光时间两难问题。要想增加图像的细节层次、动态范围，则相机必须增加曝光时间，而要抓拍高速运动的物体、场景，又要减小曝光时间。再如，电影的视频帧率（每秒的图像数）是24、电视是30，因此要表示速度超过24赫兹或30赫兹的运动现象，电影和电视是不能做到的。

在生活中也不乏有这样的例子，如向前行驶的车轮，在电影里可能会出现倒转现象。人看电影电视可以忍受这种错误，但机器视觉采用视频作为“眼睛”，就不仅“看不清”高速过程，还可能发生致命错误。以自动驾驶为例，目前采用的摄像头帧率最高不超过100赫兹，因此就看不清快过100赫兹的高速过程，可能对从遮挡物后突然出现的人“视而不见”。

超高速脉冲相机从视觉表示模型层面颠覆了图像和视频概念。黄铁军介绍，在超高速脉冲相机中，图像的每个像素独立工作，将物体反射的高速光子流转换成高速比特流，完整记录了光的变化过程，从而彻底打破了化学时代形成的视频概念藩篱，从而实现追光逐电，重构出高速连续影像，是真正的“数字相机”。

超高速脉冲相机拍摄演示。郑金武摄

学科交叉促进协同创新

在超高速脉冲相机研发过程中，为探索视觉信息处理新路径，黄铁军团队和北大生命学院、医学部等深度合作，借鉴生物视觉原理，发明了脉冲视觉模型，研制出比影视视频快千倍的超高速脉冲视觉芯片，实现了超高速连续成像和目标跟踪识别。

推动脑科学与计算机科学、 交叉融合和协同创新，是北京“脑科学研究”专项的重要特色。“北京在脑科学研究方面，拥有全国最完整的学科布局。”北京市科委、中关村管委会主任许强表示。

据悉，在脑认知领域，北京师范大学和中科院生物物理研究所拥有国家级脑科学重点实验室，北大、清华也分别成立了研究机构；在脑医学研究方面，北京拥有中国医学科学院及北京协和医院、解放军总医院、首都医科大学附属天坛医院等一批脑医学研究和脑疾病研究的优势机构；在类脑计算方面，包括北大、清华、中科院自动化研究所、中科院计算技术研究所等在内的全国骨干研究单位都在北京聚集。

为促进脑科学研究成果转化，实现研究成果服务经济社会发展，北京市科委积极整合优势资源力量，建立以新型研发机构为核心的工作组织模式，不仅鼓励研究机构内部整合力量，更支持在北京地区用新体制、新机制整体构建跨部门的脑科学协同创新研究中心。

在北京“脑科学研究”专项推动下，北京大学成立了由 学院、 学院、工学院、心理学系、基础医学部等开展学科交叉研究的“脑科学与类脑研究中心”。彼时，黄铁军团队启动了“大脑初级视觉系统解析仿真”课题，联合生命、医学等学科团队开展了生物视网膜精细仿真、超高速运动对象检测跟踪与识别、超高速视觉系统等方面的研究。

“北京市科委努力推进创新主体间协同创新，建立产学研用协同创新的工作模式，鼓励企业早期进入。”北京市科委相关负责人表示。

创新机制推动成果转化

推动超高速脉冲相机成果的转化应用，是黄铁军团队的期盼。

“事实上，今天广泛普及的CMOS感光器件，时间灵敏度已经达到数十纳秒，采用我们的超高速脉冲相机这种新模型，可以达到‘化腐朽为神奇’的效果，实现数万赫兹乃至更高的时域采样，记录极快的物理过程。”黄铁军表示。

超高速脉冲相机解放了被传统视频束缚的机器视觉。在工业领域如高铁安全、电力巡检、高速轮机不停机监测、智能制造中的机器视觉等，民用领域如智能交通、辅助驾驶、司法取证、体育判罚等，消费电子如相机、影视媒体等领域，超高速脉冲相机都具有巨大应用潜力。

“超高速脉冲相机在视觉领域的作用，类似于移动通讯领域CDMA颠覆了GSM，将引发视频和视觉产业的重新洗牌，重塑视觉信息处理技术体系。”黄铁军表示，超高速脉冲相机有望不断创造新的应用场景，上下游相关产业也将受带动效应影响，迎来多轮增长。

2018年11月，北京智源人工智能研究院成立，黄铁军出任智源研究院院长。按照规划部署，智源研究院将支持科学家勇闯人工智能科技前沿“无人区”，引领人工智能学科前沿和技术创新方向，支撑人工智能产业发展，促进人工智能深度应用。

为推动超高速脉冲相机项目的转化应用，智源研究院创新组织方式，成立了“视网膜芯片技术创新中心”，专门负责推动超高速脉冲相机的应用研发。

按照国家加快成果转化相关政策，北京大学也积极支持脉冲视觉芯片产业化，与北大科技成果转化基金合作，成立了脉冲视觉（北京）科技有限公司，开展成果产业化工作。公司专注于脉冲视觉芯片、模组和系统产品研发，针对超高速、高灵敏等视觉应用场景，提供芯片、模组及解决方案。

目前，黄铁军团队开发的第一款超高速脉冲视觉芯片设定的采样频率达4万赫兹，可比人类视觉和普通相机快1000倍。实际测试表明，脉冲相机能够对相对速度700公里/小时的对侧高铁清晰成像；在北大6马赫高超声速风洞实验现场，脉冲相机也能够清晰观测高超声速气流激波形成和变化过程。

今年7月召开的国务院常务会议在“部署进一步改革完善中央财政科研经费管理，给予科研人员更大经费管理自主权”时提出，要“支持新型研发机构实行‘预算+负面清单’管理模式，除特殊规定外，财政资金支持产生的科技成果及知识产权由新型研发机构依法取得、自主决定转化及推广应用”。

“我们根据国家的有关政策精神，按照新型研发机构建设的要求，在智源研究院设立了智能信息处理、认知知识图谱、安全人工智能等十多个创新中心，以推动AI原创成果转化及产业发展。”智源研究院产业发展总监李军介绍。

“高速、实时、智能”是视觉行业高端应用的难点和痛点。黄铁军表示，超高速脉冲相机芯片和系统在行业高端应用上具有领先优势。“希望超高速脉冲相机能广泛应用于高铁、电力、制造等工业监测场景，自动驾驶、车路协同等领域，以及高速手机摄像头等消费电子领域，从而全面替代传统视频系统。”