论文标题： A Survey on an Emerging Safety Challenge for Autonomous Vehicles: Safety of the Intended Functionality

期刊：Engineering

作者：Hong Wang, Wenbo Shao, Chen Sun, Kai Yang, Dongpu Cao, Jun Li

发表时间： February 2024

DOI：https://doi.org/10.1016/j.eng.2023.10.011

微信链接：点击此处阅读微信文章

1、文章导读

随着自动驾驶汽车的复杂性不断提升，以及人工智能算法（artificial intelligence, AI）的普遍应用，预期功能安全（Safety of the Intended Functionality, SOTIF）问题已经成为一个备受关注的新兴安全挑战。SOTIF问题对自动驾驶汽车的大规模落地提出了重大挑战。SOTIF关注解决由于预期功能或其实现方式的不足而引发的问题，这些问题超越了传统安全考量的范畴。

近期，清华大学联合University of Waterloo与重庆大学团队在Engineering期刊发表了题为“A Survey on an Emerging Safety Challenge for Autonomous Vehicles: Safety of the Intended Functionality（自动驾驶汽车的新兴安全挑战：预期功能安全)”的研究性文章。该研究从系统工程的角度出发，通过全面回顾涵盖开发阶段、验证确认阶段和运行阶段全流程的学术研究、实践活动、挑战与展望，对SOTIF领域进行了深入探讨。在学术研究方面，总结了系统级SOTIF研究，以及与算法相关的SOTIF问题和解决方案。此外，该研究还涵盖了来自企业、政府和学术机构在国际和中国背景下的典型SOTIF实践，特别关注不同阶段的总体方法论和实践经验。最终，该研究提出了自动驾驶汽车在各阶段面临的挑战，以激励各利益相关方共同努力以促进SOTIF难题的解决。

图1 自动驾驶SOTIF研究系统梳理

2、研究内容

2.1. 系统级SOTIF学术研究

作者全面调查了关于自动驾驶系统级SOTIF的研究，范围覆盖了自动驾驶汽车安全性的各个方面。在开发阶段，作者强调了危害分析和风险评估(HARA)与复杂系统的安全分析工具应用，如故障树分析(FTA)、故障模式与效应分析(FMEA)、危害与可操作性分析(HAZOP)和系统理论过程分析(STPA)。通过集成多种方法的优势，可为自动驾驶系统的安全分析提供全面而强大的支持。

在验证确认(V&V)阶段，作者强调了生成证据以证明组件满足其功能需求，以及自动驾驶汽车的残余风险是可接受的。文中讨论了多种V&V方法，包括形式化验证、证伪和测试，作者强调了基于场景的测试方法在评估系统安全性方面的重要作用以及近年来学术界取得的进展，并说明采用多支柱法以充分利用不同方法优势的必要性。

在运行阶段，为应对残余风险，作者提出了开发具有自我意识的汽车安全系统的概念，这种系统能够监控和防范由外界触发条件和自动驾驶汽车功能不足共同导致的SOTIF风险。文章通过“Stadtpilot”等项目总结，梳理了早期研究如何实现自动驾驶汽车的自我意识，以提高安全性。并提出了“车载安全防护系统”，以实现对AI模型、运行设计域和交通合规性的在线监测，从而从系统层保障SOTIF。

图2 用于SOTIF保障的车载安全防护系统

2.2 算法相关的SOTIF学术研究

作者深入探讨了自动驾驶车辆中算法相关的SOTIF问题。AI的广泛应用提高了自动驾驶汽车的智能水平，但同时也带来了新的挑战。AI算法的复杂性、不确定性和难解释性引起了学术界的广泛关注，突显了强大的SOTIF解决方案的需求。

图3 算法相关的SOTIF研究

该研究着眼于AI方法，特别是基于学习的算法，同时也提供了对传统算法的见解。在开发阶段，包括需求分析、数据获取与处理、模型设计与训练等子阶段，每个阶段都面临独特的挑战，可能导致功能不足问题。特别是，模型和数据的不确定性是开发自动驾驶算法时的主要挑战，这直接导致SOTIF相关的关键问题。

在验证确认阶段，确保自动驾驶模型满足安全性和可靠性要求至关重要。形式化验证和基于测试的评估是两类主要的模型评估技术。尽管形式化验证方法提供了可靠和完整的验证结果，但它们在复杂模型的扩展中可能面临困难；测试方法则主要包括白盒测试和黑盒测试等。

在运行阶段，作者强调采用先进技术对模型的输入、内部状态和输出进行实时监测，是确保系统安全与可靠性的关键。通过识别数据和模型状态中的异常，系统能够有效地预测和缓解由潜在性能衰退导致的风险，对抗分布偏移和对抗性攻击，进一步推动自动驾驶技术的发展与应用。

2.3 SOTIF典型实践

作者梳理了自动驾驶领域内原始设备制造商（Original Equipment Manufacturer，OEM）、一级供应商、新兴自动驾驶公司和政府机构的SOTIF典型实践活动。从开发阶段的安全分析到验证确认阶段的策略，再到运行阶段的监控与学习成长，这些实践活动体现了SOTIF在自动驾驶安全中的核心地位。通过诸如宝马、百度和通用汽车等公司的案例分析，研究突出了FUSA、SOTIF及信息安全在确保系统安全中的重要性。此外，CAICV—智能网联汽车预期功能安全工作组的成立、包含千余例典型SOTIF场景的场景库建立，以及基于关键场景的双循环测试与验证系统的开发，展示了中国在推动SOTIF研究与落地过程中的大量实践。这些实践不仅加强了自动驾驶系统的功能完善，也推动了自动驾驶技术的国际化和标准化进程，为自动驾驶汽车的安全落地和广泛应用提供了坚实的基础。

图4 SAKURA项目中测试场景生成过程

图5 中国提出的SOTIF七层场景架构

2.4 挑战与展望

随着自动驾驶SOTIF研究和实践活动的不断发展，面向当前挑战，作者从开发、验证确认和运行三个阶段探讨了未来研究方向。开发阶段需综合利用不同方法进行SOTIF风险分析与系统功能改进；验证确认阶段的挑战包括提高形式化验证技术的实际应用能力、开发具有高覆盖率的SOTIF场景构建技术、提升测试技术的保真度，并改善安全认证中的SOTIF活动；运行阶段，重点在于对车载AI模型、运行设计域以及合规性的有效监控。通过全方位的探索和努力，旨在推动自动驾驶技术的安全性、可靠性改善和广泛应用，为自动驾驶汽车的未来发展奠定坚实的基础。

3、研究总结

本研究提供了对自动驾驶汽车SOTIF的全面审查，深入探讨了涵盖开发、验证确认和运行阶段的学术研究进展与典型实践活动。SOTIF挑战涵盖了广泛的领域，包括危害分析、风险量化、场景构建、形式化验证，以及对AI模型、运行设计域和合规性的监控。为了最终实现自动驾驶汽车的大规模应用和社会接受，需要学术界、工业界和政策制定者之间的深入合作和共识。通过持续的技术创新、标准制定和监管框架的发展，以及对于SOTIF系统性解决方案的探索，我们可以朝着创造一个更安全、更高效的自动驾驶未来迈进。

作者介绍

王红，清华大学车辆与运载学院副研究员，现任智能出行所所长，入选中国科协青年人才托举工程。长期致力于自动驾驶决策与预期功能安全领域的研究工作，近年来主持或作为骨干参与研究项目十余项。目前担任智能网联汽车预期功能安全工作组执行副组长与中国汽车工程学会智能网联汽车安全分会副秘书长。

邵文博，清华大学车辆与运载学院博士研究生，研究方向主要包括自动驾驶预期功能安全、轨迹预测与决策、可信人工智能与不确定性。

李骏，中国工程院院士，清华大学教授。近年来主要推进工作为智能网联汽车安全性研究，倡议成立智能网联汽车安全分会，担任名誉主任委员，成立预期功能安全工作组，亲自担任组长。曾获国家科技进步一等奖1项、二等奖1项，国家技术发明奖二等奖1项，中国汽车工业科技进步特等奖3项、一等奖2项，国家机械工业科技进步一等奖2项、二等奖1项，2012年荣获何梁何利科学与技术创新奖，获得授权专利9项，发表论文98篇和专著1部。

引用信息：Hong Wang, Wenbo Shao, Chen Sun, Kai Yang, Dongpu Cao, Jun Li, A Survey on an Emerging Safety Challenge for Autonomous Vehicles: Safety of the Intended Functionality, Engineering 2024.

开放获取全文

https://doi.org/10.1016/j.eng.2023.10.011

推荐阅读

Engineering 2024年3月刊目录 | 人工智能专题

主编报告：推进人工智能赋能新型工业化

本刊主编：人工智能的未来

引入人类智慧 解锁AI潜力：Hug-DRL算法让自动驾驶智能决策迈上新台阶

浙江大学研究团队：二氧化碳捕集、利用与封存技术