新能源汽车国家大数据联盟微课堂自2022年底推出安全系列化课程，围绕网络安全、数据安全、车辆安全邀请专家大咖分享课程和观点，旨在服务国家数据安全治理体系的构建，促进数字经济的健康持续发展。

2024年9月19日晚，联盟微课堂安全系列化课程第二十三讲邀请到安徽大学计算机科学与技术学院副教授，硕士生导师钱付兰做客直播间，分享主题为《自动驾驶中大模型赋能与对抗安全风险发现研究》。以下为课程回顾。

随着人工智能技术的快速发展，AI大模型在各行各业中得到广泛应用，并逐渐成为推动产业变革的重要引擎。今年政府工作报告首次提出“人工智能+”行动，旨在深化研发应用并打造国际竞争力的数字产业集群。在汽车行业，推动AI大模型上车，开启智能化时代，成为发展重点，业内也逐渐将汽车从单纯交通工具定义为具备交通能力的智能空间。

与汽车行业的融合变革，正成为AI大模型在应用端最前沿的体现：在自动驾驶领域，大模型的赋能为其带来了新的突破和发展机遇。然而，人工智能模型在发展过程中也面临着对抗安全问题。在自动驾驶中，黑客攻击、误导性的传感器输入等对抗性安全风险可能会对行车安全造成严重威胁。为了应对这些风险，利用大模型进行风险发现与防御至关重要。

课程首先介绍了自动驾驶的核心阶段，包括感知、决策规划和执行控制。感知阶段通过传感器解析环境，决策规划模块根据感知结果生成策略，执行控制模块将策略转化为实际操作。感知模块的精准程度对自动驾驶系统的安全性和可靠性至关重要。大模型的应用可以提升环境感知的鲁棒性和泛化能力，实现端到端的自动驾驶学习，推断时间维度上的因果关系，融合多模态输入，降低对人工标注的依赖。车端赋能逐渐向决策层渗透，未来驱动价值策略生成将从规则驱动向数据驱动转变。

钱老师提出，以深度学习为代表的人工智能在语言理解、自动驾驶、教学辅助、智慧教育、城市道路规划、医学图像识别、推荐系统等方面取得显著进展，但随着技术发展，模型安全性逐步显现，安全事件增加，引起研究者和使用者担心。相关真实案例也显示，在自动驾驶领域，也发生过因训练样本不足导致的交通事故，以及利用感知系统漏洞进行的攻击，如针对交通标志、物体识别和车道线的对抗攻击。

在基于鸟瞰图的3D目标检测模型的鲁棒性分析中，课程展示了各代表性模型在自然鲁棒性和对抗鲁棒性方面的表现。除了经典的实验设置外，还介绍了3D一致性补丁攻击，该攻击方法旨在通过在3D空间中应用对抗性补丁来保证时空一致性，这在自动驾驶场景中显得尤为真实。通过大量实验，测试了模型在白盒攻击和黑盒攻击下的对抗鲁棒性。结果显示，BEV模型在不同自然条件和常见扰动下表现出较高的稳定性，这主要归因于其强大的空间表示能力。然而，BEV模型也更容易受到对抗噪声的影响，这主要是由于其冗余特征。尽管相机-激光雷达融合模型在多模态输入设置中表现更优，但BEV融合模型仍然受到点云和图像对抗噪声的挑战。这些发现凸显了基于BEV的3D目标检测器应用中的安全问题，并为开发更稳健的模型提供了重要参考。

最后，钱老师提到大模型带来了算力的变化，云端应用加速了 L3 及以上自动驾驶的落地，但大模型在智能汽车应用中仍面临挑战，需要解决多模态数据融合、算力部署、安全性和一致性等问题。为实现安全自动驾驶，需要提高模型的检测能力，优化防御机制。此外，端到端自动驾驶架构优化和利用大模型增强系统安全性能具有潜力，但也需要关注潜在风险。在应用层面，高效硬件支持研发和 L4 级别增价式布局和量产的技术支持需要进一步探索。

 

问题1:面对自动驾驶系统中的对抗性安全风险，比如黑客攻击、误导性的传感器输入等，如何利用大模型进行风险发现与防御。有哪些技术创新或者是策略是值得关注的？

面对自动驾驶系统中的对抗性安全风险，用大模型进行风险发现和防御，可以针对具体安全场景开发专门的大模型，并根据实际场景进行专项训练，构造不同层次的防护系统。从技术和策略方面，可以考虑多层次的防护体系、对抗训练、多模态融合和自适应防御机制等。

问题2：推动自动驾驶中大模型赋能与对抗安全风险发现的研究中，跨领域合作（如计算机科学、汽车工程、法学、伦理学等）的重要性，目前有哪些成功的合作案例可以分享？以及如何看待制定相关的标准和法规对于促进这一领域健康发展的作用。

目前自动驾驶和其他领域的合作成功案例较多，如谷歌自动驾驶项目与传统汽车制造商、法律专家等合作，密歇根大学的 Mcity测试场联合汽车制造商、技术公司等跨领域合作，国内的百度阿波罗计划汇集多个部门合作。跨领域合作非常必要，各领域分别负责不同方面，能确保自动驾驶的安全性、合规性和道德性。国内有一些自动驾驶的分级标准，但关于安全对抗安全风险的相关研究较少，希望后面在大模型的安全风险发现中有更多进展。