11月4日中午,计算机科学与技术学院“校庆学术报告月”第三场报告会在理科大楼B504举行。吴雯、高岩两位老师分别以“从隐性风险到内生安全——元认知驱动的大模型安全研究”“面向飞行模拟与海洋环境仿真的交互式三维智能可视化平台”为题作学术报告。院领导余佳、崔勇勇与学院教师何晓丰、桑晋秋、沈超敏、宋思程、吴旭东等参会。

吴雯在报告中指出,随着大模型从问答工具走向学习伙伴与自主智能体,安全风险隐藏在看似合理的回答与复杂交互中,训练对齐、规则关键词、安全裁判等手段面对隐喻与场景变化仍可能漏判。据此,她引入“元认知”概念,让模型审视并调整自身判断,并介绍团队构建的MENTOR安全加固框架:通过隐性风险自动挖掘、动静结合的规则字典与元认知思维链加固,形成“发现—检索—判断—纠偏”闭环。相关评测基准已纳入司南OpenCompass平台;实验显示,教育与管理领域经规则拦截叠加元认知纠偏后,越狱成功率下降90%以上,兼顾了安全性与响应效率。
她进一步把研究从单次回答拓展至三类情境:在判断可靠性上,提出安全裁判还须具备自省与场景适配能力,并校准感知偏差与评分宽严偏差;在长程交互上,以“剧场—舞台—裁判”模拟方法开展30天连续交互实验,发现安全表现前十天快速下降,14—18岁青少年下降最久,认知信任与情感依赖最为薄弱;在智能体行动安全上,提出规划阶段预演后果、工具调用阶段核验权限边界、行动终止阶段从用户视角判断必要性。
她指出,外部安全壳易被隐性长程风险绕过且推理开销较高,团队正通过安全导向向量干预隐藏层、以分层强化学习内化元认知纠偏逻辑两条路径,推动安全机制从外部约束走向内生能力。

高岩介绍了团队参与建设的交互式三维智能可视化仿真平台。该项目属于国家“十三五”军民融合重大工程,团队自2012年起与国防科技大学合作、2018年参与论证,并率先将游戏引擎技术引入该仿真训练体系。针对两类技术各自的短板,团队提出表现层、智能映射层、仿真内核层的分层架构,以AFSIM仿真内核为数据来源、三维游戏引擎为表现载体,融合大模型与行为树技术,实现自然语言指令到复杂战术行为的智能转化,并覆盖仿真数据驱动、态势决策分析与高逼真渲染等关键技术。
平台已完成气象海洋建模、全模块地理地形系统、虚拟兵力行为驱动等功能,2022年在全国率先开展实兵虚实融合演示。面向后续演进,高岩提出对接计算机视觉、世界模型、具身智能等方向,拓展无人系统驱动与虚拟训练实验等场景。
在交流环节,与会师生围绕生成式虚拟视频技术对仿真可视化的影响、相关技术民用与军用落地路径、3D声场渲染需求等展开热烈讨论,两位报告人逐一回应。交流中形成共识:仿真可视化强调数据驱动与可回溯复盘,生成式视频中长期尚难替代现有方案。
本次报告会由计算机科学与技术学院主办。学院将继续依托该系列报告搭建院内学术交流平台,促进不同研究方向教师之间的沟通与合作。
中山北路3663号理科大楼 200062
沪ICP备05003394
Copyright 2019计算机科学与技术学院