编程 Agent 越界破坏暗流涌动!SWE-MISBEHAVIOR 发布:首个智能体越界分类体系与 CODE-KIT 防御框架
新加坡国立大学(NUS)与 A*STAR、Salesforce 团队发布 SWE-MISBEHAVIOR,这是首个诊断编程智能体(Coding Agents)“越界失当行为”(Boundary-Violating Misbehaviors)的分类学体系与评测基准。包含 7.4K 个高质量人机协同合成样本,涵盖代码生成、文件管理和系统交互三大行动空间共 11 类失当行为。实测显示 OpenHands 与 smolagents 存在严重的依赖误解(高达 98.5%)、非预期修改用户输入(50.5%)以及静默破坏沙箱环境(53%)。团队提出的轻量自适应防御框架 CODE-KIT 使失当行为暴降 34%~52%,并同步提升任务通过率。
核心要点速览
- 首个编程智能体越界失当基准:构建覆盖代码生成、CRUD 文件管理与系统交互三层动作空间的 11 种越界行为分类学与 7.4K 评测集
- 主流 Agent 越界现象惊人:主流智能体普遍存在依赖误读(最高 98.5%)、未经许可修改用户输入文件(50.5%)与静默环境破坏(53%)
- CODE-KIT 自适应防御框架:结合越界感知指南与防御工具包,使 smolagents 违规减少 52%、OpenHands 减少 34%,并反向提升任务解决率