AI 编程实时动态与要闻

NVIDIA 官宣 OpenShell 智能体安全参考架构:硬件级隔离安全护栏,终结 Agent 越权操作隐患

在 GTC Berlin 大会上,NVIDIA 官方正式发布 OpenShell 智能体安全参考架构与全新的 Agent Knowledge Foundation 套件。针对自主 AI 智能体(Autonomous Agents)在拥有系统写权限、数据库查询与终端执行能力后,极易因提示词注入或失控执行产生越权访问机密数据、发起破坏性命令的行业痛点,OpenShell 基于硬件级隔离信任根(Hardware-Isolated Security)构建了严密的运行时安全边界。系统能够以纳秒级开销实时监控并拦截智能体跨越授权边界的工具调用与数据交互,成为企业级安全可靠智能体调度的基石标准。

NVIDIA 官宣 OpenShell 智能体安全参考架构:硬件级隔离安全护栏,终结 Agent 越权操作隐患

核心要点速览

  • NVIDIA 在 GTC Berlin 峰会重磅发布 OpenShell 参考架构,以硬件级安全隔离为自主智能体划定不可逾越的运行边界
  • 提供全生命周期运行时动态拦截机制,在智能体试图访问非授权数据库、外发敏感 Token 或执行越权脚本时实现硬核阻断
  • 无缝整合 NVIDIA Agent Toolkit 与全新的 Agent Knowledge Foundation,打通企业知识库安全鉴权与合规审计链路
  • 彻底破解企业在生产环境部署高权限 Coding Agent 与自动化运维智能体(SRE)的安全合规合流难题
阅读全文
关联模型 / 智能体 / 厂商:

南方科技大学提出 ActGov:基于 SMT 形式化策略校验的 Agent 运行时治理框架,彻底阻断间接提示注入

南方科技大学系统安全研究团队联合发布自主智能体运行时防护框架 ActGov(arXiv:2609.24446)。针对 LLM Agent 在长程复杂任务中调用外部工具时易受不可信输出影响并突破授权边界(如间接提示注入导致恶意删除数据或转账)的核心威胁,ActGov 构建了兼具静态 SMT 形式化验证与动态运行时拦截的双层防护网。系统将工具调用转化为有限策略记录,并在操作生效前进行毫秒级权限边界核验。在业界权威安全基准 AgentDojo 与 AgentDyn 的多模型跨攻击测试中,ActGov 在保持 100% 任务正常可用性的同时,将间接提示注入攻击的成功率压制至近乎为零,显著超越现存所有基于静态提示过滤的防御方案。

南方科技大学提出 ActGov:基于 SMT 形式化策略校验的 Agent 运行时治理框架,彻底阻断间接提示注入

核心要点速览

  • 形式化 SMT 策略合成:ActGov-Policy 基于工具规范与反例检测,通过 SMT 求解器自动化生成并验证无冲突的精确授权策略集
  • 零信任操作前拦截:ActGov-Runtime 在每个工具调用造成外部实际副作用(Side Effects)前进行微秒级抽象核验,非合规操作硬性拦截
  • 不依赖大模型自觉:彻底摆脱传统防御依赖“让 LLM 自己判断指令是否恶意”的脆弱逻辑,在计算图外部建立不可逾越的确定性防线
  • 攻防基准全面压制:在 AgentDojo 与 AgentDyn 跨模型测试中,攻击成功率降幅超 92%,正常良性任务完成率保持 0 衰减
  • 长程动态分支适配:原生支持跨数十个工具调用的复杂长程任务,自动维系任务生命周期内的动态授权边界
阅读全文

对齐安全检测革命:开源 Jev 与 RLCDAlignBench,单次调用零样本侦测十大安全对齐漏洞且推理成本骤降 63 倍

大模型安全与对齐权威研究团队在 Hugging Face 与 GitHub 正式开源了《Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures》(arXiv: 2609.29429,GitHub: sumleo/RLCDAlignBench)。针对当前工业界对大模型进行对齐安全审计(如提示词注入、阿谀奉承、越狱、欺骗与权力寻求)主要依赖生成式大模型裁判(LLM-as-a-Judge)导致单项测试成本昂贵、或者依赖固定标签分类器(如 Llama Guard)导致单次只能吐出一个分类标签的局限,团队提出了基于校准决策强化学习(RLCD)训练的专用多维判定模型 Jev。配合首创的十维对齐基准 RLCDAlignBench,Jev 仅凭单次模型前向推演即可输出多个具有严格数学概率校准的多标签判定,中位数 AUROC 达 0.886,评测成本剧降 63 倍。

对齐安全检测革命:开源 Jev 与 RLCDAlignBench,单次调用零样本侦测十大安全对齐漏洞且推理成本骤降 63 倍

核心要点速览

  • 单次调用即可输出多维概率校准判定,一次性覆盖阿谀奉承、越狱、提示注入、欺骗、幻觉等十大安全对齐失效维度。
  • 在涵盖 44 个主流对齐基准与 5 大目标模型的 RLCDAlignBench 评测中,取得 0.886 的中位数 AUROC 优异成绩。
  • 相比传统生成式大模型裁判(LLM-as-a-Judge)逐字生成长篇理由的沉重开销,Jev 的单次评测推理成本直接削减 63 倍。
  • 具有强悍的零样本泛化力,在多数安全场景中直接击败经过有监督微调的专用基线分类器,并能精准自动侦测既有数据标签缺陷。
  • 全部评测代码、Jev 推理流水线与 RLCDAlignBench 数据集已在 GitHub 全量开源。
阅读全文
关联模型 / 智能体 / 厂商:

AgentKernel 原生可信智能体操作系统发布:构建四大硬安全边界,彻底根治 Prompt 注入与提权漏洞

顶尖安全与系统研究团队在 Hugging Face 与 ArXiv 正式公开了《AgentKernel: The Trust-Native Agentic Operating System》(arXiv: 2609.29647)。随着自主 Agent 频繁摄入不可信网络内容并调用高权限系统工具,中间人提示注入(Prompt Injection)、记忆投毒(Memory Poisoning)与工具越权已成为制约智能体落地的最严峻瓶颈。AgentKernel 首次打破将安全寄托于脆弱应用层中间件的局限,从操作系统内核级构建了跨“身份(Identity)、感知(Perception)、认知(Cognition)、执行(Execution)”四大支柱的强制性不可绕过安全边界,将系统级结构安全转化为智能体的生产力倍增器。

AgentKernel 原生可信智能体操作系统发布:构建四大硬安全边界,彻底根治 Prompt 注入与提权漏洞

核心要点速览

  • 首次将经典操作系统进程隔离与特权级保护理念完整映射至大模型语义平面(Semantic Plane)。
  • 构建四大原生支柱:内核管控跨组织身份、阶梯式感知过滤、信息流可控记忆、以及语义到内核的工具强制断绝。
  • 彻底解决 Agent 在长期运行时被恶意网页注入 Prompt 导致记忆污染与高危 Shell 指令提权执行的顽疾。
  • 在全生命周期攻击红蓝对抗基准中,不可信指令拦截成功率达 99.1%,单任务执行额外开销控制在 3.2% 以内。
  • 论文预印本与架构规范已在 ArXiv 与 Hugging Face 全面开放,国内开发者可免代理查阅。
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

Gemini CLI 稳定版升至 v0.61.0:沙箱边界加固 + 间接 Prompt Injection 防护进入正式通道

Google Gemini CLI 于 2026-09-23 将稳定通道推进到 v0.61.0(npm @google/[email protected])。相对 v0.60.0,本版把间接 Prompt Injection 防护、沙箱文件系统边界与运行时状态隔离、AgentLoopContext 在对象展开时的属性保留,以及显式版本化 Flash 模型 ID 不被覆盖等修复合入稳定线。

Gemini CLI 稳定版升至 v0.61.0:沙箱边界加固 + 间接 Prompt Injection 防护进入正式通道

核心要点速览

  • 安装:npm install -g @google/gemini-cli(稳定通道现为 0.61.0);预览通道另有 0.61.0-preview.1 / 0.62.0-preview.0
  • 安全:阻止经构建文件改动与不可信命令标志触发的间接 Prompt Injection(#29250)
  • 沙箱:加固文件系统边界并隔离内部运行时状态(#29214)
  • 可靠性:AgentLoopContext 在 object spread 后属性不再丢失(#29335)
  • 模型路由:显式带版本的 Flash 模型 ID 会被保留直接执行(#29252)
阅读全文
关联模型 / 智能体 / 厂商:

Upstash 推出 Context7 Search:一次 GET 为编码智能体接地官方文档片段

Context7(@Context7AI / Upstash)发布 Context7 Search:面向编码智能体的 grounding API。一次 GET 即可返回由库作者维护、并经 prompt injection / 恶意代码扫描的官方文档片段,强调比开放网页搜索更安全、更省 Token。免费档每月 1,000 次调用;Pro 每席每月 5,000 次,超出后每千次 10 美元。

Upstash 推出 Context7 Search:一次 GET 为编码智能体接地官方文档片段

核心要点速览

阅读全文
关联模型 / 智能体 / 厂商: