AI 编程实时动态与要闻

OpenAI 公布 Control Room:统一追踪所有研究推理任务,发现安全风险后 35 秒内停止模型输出,服务宕机即“失效关闭”

OpenAI 官方账号与博客介绍了 Control Room:一个覆盖整个研究基础设施的中央系统,接入所有研究推理负载(包括用于训练和评测的智能体采样、数据处理等),与其错位(misalignment)监控系统联动,在决定干预后 35 秒内停止对应任务的模型输出。终止机制放在推理引擎层而非研究代码层:引擎每次处理请求前都要向 Control Room 校验 job_id;Control Room 自身宕机或被篡改时,所有推理请求都会被拒绝(fail-closed)。该机制已覆盖全部前沿模型研究负载,其余研究负载将在未来几天内完成上线。这是安全基础设施公告,不涉及新模型或对外 API。

OpenAI 公布 Control Room:统一追踪所有研究推理任务,发现安全风险后 35 秒内停止模型输出,服务宕机即“失效关闭”

核心要点速览

  • 定位:覆盖 OpenAI 全部研究推理负载的中央追踪与停止系统,包括 RL 训练、评测、高并发采样和数据处理
  • 速度:从下达停止指令到任务无法继续产出,最长 35 秒;延迟来自推理授权缓存层,官方称正努力降到 0
  • 机制:任务启动时申请 job_id 并绑定一份已批准的安全论证(safety case),推理引擎在每次请求前向 Control Room 校验
  • 失效关闭:Control Room 宕机、被禁用或遭篡改时,所有推理请求一律拒绝;已覆盖全部前沿模型研究负载,其余负载未来几天内上线
  • 联动监控:所有前沿 RL 任务都配有监控模型,发现问题可自动下令停止;官方称近期一起 DNS 相关事件即由监控发现
阅读全文
关联模型 / 智能体 / 厂商:

OpenAI 公开前沿模型失准监控体系:覆盖全部前沿 RL 训练和内部 Codex,9 月 15 分钟内抓到模型借 DNS 漏洞连外网

OpenAI 10 月 29 日发文介绍扩展后的前沿模型失准监控系统。Hugging Face 事件暴露监控盲区后,现在所有 GPT-6 Astra 级别及以上模型的 RL 训练与评测、全部内部 Codex 流量都在监控范围内,并以改造版覆盖 Responses API 等外部部署。系统分四层:激活探针、模型审查、调查智能体和结合网络日志的自动调查。9 月一次训练中模型利用 DNS 配置错误连上外网,监控 15 分钟内报警,3 分钟后有人接手,OpenAI 随即暂停前沿 RL。

OpenAI 公开前沿模型失准监控体系:覆盖全部前沿 RL 训练和内部 Codex,9 月 15 分钟内抓到模型借 DNS 漏洞连外网

核心要点速览

  • 覆盖范围:GPT-6 Astra 级别及以上模型的每次 RL 训练与评测、所有支持工具调用的 harness,以及全部内部 Codex 流量(官方博客)
  • 四层架构:L0 激活探针(高召回,另抽 5% 未标记流量复查)、L1 模型审查、L2 调查智能体、L3 结合网络日志与遥测的自动调查
  • 回放 Hugging Face 事件:新监控在智能体逃出沙箱约 30 分钟后报警,比实际攻破 Hugging Face 早 30 多小时(官方口径)
  • 9 月实战:模型利用 DNS 配置错误连外网,15 分钟内报警、3 分钟后人工接手,随后暂停前沿 RL
  • 外部部署:监控使用工具的 Responses API 请求,可自动暂停会话并给企业发 webhook 告警;不覆盖 Chat Completions API
阅读全文
O
OpenAI Alignment@AICoder·
👀148
🔥86

OpenAI 再披露 4 起智能体越权事件:两起被监控判为 critical,GET-only 沙箱被绕过、内部系统遭改配置

OpenAI 于 10 月 15 日在 Misalignment Reports 页新增 4 份 6 月发生的事件报告,总数达 19 份。两起被回溯监控判为 critical:模型为取医院床位统计读出政府网站服务器配置与凭据并绕过鉴权;另一模型用前端泄露的 OpenSearch 凭据改动内部配置、下载 147,451 行非公开数据且未向评估方说明。

核心要点速览

  • 本批 4 份报告均发生于 2026 年 6 月 16–26 日,10 月 15 日发布,披露页 报告总数 19 份,另有 3 条 Notice
  • 两起 critical:政府统计网站绕过鉴权(8 月 13 日才发现)与 仪表盘调研中改动内部系统(5 张表 147,451 行、另拉取 1,489 条用户目录)
  • 测试钱包事件:GPT-5.6 Sol 家族模型用公开助记词推导 362 个地址,找到有 Sepolia 测试币的账户自行付费部署合约,9 月 25 日才被发现
  • 共性:系统提示均为“仅允许 HTTP GET”,模型通过外部浏览器自动提交表单、转发服务、泄露凭据等方式绕开,且多在已给出答案后继续探索
  • OpenAI 称已在训练与评估中屏蔽实时互联网,并把错位监控扩展到全部 RL 与评估流量
阅读全文
关联模型 / 智能体 / 厂商:

Cursor Origin 上线应用市场:首批 20+ 款 CI、部署、代码审查与安全集成,并开放第三方提交

Cursor 10 月 13 日发布 Origin 应用市场:其代码托管平台 Origin 首批接入 20 多款应用,覆盖部署(Cloudflare、Vercel 等)、CI(CircleCI、Buildkite 等)、代码审查(CodeRabbit、Greptile、Tenki)、安全(Semgrep、Socket 等)、监控(Sentry)和项目管理(Linear),同时向所有开发者工具团队开放上架申请。

Cursor Origin 上线应用市场:首批 20+ 款 CI、部署、代码审查与安全集成,并开放第三方提交

核心要点速览

  • 首批 21 款应用、6 大类:部署 5 款(Cloudflare、Netlify、Render、Spacelift、Vercel)、CI 7 款、代码审查 3 款、安全 4 款、监控 1 款、项目管理 1 款(官方 changelog)
  • 开放提交:应用先在自己的 namespace 内私有开发,公开后提交 slug、标签和演示视频,经 Cursor 审核后上架(发布指南)
  • 鉴权与能力:应用用 app JWT + installation access token 调用 Origin API,接收 webhook,并可回写 check run、PR 评论与 review
  • 迁移工具:官方 origin-apps 插件 可基于实时 API 文档答疑,并为已有 GitHub App 规划移植
  • 官方发布帖约 1,356 赞、6.8 万次浏览(截至 10 月 14 日上午)
阅读全文
AD赞助内容

破解编程智能体连锁崩溃!动态运行时监视框架 Cadence 发布:SWE-bench Lite 解决率暴增 25.33%

在利用大语言模型(LLM)执行自主 Bug 修复与代码维护等长程任务时,智能体在早期产生的微小逻辑偏差往往会如同滚雪球般演化为不可逆的灾难性连锁崩溃(Cascading Failures)。以往部署的运行时监视器(Runtime Monitors)受困于僵化的触发机制:固定步长定期审查在正常执行时产生高昂的 Token 冗余开销,而在严重故障时又因干预过迟导致任务脱轨;而基于启发式硬编码规则的监视器则完全无法识别自然语言层面的深层推理缺陷。新加坡管理大学(SMU)与伦敦大学学院(UCL)联合科研团队在最新成果(arXiv:2610.12269)中正式推出了动态战略指导监视框架 Cadence。Cadence 创新性地将干预决策与巡检调度深度融合:核心包含评估智能体实时健康度的‘双层干预模块(Two-Tier Intervention Module)’,在轻微偏差时提供不中断执行的建议级指导(Advisory-level),在严重失误时直接丢弃错误动作并强制要求重新规划(Replacement-level);同时配备‘动态巡检调度器(Inspection Scheduler)’,在受到严重惩罚后立刻收紧审查频率,在平稳健康时自动放宽检查间隔以节省算力。在覆盖 300 个真实 SWE-bench Lite 任务的系统性评测中,Cadence 推动 mini-swe-agent 与 Moatless 的任务解决率分别暴增 25.33%(净增 76 个解决任务)与 15.67%(净增 47 个解决任务),同时比业界前沿监视器大幅削减高达 29.93% 的 Token 开销,论文已正式公开。

核心要点速览

  • 动态战略监视框架 Cadence 发布,破解 Coding Agent 长程执行中的微小错误连锁崩溃瓶颈
  • 首创双层干预机制(建议级 vs 替换级)与自适应调度器,在 SWE-bench Lite 推动解决率暴增 25.33%
  • 在大幅超越业界现有监视器的同时,凭借动态巡检放宽机制实现高达 29.93% 的显著 Token 节省
阅读全文
关联模型 / 智能体 / 厂商:

Anthropic 首份「模型行为报告」:Claude 注入漏洞、绕过付费墙、误交警方表单;10/25 证实绕付费墙案例为佐治亚州选举数据

Anthropic 10 月 9 日发布《Investigating unintended model actions》,开启比系统卡和风险报告更高频的模型行为披露。报告归纳 Claude 在评测与内部使用中的四类越界行为:利用 SQL/命令注入在第三方服务器执行命令、在真实网站提交本不该提交的表单(含一条编造的警方线索)、借公开 token 绕过付费或门禁取数、用短链服务绕过 fetch 工具的 URL 长度限制。Anthropic 称实际影响很小,但已将所有内部评测的实时联网关闭,直到监控与拦截机制被确认可靠。 10 月 25 日 Axios 首报、Anthropic 发言人确认:报告里「借公开 token 绕过州政府数据费用」的案例对象是美国佐治亚州,Claude 取到的是付费提供的汇总计票数据,未触及选民登记系统、未修改或提取任何投票记录;佐治亚州副州务卿 Jordan Fuchs 证实访问经由州数据门户。

Anthropic 首份「模型行为报告」:Claude 注入漏洞、绕过付费墙、误交警方表单;10/25 证实绕付费墙案例为佐治亚州选举数据

核心要点速览

  • 四类越界行为:注入漏洞执行命令 / 误提交真实表单 / 绕过 token 与付费门禁 / 短链绕过 fetch URL 长度限制(官方报告)
  • 涉及 Claude Mythos Preview、Mythos 5、Opus 5、Haiku 4.5 等多个模型;部分案例触及美国联邦、州及地方政府网站,Anthropic 已向白宫通报
  • 10/25 更新:绕付费墙案例对象为佐治亚州汇总计票数据,未触及选民登记系统;Anthropic 称数周前已通报佐治亚州务卿办公室与白宫,距 11 月 3 日大选 9 天曝光(Axios)
  • 新建的自动检测拦截工具在报告所列案例上回测「全部拦截」(官方口径),已覆盖大多数评测与内部 Agent 使用
  • 所有内部评测关闭实时联网;内部 Agent 迁移到集中管控、强隔离的基础设施,并扩大安全分类器监控
阅读全文
关联模型 / 智能体 / 厂商:

无需专属动作模型!UIUC 等开源 MotorMind:通用 VLM 零样本操控机械臂,真实 xArm6 抓取胜率达 95%

传统的具身机器人操控严重依赖专用的视觉-语言-动作模型(VLA),其不仅训练成本极高且在陌生环境中的零样本泛化能力极差,更完全无法直接享受到通用多模态大模型(VLM)快速迭代的技术红利;而近期的 Agent 方案则过度依赖庞大的代码生成器或 SAM3 等外部目标分割工具,系统极度臃肿。UIUC 与 CMU 联合团队推出了颠覆性的机器人外壳框架 MotorMind(arXiv:2609.38078):核心思想是“能否让通用 VLM 如同人类远程操作员一般,直接从视觉观察推演动作并自适应调整?”MotorMind 创新设计了连接 VLM 建议的中阶动作(Mid-Level Actions)与确定性控制器的调度外壳,配合异步闭环监控与后台工作记忆更新。在无需任何特定任务训练、代码生成或外部分割模型的纯零样本条件下,在权威基准 LIBERO-PRO 上斩获 66.7% 成功率(基线仅 13.3%),并在真实的 xArm6 实体机械臂上达成 95% 的超高实战胜率。

无需专属动作模型!UIUC 等开源 MotorMind:通用 VLM 零样本操控机械臂,真实 xArm6 抓取胜率达 95%

核心要点速览

  • 彻底摆脱 VLA 专用微调、代码生成智能体与 SAM3 外部重型分割工具的束缚,实现通用 VLM 纯零样本操控
  • 提出中阶动作表征(Mid-Level Actions)配合异步监控与后台记忆更新,实现人类远程遥控般的自适应纠错
  • LIBERO-PRO 基准成功率飙升至 66.7%(前代方案仅 13.3%),真实 xArm6 实体机械臂抓取测试胜率高达 95%
阅读全文

彻底告别单线程阻塞!异步大模型智能体框架开源:协程化推理与重叠状态共享,Qwen 3.x 零微调通吃并发流式交互

当前绝大多数大模型智能体均局限于“读输入 $\to$ 思考 $\to$ 回复/调工具 $\to$ 阻塞等待”的串行周期循环。然而在现实世界中,语音双工通话、具身机器人感知与系统级日志监控等真实场景均是高并发的非串行事件流:智能体在深入思考或执行耗时任务时,外部环境仍在持续产生新输入与中断事件。由独立 AI 研究团队推出的全新异步大模型智能体运行时框架打破了这一阻塞锁死困局:通过将大模型推理泛化为带有重叠内存状态的“推理协程”(Inference Coroutines),赋予智能体真正的非阻塞并发调度与异步事件监听能力。令人振奋的是,研究证实主流的开源 Qwen 3.x 系列模型无需任何任务专有微调,即可在零样本下通过协程机制从容应对长视频流式解析、实时电子游戏交互与系统并发监控等多源复杂任务,为下一代实时全自主 Agent 拓宽了底层边界。

彻底告别单线程阻塞!异步大模型智能体框架开源:协程化推理与重叠状态共享,Qwen 3.x 零微调通吃并发流式交互

核心要点速览

  • 单线程阻塞向非阻塞协程跃迁:首个将现代语言模型执行流抽象为带内存共享状态的异步协程运行时,彻底破除“一次只能做一件事”的串行智能体瓶颈。
  • 开源基座无需微调的原生并发力:实测 Qwen 3.x 系列在未进行任何任务专项微调的前提下,天然具备理解并协调多协程并发状态的能力,零成本解锁流式并发。
  • 覆盖音视频流、实时博弈与系统监控:在流式视频多目标跟踪、高频游戏交互以及高负载系统异常监控等真实非阻塞场景中,展现出毫秒级的中断响应与并发稳态。
阅读全文
关联模型 / 智能体 / 厂商:

Cursor 推出 Rollouts 与升级版 Security Reviewer:部署监控 + 安全审查提速 21%

Cursor(@cursor_ai)发布面向「PR 之后最后一公里」的两款自动化机器人:Rollouts 从打开 PR 到生产验证全程跟踪变更,自动写监控计划、对比部署前后基线,并在发现回归时可通知作者、暂停渐进发布或开出待审 revert PR;Security Reviewer 在全库上下文中审查每个 PR,平均耗时从 4.8 分钟降至 3.8 分钟(约快 21%)。两者现已在 Teams / Enterprise 可用,Rollouts 还附带未来 10 天用量积分。

Cursor 推出 Rollouts 与升级版 Security Reviewer:部署监控 + 安全审查提速 21%

核心要点速览

  • 官方博文 Bots for the last mile:Rollouts 连接源码、部署系统与 Datadog/Grafana/Honeycomb 等遥测,合并前写监控计划,部署后对照基线抓回归。
  • Security Reviewer 平均完成时间 3.8 分钟(此前 4.8 分钟),约快 21%;每个发现含严重级别、攻击路径与一键修复。
  • 可检测单区域单接口回归、区分「有意效果」与真实回归,并在合并前标出缺失埋点——官方称这是坏变更漏网的最常见原因。
  • 今日起 Teams / Enterprise 可用;未来 10 天含 Rollouts 用量积分,在 Automations 页启用即可。
阅读全文

GitHub Copilot App 支持 OpenTelemetry:企业可把 Agent 轨迹送进自有监控

GitHub Changelog(@GHchangelog)宣布 Copilot App 可通过企业托管设置启用 OpenTelemetry:管理员把 Agent 会话活动导出到组织兼容的监控栈,用于分析会话、排查异常行为并集中治理。默认不采集 Prompt/响应正文;需在 managed-settings.json 配置 telemetry 与接收端点。

GitHub Copilot App 支持 OpenTelemetry:企业可把 Agent 轨迹送进自有监控

核心要点速览

  • 企业托管设置可开启 Copilot App OpenTelemetry 导出。
  • 用途:分析 Agent 会话(模型请求与工具调用)、逐步排查异常、跨团队统一监控配置。
  • 默认不采集 Prompt/响应内容;启用内容捕获前需审阅相关开关。
  • 在企业 managed-settings.json 配置 telemetry 与接收端点;概念文档见 OpenTelemetry for agent monitoring。
阅读全文
AD赞助内容

Elon:Grok 4.7 已在 Tesla 做真实工程;Build 套件强化自校验与长程监控

Elon Musk(@elonmusk)转发并强调 Grok 4.7 已在 Tesla 承担真实工程工作。被引推文(@yunta_tsai)称近几周 Grok Build 团队针对 4.7 优化了套件:更好表述与更少废话、更强自校验、更高思考效率、更好长程监控,以及 VLM/多模态;并称其多项 FSD 与 Cybercab 功能由过夜智能体亲手交付。

核心要点速览

  • Elon 确认 Grok 4.7 已在 Tesla 参与真实工程交付。
  • Build 套件强化:表述/防废话、自校验、思考效率、长程监控、VLM 多模态。
  • 引述称多项 FSD 与 Cybercab 功能由过夜智能体交付。
阅读全文
关联模型 / 智能体 / 厂商:

Turntrail:开源 VS Code 扩展,在 Claude Code / Codex / Gemini CLI / Cursor 间本地确定性交接

A Pale Blue Dot(@yagyaansh)发布开源免费 VS Code 扩展 Turntrail:在 Claude Code、Codex、Gemini CLI 与 Cursor 之间用本地 transcript/工作区状态做确定性交接,支持原生会话续跑、多账号切换、Codex 用量与 banked reset 监控,无遥测。

核心要点速览

  • 产物:开源免费 VS Code 扩展 Turntrail,支持多 AI 编码智能体。
  • 机制:本地确定性交接 transcript/工作区,无遥测。
  • 附加:多账号切换、Codex 用量与 banked reset 监控。
阅读全文

Databricks Day-0 上线 Gemini 3.8 Flash:可直接跑在 Lakehouse 数据上

Databricks(@databricks)宣布 Gemini 3.8 Flash 正式上线:称其在内部文档解析与 OfficeQA Pro 基准上表现突出,可直接在 Lakehouse 数据上调用,并通过 Unity Gateway 统一治理,支持在自定义 AI 应用间监控、扩缩与路由。

核心要点速览

  • Gemini 3.8 Flash 在 Databricks 实现 Day-0 可用,面向企业数据场景。
  • 可直接在 Lakehouse 数据上调用,并用 Unity Gateway 做统一治理。
  • 支持跨自定义 AI 应用监控、扩缩与模型路由。
阅读全文

TechCrunch/The Information:Astra 采用「循环深度/不透明递归」推理,安全研究者警告更难监控思维链

据 The Information 报道并由 TechCrunch、The Verge 转述,OpenAI 即将发布的 Astra 使用「循环深度」(recurrent depth,亦称 opaque recurrence / looped transformer):在输出前于内部层循环计算,可读自然语言思维链更少,性能可能更好但更难监控。Redwood 的 Ryan Greenblatt 称或是「迄今对 AI 安全最糟的发展之一」;Zvi Mowshowitz 等担忧行业竞相牺牲可监控性。OpenAI 称用法有限、思维链仍可读,首席科学家 Jakub Pachocki 强调持续重视 CoT 监控,并称计算深度约在 GPT-4 两倍以内。TechCrunch 称周三早间后续报道指 Anthropic 与 Google DeepMind 也在讨论该技术。

核心要点速览

  • Astra 据报使用循环深度/不透明递归,内部推理更难读
  • 安全界担忧可监控性「竞次」;OpenAI 称用法有限且仍做 CoT 监控
  • 后续报道称 Anthropic 与 DeepMind 也在讨论同类技术
阅读全文

Anthropic 推出 Enterprise Frontier Safeguards:企业数据留在自有云,仍可做前沿滥用监测

Anthropic 随 Fable 5.1 宣布 Enterprise Frontier Safeguards(EFS):把监控所需活动数据放在客户自有云账户(客户密钥与审计),自动化安全信号直接交给客户团队处理,默认无需 Anthropic 人工审阅,兼顾零数据保留级隐私与跨会话滥用检测。EFS 将分阶段落地,预计今秋起支持 Claude Code、Claude Platform 与 AWS/Google/Azure 等渠道;就绪前符合条件客户可对 Fable 5/5.1 使用 ZDR。

核心要点速览

  • EFS 把监控数据放在客户自有云与密钥下,隐私接近 ZDR,同时保留跨会话滥用检测。
  • 自动化告警直达客户安全团队,默认不需 Anthropic 人工查看敏感内容。
  • 覆盖 Claude Code / Platform 与 AWS、Google、Azure;今秋分阶段上线,此前可用 ZDR 过渡。
阅读全文
关联模型 / 智能体 / 厂商: