AI 编程实时动态与要闻

SemiAnalysis 发布 GDPx 智能体基准:11 个高价值领域 206 道任务,最强的 Claude Opus 5.5 也只拿到 12%

半导体与 AI 研究机构 SemiAnalysis 11 月 2 日发布 GDPx,用来衡量前沿模型在芯片设计、网络安全、生物、金融、法律、量化交易、递归自我改进(RSI)、硬件设计、材料科学、对齐和软件工程 11 个领域的智能体能力,共 206 道任务,由 14 家专业数据公司出题、SemiAnalysis 负责最终质检。官网榜单上 Claude Opus 5.5 以 12.0% 居首,Gemini 4 Carbon 10.9%、GPT-6 Astra 9.6% 紧随其后;金融和法律任务几乎所有模型都是 0 分。SemiAnalysis 称 Opus 5.5 和 GPT-6 Astra 的总分被安全分类器拖低,并计划每 3–6 个月更新一版。以上分数均为 SemiAnalysis 口径。

SemiAnalysis 发布 GDPx 智能体基准:11 个高价值领域 206 道任务,最强的 Claude Opus 5.5 也只拿到 12%

核心要点速览

  • 规模:11 个领域、14 家数据合作方、206 道任务,默认单题时限 8 小时(GDPx 官网)
  • 榜单(SemiAnalysis 口径):Claude Opus 5.5 12.0%、Gemini 4 Carbon 10.9%、GPT-6 Astra 9.6%、Muse Wonder Full 9.0%、Claude Fable 5.1 8.5%、GPT 6.1 Sol 8.4%、Claude Sonnet 5.5 8.2%
  • 开源与低价档:DeepSeek 4.1 Flash 1017 5.4%、GPT-6 Luna 5.1%、Grok 4.7 3.9%、GLM 5.3 2.7%;金融和法律任务几乎全部 0 分
  • 评测方法:优先用各家原生 harness(Opus 用 Claude Code、Astra 用 Codex、Carbon 用 Antigravity),没有的用 OpenCode;报告 3 次尝试的 pass@1,各领域等权(SemiAnalysis 博客)
  • 分领域:Opus 5.5 赢量化、硬件和芯片设计;Gemini 4 Carbon 赢生物和软件工程;GPT-6 Astra 赢 RSI 和材料科学;Muse Wonder Full 是最强网安模型
阅读全文

Anthropic 详解 Claude 反蒸馏防护:两级分类器 + Preserved Thinking,推理 token 被盗量降约 10–100 倍

Anthropic 于 2026-10-12 发布研究博客,称近月对 Claude 的蒸馏攻击防护已显著加强:早期证据显示蒸馏方收获数据量下降约 90%–99%;平台上可提取的推理 token 量相对新防护上线前约降 10–100 倍。核心手段包括:对新账号限制改写先验上下文的 Preserved Thinking、仅本组织可读的推理转录、针对提取完整思维链的两级分类器(误报率宣称 <0.1%)、限流/封禁与对低误报拦截请求重新计费。文中点名 GLM-5.3 等开源权重模型的网络能力蒸馏案例,并呼吁云与其他前沿厂商协同。

核心要点速览

  • 官方:Anthropic Research — distillation defenses(2026-10-12)
  • 效果口径(厂商):蒸馏收获数据约降 90%–99%;上线后推理 token 被提取量约降 10–100×;已封禁数万相关账号,常在开打后 2 小时内
  • 技术栈:Preserved Thinking(约 2026-08-31 后新账号限制改先验上下文)、推理仅本组织可读、两级分类器拦完整思维链提取(误报宣称 <0.1%)
  • 覆盖模型:Sonnet 5.5、Opus 5/5.5、Fable 5/5.1 等当前主力一般可用型号;对合法集成有摩擦(需改集成、偶发误拦并计费)
  • 行业含义:点名开源权重模型网络能力蒸馏与跨境滥用风险;强调仅 Anthropic 单边加固不够,云平台也需清虚假账号
阅读全文
C
Confident AI@confident-ai·
👀75
🔥90

DeepEval 4.2:LLM-as-judge 判决点改接 Jev,约 $0.042/百万 input、多数查询 ~100ms

Confident AI 在 deepeval 4.2.x(发行说明锚定 4.2.2/4.2.4,PyPI 现为 4.2.6)为评测引入 TypeSafe Jev:语言生成仍由评测 LLM 负责,封闭判决(是/否、选择题、分数档)交给 System One,返回带校准概率的类型化决策。官方称决策阶段约 $0.042/百万 input、无 output 计费,多数查询约 100ms,并可批量合并独立问题。Faithfulness/GEval/DAGMetric 与 Classifiers 已接线;实验模式 deepeval set-mode experimental + typesafe-sdk 开启,缺密钥会显式失败而非静默回退。

DeepEval 4.2:LLM-as-judge 判决点改接 Jev,约 $0.042/百万 input、多数查询 ~100ms

核心要点速览

  • 发版说明:python-v4.2.4;博客 Introducing Jev for Evals;PyPI 现网 deepeval==4.2.6
  • 成本/时延(官方):决策段约 $0.042 / 百万 input tokens、无 output 费;多数 Jev 查询约 ~100 ms,独立问题可批进单请求
  • 分工:Faithfulness 等 QAG 仍由 LLM 抽 claims,每 claim 的 Noul/P(yes) 交 Jev;GEval 步骤生成留 LLM,严格/量规分数走 Jev;DAGMetric 二元/多选节点同理
  • Classifiers:封闭标签集上的类别化 LLM-as-judge(如 RefusalClassifier),见 Classifiers 文档
  • 开启:deepeval set-mode experimental + pip install typesafe-sdk + TYPESAFE_API_KEY;实验模式缺依赖会响亮失败,不静默回退 LLM 判决
阅读全文
关联模型 / 智能体 / 厂商:

对齐安全检测革命:开源 Jev 与 RLCDAlignBench,单次调用零样本侦测十大安全对齐漏洞且推理成本骤降 63 倍

大模型安全与对齐权威研究团队在 Hugging Face 与 GitHub 正式开源了《Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures》(arXiv: 2609.29429,GitHub: sumleo/RLCDAlignBench)。针对当前工业界对大模型进行对齐安全审计(如提示词注入、阿谀奉承、越狱、欺骗与权力寻求)主要依赖生成式大模型裁判(LLM-as-a-Judge)导致单项测试成本昂贵、或者依赖固定标签分类器(如 Llama Guard)导致单次只能吐出一个分类标签的局限,团队提出了基于校准决策强化学习(RLCD)训练的专用多维判定模型 Jev。配合首创的十维对齐基准 RLCDAlignBench,Jev 仅凭单次模型前向推演即可输出多个具有严格数学概率校准的多标签判定,中位数 AUROC 达 0.886,评测成本剧降 63 倍。

对齐安全检测革命:开源 Jev 与 RLCDAlignBench,单次调用零样本侦测十大安全对齐漏洞且推理成本骤降 63 倍

核心要点速览

  • 单次调用即可输出多维概率校准判定,一次性覆盖阿谀奉承、越狱、提示注入、欺骗、幻觉等十大安全对齐失效维度。
  • 在涵盖 44 个主流对齐基准与 5 大目标模型的 RLCDAlignBench 评测中,取得 0.886 的中位数 AUROC 优异成绩。
  • 相比传统生成式大模型裁判(LLM-as-a-Judge)逐字生成长篇理由的沉重开销,Jev 的单次评测推理成本直接削减 63 倍。
  • 具有强悍的零样本泛化力,在多数安全场景中直接击败经过有监督微调的专用基线分类器,并能精准自动侦测既有数据标签缺陷。
  • 全部评测代码、Jev 推理流水线与 RLCDAlignBench 数据集已在 GitHub 全量开源。
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

Pipecat 1.12.0:IPA 发音变换跨 TTS 厂商复用,MOQTransport 客户端重连与 Classifier/LLMClassifier 评测面升级

开源语音/多模态助手框架 Pipecat 于 2026-09-26 发布 v1.12.0:TTSService.pronunciation_transform_ipa() 用词→IPA 映射生成可跨 Cartesia/ElevenLabs/Inworld/Deepgram 复用的发音变换;MOQTransport 增加客户端模式重连与 session-ending 标记;新增 Pipecat Classifiers、LLMClassifier、帧级 interruptible,以及 LLM run_inference 的 response_schema。PyPI pipecat-ai 1.12.0 已同步。

Pipecat 1.12.0:IPA 发音变换跨 TTS 厂商复用,MOQTransport 客户端重连与 Classifier/LLMClassifier 评测面升级

核心要点速览

  • 发版:v1.12.0 = PyPI pipecat-ai 1.12.0,文档 docs.pipecat.ai
  • 发音:pronunciation_transform_ipa({"Metformin": "mɛtˈfɔɹmɪn"}) 一次映射,按厂商写成 phoneme/SSML/斜杠 IPA;请放在 text_transforms 最后以免被后续变换改写
  • 传输:MOQTransport 客户端模式断线按 connection_timeout(默认升至 60s)退避重拨;session-ending 区分挂断与中断;relay_url 支持完整 URL
  • 评测:新增 Classifier(YesNo/Choice/Score)与 LLMClassifier 单次 LLM 批量答题;judge.eval.allow_continue=false 可禁 continue
  • 推理:LLMService.run_inference(..., response_schema=...) 由 OpenAI/Anthropic/Google 侧强制 JSON;帧默认 interruptible=True,UninterruptibleFrame 弃用
阅读全文
关联模型 / 智能体 / 厂商:

Mastra @mastra/core 1.70.0:ModelSelectionProcessor 按分类器路由便宜/强模型,并补齐 durable stream closeOnSuspend

Mastra 于 2026-09-24 在 npm 发布 @mastra/[email protected]:新增 ModelSelectionProcessor,用分类器按请求复杂度在廉价模型与默认强模型间路由(PR #24865);durable agent stream()/resume() 增加 closeOnSuspend,避免工具挂起时 fullStream 死循环;另含 createClassifierScorer()、工具可选 title 展示名、trace 聚合维度/度量描述符与 tags 谓词。官方提醒路由不总能省钱——模型不共享 prompt cache。

核心要点速览

  • 核心 API:ModelSelectionProcessor(#24865)——默认强模型 + 简单请求走便宜模型;scope: 'first-step' 可只改首轮
  • Durable:stream({ closeOnSuspend: true }) / resume 可在工具挂起边界结束流,修复 AG-UI 等集成等不到 RUN_FINISHED 的问题(#24894)
  • 评测:createClassifierScorer() 把已有 Classifier 问题映射为 0–1 分数并保留证据(#24792)
  • 可观测:aggregateTraces 相关维度/度量描述符 + tags includes/notIncludes 谓词
  • 安装:npm i @mastra/[email protected];对照 CHANGELOG 与 Processors 文档
阅读全文
关联模型 / 智能体 / 厂商:

Mastra @mastra/core 1.69.0:Classifiers 一等公民 + ClassifierProcessor 默认 fail-closed,后台工具 adopt 与 10 家 Connect 提供商

TypeScript agent 框架 Mastra 于 2026-09-24 发布 @mastra/[email protected]。Classifiers 可在 new Mastra({ classifiers }) 注册并作为类型化 workflow step;新 ClassifierProcessor 对输入/输出/流默认 fail-closed;工具可通过 context.background.adopt() 立刻 ACK 长任务;@mastra/[email protected] 新增 Slack/GitHub/Gmail 等 10 个生成式 SaaS 工具提供商。

Mastra @mastra/core 1.69.0:Classifiers 一等公民 + ClassifierProcessor 默认 fail-closed,后台工具 adopt 与 10 家 Connect 提供商

核心要点速览

  • 核心包:@mastra/[email protected](GitHub Release 2026-09-24 06:58 UTC);npm 同日晚些还有 1.70.0 滚动
  • Classifiers 一等 API:getClassifier* / listClassifiers / addClassifier,可作 typed workflow 分支并统计 token
  • ClassifierProcessor 默认 fail-closed(classifier 失败即 abort);可用 errorStrategy: 'warn' 退回 fail-open
  • 后台工具:context.background.adopt({ completion, cancel }) 先 ACK 再跟踪完成(进程内句柄,重启不恢复)
  • Connect:@mastra/[email protected] 一次接入 10 家(Slack、GitHub、Google Mail/Calendar、Fireflies、PostHog、Stripe、Discord、Twitter/X、HubSpot)
阅读全文
关联模型 / 智能体 / 厂商:

OpenAI:Astra 达 Preparedness 网络安全 Critical 门槛,强化防护后计划发布

OpenAI 宣布即将发布的 Astra 是首个被认定为 Preparedness Framework 网络安全 Critical 能力阈值的模型,在 ExploitBench 等评测中显著强于 GPT-5.6 Sol,并曾发现零日漏洞。公司已推迟部分训练与发布节奏,强化拒答、分类器与思维链监控,高级网络能力将先向有限测试者与 Daybreak Blue 开放。

核心要点速览

  • Astra 被认定为网络安全 Critical 能力档,为 OpenAI 首个该级别模型。
  • ExploitBench 满分,内部高危 V8 集表现显著好于 GPT-5.6 Sol,并发现两处零日。
  • 发布前强化模型拒答(越狱拒答约 91.5%)、系统分类器与 CoT 监控;高级网络能力先限量开放。
阅读全文
关联模型 / 智能体 / 厂商: