微软研究院（Microsoft Research）Sumit Gulwani 团队联合发表提示词自动化工程突破 CASD（Coding-Agent Skill Distillation，arXiv:2609.26261）。针对现存基于搜索的 Prompt 优化器（如 GEPA、DSPy 等）依赖昂贵在线采样回放（Rollout）、验证数据反复调优以及庞大 API 账单的痛点，CASD 提出了颠覆性范式：仅凭借已有的静态 Agent 执行轨迹库，开箱即用的 Coding Agent 即可自动编写并运行数据分析代码，全局统计失败模式并提炼出高阶行为准则。在 ALFWorld、tau2-bench 与 SpreadsheetBench 等四大基准评测中，单次 CASD 离线优化平均超越未优化基线 16.6 个百分点（大幅领先 GEPA 的 10.9 和 SkillOpt 的 5.3），生成最优 Prompt 成本仅需 1.6 美元，比验证搜索提速节约超 22 倍。

核心要点速览 (Key Takeaways)

  • ✓零在线交互与环境访问：仅凭离线静态轨迹日志即可完成高精度提示词优化，无需挂载模拟沙箱环境与在线 Rollout 采样
  • ✓单次优化成本仅 1.6 美元：相比传统验证驱动搜索动辄 35~50 美元的巨额 API 消耗，CASD 单次分析将成本暴降超 22 倍
  • ✓性能全面压制 SOTA：平均准确率提升 16.6 个百分点，显著超越前沿优化器 GEPA（+10.9%）与 SkillOpt（+5.3%）
  • ✓全局统计代码反思机制：Agent 自行编写 Python 脚本对全库轨迹进行聚类与频次分析，克服小 Batch 观察的局部短视偏差
  • ✓四大基准跨域泛化验证：在 ALFWorld 具身环境、tau2 零售/电信双场景及 SpreadsheetBench 表格推理中均取得显著增益
🔗

相关资源与官方项目出处

免代理直达
💡 国内无需访问 Twitter，可直接访问上述项目官方资源与文档
🌐
ArXiv Preprint (2609.26261)
arxiv.org/abs/2609.26261
↗
🌐
Hugging Face Paper Page
huggingface.co/papers/2609.26261
↗
🔬

深度技术解析与实战评估

核心背景与行业痛点 在构建企业级 Coding Agent 或工作流智能体时，系统提示词（System Prompt）的设计往往决定了最终任务的成败。现有的自动化提示词优化技术（如基于遗传算法、强化学习或反射搜索的 GEPA、DSPy 优化器）几乎全部采用“提出修改 -> 在线执行 Rollout -> 评估验证指标 -> 择优保留”的迭代循环。这种范式存在三大致命痛点：其一，需要频繁访问真实或模拟的软件执行沙箱，环境初始化脆弱且极其缓慢；其二，由于单次迭代仅能观察数十条样本的小 Batch 反馈，极易陷入局部最优；其三，每次完整优化需要消耗数十甚至数百美元的 LLM API Token，开发团队难以承受。 ### 架构亮点与底层机制 微软研究院团队提出的 CASD（Coding-Agent Skill Distillation）彻底跳出了“在线试错”的传统思维，将提示词优化重构为一项离线数据分析与代码综合任务： 1. 全局轨迹反思视界（Corpus-Wide Reflection）：面对包含成功与失败案例的静态历史轨迹库，CASD 赋予 Coding Agent（如 Claude 3.5 Sonnet 或 GPT-4o）编写 Python 数据清洗与统计脚本的能力，自动遍历成千上万个执行步，统计工具调用报错频次、参数格式异常与多轮逻辑死循环等系统性失败模式； 2. 代表性剧集深度萃取（Representative Episode Inspection）：基于统计聚类结果，Agent 针对高频失败类型定向抽取最具代表性的交互片段进行微观归因，提炼出人类专家级别的针对性补丁准则（Behavioral Guidelines）； 3. 确定性规则蒸馏（Skill Distillation）：将分散的归因规则结构化为精炼、无冗余的 System Prompt 约束条目，全程仅需一次离线分析与代码执行即可交付终版优化提示词。 ### 权威 Benchmark 与实测跑分对比 研究团队在四个具有代表性的权威智能体评测基准上进行了严苛的同等数据预算对照实验： - 端到端基准准确率：在 ALFWorld、tau2-bench Retail、tau2-bench Telecom 以及 SpreadsheetBench-Verified 四项基准上，未优化基础 Prompt 平均得分为 62.4%；经过 CASD 单次优化后跃升至 79.0%（净增 +16.6%），而 SOTA 优化器 GEPA 仅提升至 73.3%（+10.9%），SkillOpt 仅提升至 67.7%（+5.3%）； - 优化成本与资源消耗：在相同测试集上，传统基于验证集搜索的优化器平均耗资 35.20 美元，而 CASD 单次完成完整代码统计与规则蒸馏的平均账单仅为 1.60 美元，成本骤降 22 倍 以上； - 非对等外部资源压力测试：即使破例给予竞品方案额外的在线验证环境与无限制的动态 Rollout 权限，CASD 依然在两个核心基准上保持领先。 ### 开发者实战落地与开箱指南 CASD 的核心逻辑极其适合集成至私有化 Agent 部署体系： ``python # 收集线上 Agent 失败与成功轨迹 JSONL 文件 trajectories = "logs/agent_production_traces.jsonl" # 调度 Coding Agent 编写分析脚本并蒸馏 Prompt optimized_system_prompt = casd_distill( trajectory_corpus=trajectories, target_agent_spec="workspace_agent_v2" ) `` 团队无需耗费巨资搭建端到端在线仿真训练平台，仅需导出生产环境积累的只读日志文件，即可在数分钟内以一包咖啡的价格完成核心 System Prompt 的自我进化与漏洞加固。完整论文预印本详见 ArXiv（arXiv:2609.26261）。