AWS 开源 awslabs/Agent-EvalKit：在 Claude Code、Kiro CLI 或 Kilo Code 内通过 /evalkit.plan、/evalkit.report 等斜杠命令跑评测。六阶段覆盖计划、造数、OpenTelemetry 追踪、执行、打分与代码关联修复；旅行研究 demo 显示 Response Quality 83.9%、Tool Parameter Accuracy 64.5%、Faithfulness 32.3%，漂亮回复仍可能在空工具结果上编造温度与汇率。配套 AWS ML 博客说明系统化评测方法。
核心要点速览
- ✓开源：awslabs/Agent-EvalKit，支持 Claude Code / Kiro / Kilo 斜杠命令。
- ✓流程：plan → data → OTel traces → run → score → code-linked fixes。
- ✓洞察：demo Faithfulness 仅 32.3%，空工具结果仍会编造事实。
⚡
一眼结论开发者 3 秒速决决策指标
🧭
Claude Code 高频使用：比较订阅额度与 API 账单
40 款主流编程套餐横向比价，支持输入/输出 Token 真实账单模拟
实战指南准备好将技术转化为生产力？
即刻查看该技术对应模型与主流工具的实测差异，或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
接着读AWS：Bedrock AgentCore Runtime 可托管编码智能体，Firecracker 微 VM + 持久工作区
立即阅读→
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察