Braintrust 宣布推出高性能 Eval 评测库与专用 AWS Lambda 扩展插件。通过内存异步批处理将遥测追踪耗时压至亚毫秒级,并在同一发布中全面打通 Azure AI Gateway 与主流企业级云网关。

核心要点速览 (Key Takeaways)

  • 极低调用开销:通过 Lambda Extension 异步后台刷盘,对用户主请求时延实现近乎零感知影响;
  • 企业多云网关打通:原生适配 Azure AI Gateway 与 AWS 架构,无缝捕获企业级多模型分流指标;
  • 提供全套类型安全的 TypeScript 与 Python SDK,简化高吞吐生产系统的观测埋点。