AI 编程实时动态与要闻速递 — 𝕏/Twitter 一手信源

Comet@comet-ml·41 天前收录

👀54

🔥91

Comet Opik 2.2.84：在线评测规则原生接 Jev（OpenRouter Decisions API）；队列自动化与溯源

Comet Opik 于 2026-09-29 发布 2.2.84：在线 LLM-as-a-Judge 规则可端到端调用 TypeSafe Jev（经 OpenRouter POST /api/alpha/decisions，而非 chat/completions）。布尔指标各成一道 yes/no 题，单次调用批答；概率 ≥0.5 记 1，原因字段展示 Probability: 0.93。后端新增 OpenRouterDecisionsClient（工作区 OpenRouter key + 429/5xx 重试），模型 ~typesafe/jev-latest / typesafe/jev-1.13。同步支持 Annotation Queue 自动化配置与条目 provenance；相对 2.2.83 约 8 commits / 104 files。

核心要点速览

发版：2.2.84（2026-09-29）；对比 2.2.83...2.2.84 ≈8 commits / 104 files
核心：PR #8540 在线评测走 OpenRouter Decisions API 调 Jev；chat/completions 会被拒
计分：每条 Boolean 规则→一道 yes/no；概率 ≥0.5 → 分值 1，reason 带 Probability
模型：~typesafe/jev-latest、typesafe/jev-1.13（不进常规 chat 模型 YAML 同步列表）
体验：Annotation Queue 可配自动化并展示条目 provenance；另有 trace stats 读窗口与 thread_id 注册修复

阅读全文

关联模型 / 智能体 / 厂商:

⚡ Jev⚡ typesafe/jev-1.13🤖 LLM-as-a-Judge 🤖 online evaluation 🌐 Comet 🌐 OpenRouter 🌐 TypeSafe

#Opik#Jev#Openrouter#Decisions API#评测#发布

Comet@CometML·45 天前收录

👀56

🔥90

Comet Opik 2.2.81：打分实体可入 Annotation Queue，点击式 ClickHouse SQL 用户上线，补齐 19 家模型价目

Comet 于 2026-09-25 发布开源 LLM 可观测平台 Opik 2.2.81：打分后的实体可路由进 annotation queue；可选开启扩展自由 SQL 的 ClickHouse 用户；后端注册 19 个规范 provider 以加载模型价目；SDK 修复 Gemini usage、Mistral 流式 reasoning、dataclass slots 编码等。

核心要点速览

发布：2.2.81（2026-09-25），PyPI opik==2.2.81
评测闭环：scored entities 路由进 annotation queues（#8462），人机标注与自动打分衔接
数据面：可选 provision 扩展自由 SQL 的 ClickHouse 用户（独立 flag，#8505）；find_trace_stream / find_thread_by_id 去掉 spans FINAL 以降延迟（#8533）
成本：注册 19 家 canonical providers 以加载模型价目（#8548）
SDK：Gemini usage 无 candidates_token_count 也可接受；保留 Mistral 流式 reasoning；slots=True dataclass 按 dict 编码；opik.sh 启动超时提到 90s

阅读全文

关联模型 / 智能体 / 厂商:

🌐 Comet

#Opik#Comet#LLM observability#链路追踪#Annotation#ClickHouse#评测#Gemini