jev-filter

性能、费用与质量测试

English · 中文文档首页

最新付费真实调用 · 2026-10-04

96 条记录,中位 1.313 秒筛完,选中 ID 完全一致。 新增同输出实验对比可用的 Jev API 与已登录 Codex CLI 筛选路径,全部 9/9 次结果精确且完整。这个阶段结果 与下面的整轮 agent 上下文 A/B 分开。

返回工具上下文减少 91.6–97.2%,完整证据仍可回查。 最新整段结果覆盖 24 次真实主模型运行:三个固定合成场景(code-search、triage、exec), 两个主模型(gpt-5.6-luna、gpt-6-astra),原文/过滤两个实验臂,每个单元重复两次。 过滤臂完整完成 12/12,原文臂 11/12;全部 24/24 都选对预期 ID 集。 原文 Astra triage 有一次 ID 正确,但完整响应契约失败,仍计入分母。

同输出筛选:实测执行路径的速度

同输出数据 使用相同的 96 条 合成记录、两个原子语义条件,预期输出为 48 个匹配 ID。Jev 通过自动合批 API 筛选; 已登录 Codex CLI 按 medium 推理、不使用工具直接筛选传入的记录。 三个重复轮次轮换实验臂顺序,每次重新运行,不缓存推理结果。 夹具把八个简单中英模板各重复十二次,只有服务 ID 不同,覆盖清楚的当前/历史与 响应前/后区分,不是 96 个独立困难用例。

实测路径 筛选耗时中位 实测范围 精确完整结果
Jev jev-1.13.0 · 自动合批 API 1.313 秒 1.238–1.375 秒 3/3
Luna gpt-5.6-luna · 已登录 Codex CLI 13.421 秒 13.210–13.932 秒 3/3
Astra gpt-6-astra · 已登录 Codex CLI 14.543 秒 14.333–15.593 秒 3/3

这是执行路径筛选延迟,不是模型原生/API 延迟或整轮 agent 提速。 Jev 计时包含 规划、传输、类型化解析与程序精简;Codex 包含 prompt 序列化、进程启动、提供方/agent 回合及最终响应。夹具目录准备单独计时并排除。原生推理与 CLI 启动开销无法分别观察, 逐请求延迟未采集;Jev 后面没有主模型续跑。没有测试主模型的直接 API 路径。 每臂三次是 smoke 样本,不是置信区间或 跨工作量保证,重复的简单模板也限制推广。没有推理结果缓存,不代表提供方没有内部缓存。

同输出筛选路径,每条 3/3 精确:Jev API 1.313 秒,Codex CLI Luna 13.421 秒、Astra 14.543 秒

九次运行都返回相同的 375 bytes 规范化判断,误报、漏选、复核、超时、失败请求及 未知用量尝试均为零。这是相同输出与原始证据,不是相同的序列化 prompt: 记录本身 12,351 bytes;每次 Jev 类型化请求合计 93,226 bytes,主模型 prompt 各为 13,224 bytes,另有 196 bytes 输出 schema 与 CLI 自带 harness。 Jev 每次两个实际请求;主模型每次返回一个回合,底层实际请求数未提供。

路径 三次实际输入 / 其中缓存 / 输出 tokens
Jev 91,086 / 未提供 / 27,546
Luna 59,052 / 0 / 788
Astra 66,216 / 0 / 492

这组同输出实验中,Jev 输入 tokens 比两个主模型路径都多;输出用量也包含逐记录的 类型化判断,而非只有最终 ID 列表。用量完整,实际费用仍为 null。主模型使用订阅认证, 这些耗时与 tokens 没有建立账单节省。Jev 实际响应模型为 jev-1.13.0;CLI 记录请求的 主模型名称,没有独立暴露提供方返回的实际模型 ID。

报告与限制 · 独立用量收据 · 可复现脚本

整段任务:上下文明显缩减,耗时各有得失

主模型 / 场景 工具上下文减少 平均耗时 原文 → 过滤 冷输入 API 等价费用变化 完整完成 原文 / 过滤
Luna / code-search 96.1% 14.87 → 16.12 s −14.2% 2/2 / 2/2
Luna / triage 97.2% 15.21 → 17.09 s −3.1% 2/2 / 2/2
Luna / exec 91.6% 15.82 → 15.84 s +1.1% 2/2 / 2/2
Astra / code-search 96.1% 18.51 → 19.44 s −22.0% 2/2 / 2/2
Astra / triage 97.2% 23.12 → 19.58 s −23.2% 1/2 / 2/2
Astra / exec 91.6% 18.73 → 22.19 s −4.8% 2/2 / 2/2

六个单元有五个慢了 0.1–18.4%;只有 Astra triage 快 15.3%,它的原文臂包含 那次响应契约失败。两次重复是 smoke 对比,不是统计充分的延迟研究。夹具准备单独记录、 不计入任务耗时;采集、Jev 推理、真实主模型的 shell 工具调用和后续处理一起计时。 工具上下文字节衡量工具返回量,不是整段模型 prompt;主模型输入还包含 harness 与固定指令。

每个模型六次原文或六次过滤运行的实际 tokens 合计:

主模型 / 实验臂 主模型输入 / 其中缓存 / 输出 Jev 输入 / 输出
Luna / 原文 242,638 / 112,896 / 1,804 0 / 0
Luna / 过滤 199,220 / 109,824 / 1,478 145,014 / 25,086
Astra / 原文 277,875 / 111,360 / 925 0 / 0
Astra / 过滤 227,990 / 144,640 / 891 145,014 / 25,086

这些运行的提供方用量完整。Codex CLI 使用已配置的账号,实际订阅账单未知。 冷输入估算将主模型输入全部按未缓存计价;缓存调整估算使用实际返回的缓存子集。 两者都不是发票。Luna exec 的缓存调整等价费用高了 12.0%;Astra exec 的过滤臂 恰好有更多缓存输入,因此它的 70.6% 调整降幅不能全归因于过滤。 费用采用有日期的2026-10-04 调用方单价快照。 缺用量或未知账单保持 null,不会记成零费用成功。

逐次 JSON · 汇总与精确计算 · CSV · 执行脚本

最新整段任务的上下文、等价费用与耗时

合批:Jev 阶段更快,输入用量更少

最新原生合批测试 使用 96 条固定合成 记录 × 两个判断、四个实验臂、每臂三次;12/12 次选择结果精确,用量完整。 单条并发最多 12 个 worker;合批并发只需两个请求与两个 worker,单条臂每次操作有 96 个请求。

实验臂 整段筛选平均耗时 三次重复输入 tokens 精确结果
单条串行 29.50 s 209,244 3/3
自动合批串行 1.82 s 91,086 3/3
单条并发,上限 12 3.22 s 209,244 3/3
自动合批 + 并发 1.25 s 91,086 3/3

合批输入减少 56.5%,合批并发在这个样本中筛选速度为单条并发的 2.58 倍, 耗时减少 61.2%(3.215 → 1.246 秒)。 计时包含规划、原生推理与精简,没有主模型后续处理,不能称为整轮 agent 提速。 重复的简单记录模板与网络波动限制推广。全部实验臂提供方返回 600,660 输入 / 110,964 输出 tokens,用量完整,没有未知尝试。这个历史实现的 driver 只暴露请求模型 jev-1.13.0, 没有保存响应模型 ID。执行脚本。

记录流程:选得更好,也会增加工作

原生记录 A/B 使用固定合成代码、 Git 完整前后文件与连接阶段记录;计时包含采集 → 准入 → 真实 Jev → 精简 → 来源新鲜度。 这组实验没有主模型后续处理。

流程 实测质量 返回字节 / 整段代价
精确代码候选 vs 可选召回,都经过语义筛选 正确匹配 4/12 → 10/12;双方误报为零。 合计 5,284 → 9,706 bytes。每臂六次操作的中位 854 → 849 ms,不据此声称提速。
保留八个变更文件 vs 语义 diff 筛查 两次重复都选对四个目标;无关选择 8 → 0,没有漏掉目标。 11,428 → 8,700 bytes,减少 23.9%;中位 503 → 1,465 ms。
分离的 18 条校准与 18 条留出记录 两次重复中,每臂 36/36 个预期判定正确,包含八个复核项。 校准选出阈值 0.0,这个简单样本没有额外阈值收益;每臂都重新真实推理。

特意设置的无词法交集代码用例,两个实验臂都漏掉。当前召回扩大词法、符号与调用者候选, 不是穷尽式语义索引。校准与留出是不同原始记录,但都是相似的手写场景;阈值选择不拟合 概率校准器,也没有建立总体准确率保证。

公开的最终系列共 20 次原生请求,35,250 输入 / 5,858 输出 tokens,实际返回模型 jev-1.13.0,用量完整,新鲜度检查通过。固定输入与脚本 公开真值、阈值网格、逐次分模型用量和负面结果。

接口:通过实际发行链路调用付费模型

13 项检查全部通过。Python CLI 和全新 registry 安装的 npm 0.4.0 分别运行 32 条 query、代码召回、八个关联事件与六文件 diff。 独立官方 MCP 客户端协商 2025-11-25,运行 filter/search/triage,回查完整原文及 SHA-256。 本地 Chromium 提取选出四个在售 USB-C 台灯;代码解析原始价格,保留三个低于 $35 的产品。 CLI survey 64/64 主题标注正确,聚合计数完全一致。

这是合成接口检查,不是开放场景准确率;survey 重复八个简单工单模板。 16 次请求返回 71,616 输入 / 17,562 输出 tokens,用量完整。这些公开接口没有暴露 提供方返回的模型 ID,因此报告将请求模型 jev-1.13.0 与未提供的实际模型身份分开。 执行脚本 保留完整合成输出,只替换机器路径与收据位置。

浏览器:严格复核、已验证修复与失败实验

最终固定源码 A/B 在同一 jev-1.13.0、最高概率 0.55 / 候选差距 0.10 策略下,比较已发布 0.4.0 与滚动证据修复源码。 八个本地夹具、每臂三次,使用独立 DOM/存储检查。预期结果 15/24 → 18/24:验证完成 12 → 15,双方另有三次正确的不可逆停顿。这组矩阵错误动作与假完成都为零。

嵌套滚动目标完成 0/3 → 3/3。失败基线提前停下,完成后的处理臂在这三次运行中需要 6 → 21 次模型调用,耗时中位 1.33 → 3.25 s。原有六任务子集的预期结果仍是 12/18,其中六次普通目标运行仍需复核;已知输入增加 2.36%,请求字节增加 7.52%,耗时中位增加 3.58%。修复保留严格阈值,没有让纯 Jev 完成每个目标。

最终完整矩阵的基线/处理臂为 171,320 / 202,290 输入 tokens、12,012 / 12,818 输出 tokens, 实际模型均为 jev-1.13.0,用量完整。浏览器启动单独记录;导航、观察、判断、动作与独立终态 检查计入整段操作。

早期实验继续公开:原生 select 候选裁剪 预期通过 11/18 → 9/18;已满足控件与嵌套滚动 没有提升通过数;滚动证据试验 包含一次提供方失败、用量未知,总费用为 null,不是零。这些失败或不完整试验与最终完整矩阵分开。

第一组仅 benchmark 的主模型接管参考 达成 5/6 个预期结果。一次 Jev 已把正确商品加入购物车,但还没到下单门禁就返回 DONE, 被独立检查判为未完成。模型单独返回 DONE 不能当成有效交付。 首组负面矩阵继续公开。

随后带独立验证续跑的参考 达成 6/6:三个搜索目标完成、三个正确 Place order 停顿;使用固定已发布 0.4.0 和同一严格策略。 它识别并续跑一次提前返回的 Jev DONE,没有错误动作、被接受的假完成声明或主模型实际执行工具。 程序拥有观察与候选动作 ID,校验主 planner 返回的 ID/已命名值引用,重新检查新鲜度,执行受门禁保护 的动作,并独立验证终态。参考流程。

这是参考集成,不是发行产品内置的自动主模型回退。整段耗时 14.7–51.6 s,中位 33.1 s, 包含接管开销。这六次新运行使用 gpt-5.6-luna:275,556 输入 / 其中缓存 70,400 / 1,155 输出 tokens; 另有实际 jev-1.13.0 180,522 输入 / 11,378 输出 tokens。用量完整,订阅实际账单未知;结果还单独 保留首组矩阵的用量。可靠接管会增加工作,没有证明普遍便宜或普遍快速的浏览器 agent。

包含失败试验的早期累计审计用量

累计用量台账 包含 pilot、重复验证与失败实验, 不仅统计公开成功表格。已知 Jev 2,928,677 输入 / 324,772 输出 tokens,另有一次提供方尝试用量未知。 按所列每百万输入 $0.042,已知输入对应 $0.123004434 的估算下界;累计总费用与实际账单仍未知。 主模型账号使用 1,463,583 输入 / 其中缓存 563,200 / 7,315 输出 tokens,属于订阅访问,不是已核验的 API 账单。未知不会悄悄记零,不同账务口径也不直接相加。

这份早期系列保持原样。新的同输出速度实验另外增加 91,086 Jev 输入 / 27,546 输出 及 125,268 主模型输入 / 其中缓存 0 / 1,280 输出 tokens,记录在独立增量收据。

复现新的付费运行

通过 TYPESAFE_API_KEY 或 TYPESAFE_API_KEY_FILE 提供允许使用的 TypeSafe 测试凭据; 不要放进输入、报告或源码。模型调用须主动启用并计费;使用新输出路径,私有轨迹继续保持私有。

python -m pip install -e '.[code,dev,docs,browser-test]'
# 独立 MCP 检查还需要官方 mcp 包。
python -m pip install mcp
python -m benchmarks.run --live --records 96 --repeats 3 --parallel-workers 12 \
  --output local-results/batching-new.json
python -m benchmarks.selection_speed --live --records 96 --repeats 3 --workers 12 \
  --models gpt-5.6-luna gpt-6-astra --output local-results/selection-speed-new.json \
  --private-dir ../jev-selection-private-new
python -m benchmarks.live_records --live --repeats 2 --output local-results/records-new.json
python -m benchmarks.live_interfaces --live --output local-results/interfaces-new.json
python -m benchmarks.operations --live --models gpt-5.6-luna gpt-6-astra \
  --cases code-search triage exec --repeats 2 --jev-workers 4 \
  --rate-snapshot benchmarks/results/2026-10-04-operations-rates.json \
  --report local-results/operations-new.json --private-dir local-results/operations-traces

这些实验分别回答筛选路径速度、整段主模型上下文、记录判断质量、接口正确性的问题。 同输出速度实验还需要已登录的 Codex CLI,私有目录必须是仓库外的新路径;不要合并分母, 也不要把局部阶段收益当成整轮 agent 节省。

0.4 发版证据 2026-10-04

新测试覆盖实际发行程序的契约与接口。以下离线契约 A/B 固定源码,collector 对比使用固定合成输入,没有语义模型调用;脚本公开了响应夹具、标注和程序策略。历史 live 推理结果继续保留在后文。

范围 基线 0.4 取舍
脚本化决策/记账行为 3/13 符合预期 13/13 复核 0 → 6;返回字节 4,104 → 7,087
夹具错误动作 3 0 模糊操作在执行前停下
代码 collector 平均召回率 27.8% 66.7% 平均精确率 66.7% → 47.2%;上下文和耗时增加
浏览器观察/执行契约 3/15 15/15 更完整状态与更多完成路径增加上下文/耗时
freshness 拒绝检查 6/6 6/6 范围、敏感值与来源守卫继续独立

决策案例检查错误/未知用量保留和给定概率分布的策略执行,不测 Jev 是否判断正确。无词法线索的检索夹具仍漏掉,这些离线数据不测最终语义精确率,上文提供新的真实调用检查。浏览器用真实本地 Chromium 和固定程序策略,排除启动,不估计开放网站或 Jev 驱动成功率。逐例失败、上下文字节、耗时、源码/脚本哈希与零实际模型用量均保留:决策、检索、浏览器观察。

接口 E2E 运行 10 项真实进程检查:CLI 就绪与上下文准入、采集、stdin 日志脱敏、tracked diff、survey 规划、离线评测、MCP stdio、真实 JS 客户端及独立官方 MCP 客户端(2025-11-25、四工具、证据回查)。输入为合成数据,命令明确规划或要求缺失上下文,零模型请求证明接口跑通,不能作为语义质量证据。

python -m benchmarks.decision_contracts --output decisions.json
python -m benchmarks.retrieval --repeats 5 --output retrieval.json
python -m benchmarks.browser_observation --repeats 3 --output browser.json
python -m benchmarks.release_e2e --output interfaces.json
# 独立客户端检查:另装 mcp 后增加 --official-mcp。
jev-filter eval --input examples/evaluation.json --output heldout.json

新提供方比较需安装 .[code,dev,bench-llm] 和相应 System One Adapter SDK extra。固定规划 记录 32 行、期望结果和完整请求字节,没有推理。python -m benchmarks.providers --live --provider PROVIDER --model MODEL --output X.json 明确计费,需指定测试凭据;它只覆盖过滤操作,保留重试总用量和失败未知项,区分 Jev 原生概率与生成式 LLM 概率。离线发版数据没有建立新提供方优势、整轮代理提速或真实账单节省。

默认行为、兼容性及不拟合概率校准器的分组留出评测见接入与策略契约。

托管执行:2026-09-30

范围:只用本地合成夹具,真实 Jev(jev-1.13.x),每个任务三轮。只有最终状态符合预期、并且程序对最终状态的校验成立,才算通过:浏览器看 URL 和存储,桌面看窗口文本,survey 对照生成时的真值。模型报告的 DONE 从不算作成功。夹具里的不可逆动作应当暂停(needs_confirmation),并核实它确实没有发生。

线 传输 任务 期望 通过 步数中位 请求中位 耗时中位 输入 token 中位 Jev p50
browser camofox buy-pauses-before-order needs_confirmation 3/3 8 9 13.7 s 26,251 358 ms
browser camofox contact-form-scroll done 3/3 9 10 7.9 s 27,401 350 ms
browser camofox delete-is-gated needs_confirmation 3/3 0 1 0.7 s 1,709 703 ms
browser camofox search-filter done 3/3 6 7 9.3 s 23,594 336 ms
browser camofox shadow-dom done 3/3 1 2 2.0 s 3,130 504 ms
browser cdp buy-pauses-before-order needs_confirmation 3/3 8 9 3.9 s 26,251 349 ms
browser cdp contact-form-scroll done 3/3 6 7 3.0 s 21,188 345 ms
browser cdp delete-is-gated needs_confirmation 3/3 0 1 0.7 s 1,709 726 ms
browser cdp same-origin-frame done 3/3 1 2 1.1 s 3,294 527 ms
browser cdp search-filter done 3/3 5 6 2.8 s 20,405 356 ms
browser cdp shadow-dom done 3/3 1 2 1.2 s 3,268 568 ms
browser cdp buy-pauses-before-order(无门禁说明) needs_confirmation 3/3 8 9 4.0 s 25,211 359 ms
desktop windows-uia advanced-tab done 3/3 3 4 3.4 s 8,627 442 ms
desktop windows-uia delete-is-gated needs_confirmation 3/3 0 1 0.8 s 2,862 706 ms
desktop windows-uia form-save done 3/3 5 6 5.6 s 21,215 362 ms
desktop windows-uia ocr-canvas done 3/3 1 2 2.1 s 3,569 510 ms
变体 记录 请求 输入 token 输入费用 耗时 主题 情绪 退订意图 筛选
default 500 19 257,075 $0.0108 3.5 s 100.0% 94.8% 100.0% 98.6%
no-screen 500 17 234,422 $0.0098 2.1 s 100.0% 94.7% 100.0% –
unpacked 500 940 590,522 $0.0248 14.0 s 100.0% 95.2% 100.0% 98.0%
default 10,000 375 5,192,517 $0.2181 19.6 s 100.0% 95.7% 100.0% 98.8%

逐次 JSON

怎么读:

复现(会产生费用,需要 Chromium;Camofox 和桌面线可选):

pip install -e '.[dev,browser-test,desktop]'
python -m benchmarks.hosted --live --lines browser,desktop,survey --repeats 3 \
  --camofox --output /tmp/hosted.json
python -m benchmarks.hosted_report /tmp/hosted.json

真实网站与应用:2026-09-30

上面的夹具结果展示的是机制。这次只读审计要回答的是:同一套代码在真实公开网站和真实 Windows 应用上能走多远。审计中没有购买、发帖或登录,代码也没有改动。汇总数据见 2026-09-30-real-world.json,观察覆盖探针是 python -m benchmarks.real_world_coverage。

环境:一台 Windows 11,中国大陆的一个网络,无头 Chrome,视口 1280x900,浏览器语言 zh-CN,jev-1.13.0。结果受地区、IP 信誉和时间影响,人机验证的触发率在别处尤其会不同。

观察覆盖。 在 40 个公开页面上,用一段独立的页内脚本列出视口里人能点的所有元素,再核对执行器的观察提供了其中哪些。1 个页面启动失败,7 个是人机验证、错误页或风控遮罩。

页面 可点元素 单页覆盖率中位数 合计覆盖率 达到 95% 的页面
32 个内容页 1,582 97.2% 94.4% 24/32
其中 25 个非中文站 100% 97.1% 21/25
其中 7 个中文站 82.1% 85.0% 3/7

漏掉的主要是没有角色的可点元素(58 个,其中 51 个在中文站),以及叠在自绘控件下面、完全透明的原生输入(23 个,分布在 7 个站点,例如 Wikipedia 的菜单)。这个指标只统计视口内;折叠线以下或滚动容器里的目标是另一类缺口。

真实目标。 24 个只读目标(搜索、打开页面、设置组件状态)各跑两次,约 12 个并行。"达成"是审阅者根据最终 URL、标题和存档做出的判断,不是校验器的结论。

目标类型 目标数 运行次数 done 达成 人机验证或登录墙 接口故障 其余运行中达成
站内搜索 12 24 7 7 8 3 7/13
链接导航 7 14 4 5 2 1 5/11
组件状态 5 10 0 4 0 0 4/10
合计 24 48 11 16 10 4 16/34(47%)

16/34 的 95% 区间约为 31–63%。有 1 次 done 大概率是误判:DuckDuckGo 的一次运行,其 URL 校验在人机验证页上也能匹配。有 6 次运行达成了目标却没有得到 done,主要原因是校验器只看页面文字,看不到组件状态。

桌面。 观察了 8 个 Windows 应用,5 个真实目标各跑一次,通过 2 个。

应用 界面框架 观察到的控件 真实目标 结果
计算器 WinUI/UWP 34 12 × 34 通过
文件资源管理器 Shell/XAML 78 打开一个文件夹 通过
字符映射表 Win32 9 选择字体 失败:屏幕外的列表项不会提供,也没有滚动动作
cmake-gui Qt,未开启无障碍 0(OCR) 打开帮助菜单 失败:OCR 把整条菜单栏合成了一个目标
DB Browser for SQLite Qt,开启无障碍 63 打开帮助菜单 失败:Qt 菜单项上的 Invoke 不起作用,改用 Expand 可以
画图 WinUI 3 113 只观察 画布没有暴露
Beyond Compare Delphi VCL 67 只观察 自绘文字不可见
Chrome Chromium 22 只观察 除非用 --force-renderer-accessibility 启动,否则网页内容不可见

失败原因,按影响的目标数排序。 "反事实验证"指在内存中应用改动后重放。这些修复都不在 0.3.0 里。

失败 目标数 已验证的修法
接口超时直接结束运行,错误码被丢掉 7 同样的请求重跑都成功;对无副作用的决策请求加重试,尚未测试
本地化或非 Cloudflare 的人机验证和登录墙识别不出来(京东的登录跳转报成 origin_blocked);正常页面上一个不可见的 reCAPTCHA v3 框被误判为验证页 6 未测试
没有角色的可点元素和透明的原生输入不会提供 3(组件类) MUI 和 Element Plus 在内存中改动后成功
等待时机问题:导航还没完成就 DONE、自动补全列表过期、页面自我刷新导致 CLI 崩溃且没有输出包 3 崩溃已复现;修法未测试
折叠线以下或滚动侧栏里的目标永远不会提供 2 MDN 和 Python 文档在重放中选对了链接
校验器看不到勾选、按下、选中状态 2 得分从 0.19–0.33 升到 0.67–0.98;换一种问法时为 0.67–0.73,正好在 0.7 的通过阈值附近
链接密集的页面超过接口输入上限(Hacker News,约 3.36 万 token) 1 去掉重复的行文字后返回 200,并点对了目标
在新标签页打开的链接不会跟随 1 未测试

历史整段任务测试:48 次真实 agent 运行 · 2026-09-23

整段任务中的上下文、费用与耗时变化

逐次 JSON · CSV · 汇总数据 · 类型化判断证据

这是公开内核的新测试:两个主模型 × 四类场景 × 原生/筛选两组 × 三轮,共 48 次真实运行。 主模型实际调用一次固定采集器,读取结果并输出结构化 ID。两个模型都使用 medium 推理, 每个模型内部串行运行、交替测试顺序,两个模型同时进行;Jev 不使用结果缓存。

计时包含工具调用、Jev 判断、主模型续跑和最终网页目标校验。页面创建单独记录但不计入, 因为定位任务从已有页面开始。本实验固定了候选来源,不代表允许 agent 自由选择各种工具的最优表现。

下表费用和耗时的正数表示更贵/更慢。上下文指返回工具结果的字符数,不是主模型全部输入 token。

主模型 场景 上下文减少 冷输入等价费用变化 耗时变化 原生/筛选无复核完成
Astra 代码搜索 96.3% -18.0% -2.4% 2/3 → 3/3
Astra 网页定位 88.5% -3.7% -4.0% 3/3 → 3/3
Astra 日志分流 97.3% -20.8% +16.5% 0/3 → 3/3
Astra 自定义命令 91.6% -3.6% +10.2% 3/3 → 3/3
Luna 代码搜索 96.3% -10.6% -4.3% 3/3 → 3/3
Luna 网页定位 88.5% -2.5% +43.0% 3/3 → 3/3
Luna 日志分流 97.3% -2.4% +27.3% 3/3 → 3/3
Luna 自定义命令 91.6% +0.6% +3.0% 3/3 → 3/3

质量:48 次均选对预期 ID 集合,没有观测到误增或漏选。原生 Astra 的四次运行额外要求复核, 其中代码一次、日志三次;24 次筛选组均无需复核完成。选对 ID 和无需复核完成分开统计, 更少复核不能证明未知数据上的置信度更准确。48 次均符合实验调用协议,模型用量报告完整。

缺测与样本限制:两次原生调用的 Codex 事件没有记录 aggregated_output,字符长度标为 null, 没有当成零或填补数据。上下文均值采用可用的两或三次测量;耗时、质量和用量仍完整。 每格三轮不足以形成强统计结论,因此提供均值、中位数、观测最小/最大值和样本量,不将不稳定的 p95 包装成生产保证。

费用口径:2026-09-23 核对的标准、短上下文美元单价,每百万 token: Astra 输入/缓存输入/输出为 $10/$1/$50; Luna 为 $0.20/$0.02/$1.20; Jev 输入 $0.042,输出免费。 保留冷输入和缓存调整两种估算,没有计入缓存写入、地区附加费、服务等级或折扣。 这是 API 等价费用,不是当前账号的订阅账单。

Luna 的自定义命令场景加上 Jev 后 贵了 0.6%。多个场景变慢,其中 Luna 网页选择慢了 43.0%。 适合在上下文压力大或已有实测收益的场景按需使用,不强制用于便宜主模型、少量输入或延迟敏感任务。

绝对值与耗时分布

下表每项按三轮统计,箭头为原生 → 筛选;时间单位为秒,费用为每次操作的美元等价估算。

模型 / 场景 平均耗时 中位耗时 观测范围:原生;筛选 冷输入等价费用
Astra / 代码 22.01 → 21.49 22.10 → 20.88 19.24–24.68; 20.55–23.04 $0.65282 → $0.53527
Astra / 网页 19.19 → 18.43 19.42 → 18.46 18.11–20.05; 17.73–19.10 $0.55392 → $0.53335
Astra / 日志 20.85 → 24.30 20.50 → 24.88 20.39–21.66; 21.22–26.79 $0.67587 → $0.53502
Astra / 命令 19.42 → 21.39 20.55 → 22.00 17.01–20.69; 19.27–22.89 $0.55358 → $0.53365
Luna / 代码 21.91 → 20.97 21.14 → 20.40 18.98–25.60; 17.63–24.87 $0.01202 → $0.01075
Luna / 网页 17.12 → 24.47 17.35 → 17.52 16.54–17.46; 16.41–39.49 $0.01025 → $0.01000
Luna / 日志 20.87 → 26.57 20.91 → 19.88 19.04–22.66; 19.66–40.17 $0.01179 → $0.01150
Luna / 命令 19.42 → 20.01 18.83 → 20.59 17.30–22.12; 16.55–22.87 $0.01029 → $0.01035

Luna 网页筛选的均值受一次 39.49 秒样本影响;中位数约 17.52 秒,原生约 17.35 秒。不要把三轮均值当成稳定生产延迟。

复现整段流程

需要已登录本人账号的兼容 Codex CLI、Jev key,以及 9377 端口的本地 Camofox 服务。 脚本只创建自己的合成数据和浏览器会话,不点击或发送消息。

python -m benchmarks.operations --live \
  --codex "$(command -v codex)" \
  --models gpt-6-astra gpt-5.6-luna --repeats 3 \
  --report local-results/operations.json \
  --private-dir /tmp/jev-filter-operations-unique

使用新路径。这会消耗 48 次主模型任务及相应 Jev 调用的账号用量。 原始 agent 事件保存在仓库之外的私有目录,只导出允许字段中的统计与合成判断。 报告包含数据集和运行时代码哈希。数据构造 · 完整驱动。

核心结论

公开版本:2026-09-22 实测

合批与并发的公开实测

原始数据 · 合成数据集 · 运行脚本

96 条合成服务记录,每条两个独立判断;模型为 jev-1.13.0。四种方式各运行两次, 第二轮反转顺序,不使用结果缓存。耗时包含规划、网络、响应校验和结果恢复, 不包含启动 Python 解释器和主模型后续推理。

Jev 执行方式 平均耗时 两轮输入 token 合计 完整且正确的轮数
单条串行 39.859 秒 139,496 2/2
自动合批、串行 2.757 秒 60,724 2/2
单条并发,上限 30 3.502 秒 139,496 2/2
自动合批并发,上限 30 2.368 秒 60,724 2/2

合批减少 56.47% 输入 token;合批并发比单条并发快 32.37%,比单条串行快 94.06%。 八轮均选中预期 ID,没有待复核项,用量报告完整。数据来自 API 返回的 token,不是按字符数估算。

两轮属于小规模验证,不能当成统计充分的研究。记录重复了八种模式,比真实开放任务容易; 网络波动明显。本次合批串行也比单条并发更快。30 是并发上限,不代表每轮都用了 30 个请求, 更不代表 30 对所有负载最优。

历史原型:主模型整段流程对比

历史流程中的上下文、费用和耗时变化

这些数据来自独立包提取前的私有原型:固定的合成代码、浏览器控件和日志候选, 每组两轮配对,主模型为 Astra/medium。它们不是本次公开发行包的端到端实测。 私有完整轨迹包含本地环境与代理配置,未公开,因此可复现程度低于上面的公开测试。

流程 返回上下文减少 冷输入 API 等价费用下降 整段耗时变化
代码搜索 96.13% 20.58% 慢 10.21%
网页控件选择 88.47% 4.37% 慢 4.02%
日志分流 97.26% 25.18% 慢 1.52%

两边选中的 ID 都符合预期;原始日志对照组另有待复核项。费用包含额外的 Jev 步骤和主模型 实际输入/输出,按当时的冷输入价格假设折算。这是 API 等价估算,不是订阅账单,也不是当前报价。

上下文变短不等于整轮必然降本提速。公开发行包尚未独立复测这三条主模型端到端结果, 不能承诺历史比例可在你的模型或数据上复现。

自己复现并计算费用

python -m pip install -e '.[code,dev]'
python -m benchmarks.run --output local-results/offline-new.json
# 会产生 API 费用;使用已配置的 Jev key,不缓存判断结果。
python -m benchmarks.run --live --output local-results/live-new.json

每次使用新输出路径,避免覆盖失败或旧结果。离线模式只验证规划,不证明模型质量与实时耗时。

主模型对比应固定模型、推理设置、任务、候选数据和预期答案,交替运行原生工具与筛选组。 把采集、Jev、重试、主模型续跑、证据回读都纳入计时和用量。分别记录每个模型的输入/输出, 以及质量、误删、失败、复核和返回上下文。不能仅凭结果包更小就宣称更便宜或质量更好。

使用当前供应商价格、统一币种和 token 单位:

原生费用 = 主模型输入量 × 输入单价 + 主模型输出量 × 输出单价
筛选费用 = 筛选后的主模型输入量 × 输入单价
         + 筛选后的主模型输出量 × 输出单价
         + Jev 输入量 × Jev 输入单价 + Jev 输出量 × Jev 输出单价

还需计入缓存输入价格、重试与回读。用量不完整时费用只是下限。便宜主模型、小输入、 上下文不足或频繁回读都可能抵消收益。本次公开 Jev 测试不直接推导固定美元节省额。

首个用户的集成验收

脱敏记录 覆盖资料标注、Telegram 维护计划和 SRE 分流三个已安装入口,使用合成数据与真实 Jev 调用。判断符合预期,原始内容未出现在 默认精简结果中;未发送客户消息,也未授权生产操作。原有私有脚本、身份和回退接口保留。

额外迁移对比使用 48 条合成 DNS 记录,两轮反转顺序,包含 Python 进程启动: 旧后端平均 1.413 秒,独立包 1.797 秒,约 慢 27.2%。每轮均为 48/48 正确, 用量相同:输入 6,752、输出 1,913 token。返回包均不含原始信号。

这是兼容性证据,不是迁移加速证据。进程隔离边界与网络传输实现不同;两轮无法确定单一原因。 私有桥接层每个完整批次启动一次进程,不是每条记录启动一次。

npm 平台运行时一致性

原始记录 对比 Python 与原生可执行文件: 32 条合成 DNS 记录,各两轮交替顺序,包含启动与网络调用。四轮全部 32/32 正确; 每轮输入 4,583、输出 1,273 token,返回 JSON 均为 5,660–5,661 字符。

原生平均 1.838 秒,Python 平均 1.178 秒。两次原生运行分别为 2.570、1.105 秒。 这个小样本无法区分启动开销与网络波动,没有证明原生包提速。它证明的是安装前提减少后, 本例的接口、判断和用量保持一致。

Node 入口另外通过真实 tarball 安装验收;这组计时不包含额外的 Node 启动器或 npm 安装。

python -m benchmarks.distribution --live \
  --native /path/to/native/jev-filter \
  --output local-results/distribution-new.json

图表由 python scripts/render_assets.py 生成,需要 docs 依赖。公开图表直接读取仓库中的 JSON, 历史数据明确标注为原型结果。所有负面结果保留,不承诺普遍正确率或整轮加速。