可信编程试跑 · 离线合成示例
用同一组代码审查题核对模型接入
锁定同一组题、通过条件与失败分母。先用两次同源参考校准,再检查接入差异与每个通过任务的成本。
同任务试跑设计
- 道合成 Python 题
- 10
- 个观察窗口
- 2
- 条对照路径
- 4
共 80 个合成槽位。每次检查判定、原因类别和源码行号,失败仍计入分母。
先校准,再解释差异
下表展示离线合成夹具的通过数,每条路径每窗固定 10 题。两次同源参考用于核稳定性,已知差异对照用于核区分度。
- 同源参考 A
- 窗口 1 · 10 / 10,窗口 2 · 10 / 10
- 同源参考 B
- 窗口 1 · 9 / 10,窗口 2 · 10 / 10
- 待核接入模拟
- 窗口 1 · 6 / 10,窗口 2 · 7 / 10
- 已知差异对照
- 窗口 1 · 3 / 10,窗口 2 · 3 / 10
这组数值用于演示差异复核。实际模型身份需要独立上游证据,正式采购另核同一任务的真实回执。
每个通过任务的成本
合成示例采用待核接入模拟路径。把所有尝试的模拟费用相加,再除以通过数。
- 全部合成费用
- 2.40 元
- 通过数
- 13 / 20
- 合成单位成本
- 0.184615 元
实测时保留失败与重试、回执、用量、价版、净扣和人工复核。通过数为零或费用待核时,单位成本留空。