可信编程试跑 · 离线合成示例

用同一组代码审查题核对模型接入

锁定同一组题、通过条件与失败分母。先用两次同源参考校准,再检查接入差异与每个通过任务的成本。

同任务试跑设计

道合成 Python 题
10
个观察窗口
2
条对照路径
4

共 80 个合成槽位。每次检查判定、原因类别和源码行号,失败仍计入分母。

先校准,再解释差异

下表展示离线合成夹具的通过数,每条路径每窗固定 10 题。两次同源参考用于核稳定性,已知差异对照用于核区分度。

同源参考 A
窗口 1 · 10 / 10,窗口 2 · 10 / 10
同源参考 B
窗口 1 · 9 / 10,窗口 2 · 10 / 10
待核接入模拟
窗口 1 · 6 / 10,窗口 2 · 7 / 10
已知差异对照
窗口 1 · 3 / 10,窗口 2 · 3 / 10

这组数值用于演示差异复核。实际模型身份需要独立上游证据,正式采购另核同一任务的真实回执。

每个通过任务的成本

合成示例采用待核接入模拟路径。把所有尝试的模拟费用相加,再除以通过数。

全部合成费用
2.40 元
通过数
13 / 20
合成单位成本
0.184615 元

实测时保留失败与重试、回执、用量、价版、净扣和人工复核。通过数为零或费用待核时,单位成本留空。