审查质量评测
智能体不是"演示一次看着对"即可，而是用固定基准集 + 对抗样本 + 消融实验量化验证。下表为本项目的评测设计：C01–C05 为含风险合同、C06–C10 为同型干净合同（误报对照）。标 — 待回填 的实测列在 JoyAgent 平台联调（D4）后用真实运行结果填入，演示视频与 PPT 仅引用回填后数据，不预设结果。
10评测合同 · 5 风险 / 5 干净
18期望命中条目（基准集）
0干净版误报 · 硬性目标
≤1 条同合同连跑两次结论差异
≤3 分钟单合同端到端出报告
一、基准集命中矩阵（期望结果，构建时已冻结）
| 编号 | 合同 | 判定级期望命中 | 关注项 | 必须验算的数字 | 实测 |
|---|
| C01 | 工程承揽 | R01高·R02高·R09高 | R05·R06 | 印花税口径 | — 待回填 |
| C02 | 设备采购 | R01高·R02高·R04高·R09高 | R08 | 价外费用2万 | — 待回填 |
| C03 | 房屋租赁 | R01高·R02中·R09高·R10高 | — | 91,743.12 / 8,256.88 | — 待回填 |
| C04 | 股权转让 | R03高·R04高·R11高·R09中 | — | 个税 600,000.00 | — 待回填 |
| C05 | 跨境技术服务 | R01高·R03高·R04高·R09中·R12高 | R06 | 代扣合计 177,777.78 | — 待回填 |
| C06–C10 | 五份同型干净版 | 判定级 0 命中（误报对照） | 允许少量关注 | 无 | — 待回填 |
二、量化指标与通过门槛
| 指标 | 定义 | 通过门槛 | D4 实测 |
|---|
| 判定级召回率 | 基准集命中条目被正确找出的比例 | ≥ 90% | — 待回填 |
| 判定级精确率 | 判定为命中的条目中真命中的比例 | ≥ 85% | — 待回填 |
| 误报率 | 干净合同 C06–C10 被判出高/中风险的比例 | 0 | — 待回填 |
| 依据准确率 | 文号+条款号与法规库一致的比例（人工抽核） | 100%（错即返工） | — 待回填 |
| 稳定性 | 同合同同答案连跑两次的结论条目差异 | ≤ 1 条 | — 待回填 |
| 数字一致性 | 验算数字与基准集精确一致（分位） | 100% | — 待回填 |
三、消融实验（证明每个设计选择都有贡献）
| 实验 | 对照组 | 观测变量 | 结果 |
|---|
| A 检索方式 | 混合检索（现方案） vs 纯语义检索 | 20 条测试问句的文号条款命中率 | — 待回填 |
| B 复核节点 | 有复核节点 vs 直接采用初次判定结果 | 依据不足/重复条目数 | — 待回填 |
| C 计算双轨 | 确定性计算引擎 vs 模型直接口算金额 | 5 道基准集金额题的正确率 | — 待回填（预期：口算会出现百分号/口径错误） |
评测执行人：产品同学 A 跑用例、税务负责人 B 抽核依据；全过程录屏并保留每次运行 JSON，作为 PPT 数据与答辩备查。