答案应该能追溯到证据

有用的引用能带你回到答案依据的页面、时间点、笔记行或网页。下面介绍我们如何实现并测试这个流程。

引用流程检查

五项检查的综合评分为 98.88%。

来源转换
100.0%
流式引用标记解析
100.0%
来源位置保真
100.0%
过滤前的证据支持
94.4%(参考 ALCE 的检查,引用召回率 100.0%,精确率 83.3%。)
过滤后的引用清理
100.0%(在故意插入错误引用的测试用例中,过滤后未留下误判为正确的引用。)

测试方法

  1. 把 PDF、录音、笔记和网页转换为可引用的条目,同时保留页码、区域、时间戳、行号或网址。
  2. 重新拼接被拆到不同输出片段的标记,并关联到正确的来源位置。
  3. 对引用的陈述和来源片段批量生成向量,计算相似度,再测量过滤前的引用召回率与精确率。
  4. 故意插入错误引用,运行清理流程,统计还有多少条错误引用留下。

(100 + 100 + 100 + 94.4 + 100) ÷ 5 = 98.88%。这些结果来自 YouWo 测试用例,其中包含业务来源材料。0 条误报仅指故意插入错误引用的用例过滤后的结果。

证据支持检查参考了 ALCE 的引用精确率和召回率。这是 YouWo 的引用基准测试,衡量范围与 ALCE 官方评分及检索准确率不同。用例集和逐条输出尚未公开。

从文档到可追溯的答案

  1. 切分原文

    把文档文字切成较短的片段,并保留各片段在原文中的位置,例如 PDF 页码或录音时间点。

  2. 建立语义索引和实体图谱

    将片段转换为向量(embedding),方便按含义搜索。系统也可识别片段中的人物、机构和主题,用实体图谱记录它们之间的关系,并关联到原文。

  3. 找回证据并引用原文

    系统为问题检索相关片段,把答案的依据标成引用。读者可以沿引用回到原文核对。