答案应该能追溯到证据
有用的引用能带你回到答案依据的页面、时间点、笔记行或网页。下面介绍我们如何实现并测试这个流程。
引用流程检查
五项检查的综合评分为 98.88%。
- 来源转换
- 100.0%
- 流式引用标记解析
- 100.0%
- 来源位置保真
- 100.0%
- 过滤前的证据支持
- 94.4%(参考 ALCE 的检查,引用召回率 100.0%,精确率 83.3%。)
- 过滤后的引用清理
- 100.0%(在故意插入错误引用的测试用例中,过滤后未留下误判为正确的引用。)
测试方法
- 把 PDF、录音、笔记和网页转换为可引用的条目,同时保留页码、区域、时间戳、行号或网址。
- 重新拼接被拆到不同输出片段的标记,并关联到正确的来源位置。
- 对引用的陈述和来源片段批量生成向量,计算相似度,再测量过滤前的引用召回率与精确率。
- 故意插入错误引用,运行清理流程,统计还有多少条错误引用留下。
(100 + 100 + 100 + 94.4 + 100) ÷ 5 = 98.88%。这些结果来自 YouWo 测试用例,其中包含业务来源材料。0 条误报仅指故意插入错误引用的用例过滤后的结果。
证据支持检查参考了 ALCE 的引用精确率和召回率。这是 YouWo 的引用基准测试,衡量范围与 ALCE 官方评分及检索准确率不同。用例集和逐条输出尚未公开。
从文档到可追溯的答案
- 切分原文
把文档文字切成较短的片段,并保留各片段在原文中的位置,例如 PDF 页码或录音时间点。
- 建立语义索引和实体图谱
将片段转换为向量(embedding),方便按含义搜索。系统也可识别片段中的人物、机构和主题,用实体图谱记录它们之间的关系,并关联到原文。
- 找回证据并引用原文
系统为问题检索相关片段,把答案的依据标成引用。读者可以沿引用回到原文核对。