把答案放在切块末尾测试
建一份测试文档,开头和末尾各放一个独特事实,使用虚构值以便安全记录。例如把项目批准代码放在最后一节,再询问它的用途。
记录完整切块、模型标识、Ollama 版本与选项。查询和建索引用同一嵌入模型。比较包含末尾小节的短切块与整份长输入。如果短切块能检索而长输入不行,就有了排查方向。这是演示测试,并非跑分结果。
诊断时明确拒绝超长输入
诊断导入时,把 truncate 设为 false,让超出支持上下文的输入明确报错。失败切块应记为未完成导入,保留文档 ID 以便重试。尤其升级后,要验证自己安装的 Ollama 与模型组合的实际行为。
切块应保留有意义的内容单元,例如标题及对应段落。边界重叠有助于保留上下文,但也占空间。token 与字符不同,字符数只能粗略估计。用实际语言和格式做测试。
先查检索,再判断回答
调整切块后,重新索引测试文档,检查返回的段落 ID 和文本。先确认末尾事实被检索出来,再交给回答阶段,并对照原文核对最终答案。
按文档记录切块数和失败数。如果计划八块只导入七块,结果可能看起来合理,却缺少唯一相关证据。保留原文和导入版本,以便解释结果来自哪一套预处理。先在独立索引对比已知答案问题,再切换。