建立索引和查询时使用同一个嵌入模型。即使维度相同,旧文档向量和新查询模型混用也可能让相似度失去意义。

切换前验证


建立独立索引,保持文档分块一致,并使用已知相关结果的真实查询进行测试。比较排名,达到要求后再切换,同时保留旧索引以便回退。

可重复的迁移测试


替换索引前,收集一组能从原始文档核对答案的问题,包括精确名称、换一种表达的问题,以及资料里没有答案的问题。保存当前返回的文档 ID 与靠前的段落,作为对照。

用候选嵌入模型对同一份资料快照建立独立索引,明确记录模型标识。保持切块、筛选条件与返回段落数量一致,用同一候选模型生成查询向量。测试期间保留原来的查询路径。

假设换模型后,退款问题开始返回配送文章。先查检索出的段落。如果退款段落根本没进入结果,优先排查检索。如果段落存在但最终答案忽略它,再查回答阶段。逐题记录是否找到了正确段落,以及答案是否正确使用了证据。

达到预先确定的标准后,再一起切换生产索引与对应的查询模型,并保留旧组合以便回退。向量长度相同不能证明不同模型的表示兼容。这里是建议的评估方法,故障案例为演示。

补充官方参考

https://docs.ollama.com/capabilities/embeddings