真实输入需要更多空间,而且放进去的证据让答案更准确时,才值得提高上下文长度。更长窗口可能增加内存开销和耗时。应选能覆盖常见任务并留出回答空间的最小设置。

设计答案可核对的问题


做一份形态类似于日常资料的测试文档,在开头与结尾各放一个可核对的独特事实,例如虚构的工单号和批准日期。要求模型给出两个准确值及其附近证据。比较时保持模型、工具和问题一致,每次开新会话,以免历史消息影响结果。

先用短文档确认模型理解问题。若连简短明确的示例也答错,应先修正提示或基准模型。再换成长文档,并用几份变体重复,不只看一次答案。

对比两种上下文设置


Ollama 文档说明了桌面端和服务端的上下文设置。API 请求可用 options.num_ctx。选机器负担得起的一小一大两个值,用 ollama ps 核对已加载的运行实例,记录配置来自哪一层。有些前端会自己发送请求选项。

对同一任务计时,记录正确率、得到有效输出的时间和活动监视器里的内存压力。将加载模型的首轮与已加载后的轮次分开比较。如果更长窗口虽然答得更好,但日常应用打开时内存压力明显上升,要判断这项代价是否可以接受。

必要时缩小单次任务


长文档有时只需几个相关段落。可以将它们放入较短的提示,保留段落名称供回答引用。确实需要跨文档综合时,先分段收集带出处的证据,再回到原文核对最终回答。如果只在并发时出现问题,也可以降低同时运行的请求数。

最后用带后续追问的真实会话重测,记录模型、设置、输入版本和是否通过。合适的设置应能从质量、延迟和内存开销三个方面解释。这里给出的是测试方法,并非实测跑分。

官方参考文档