响应慢可能是因为加载模型、读取提示词或生成回复耗时。换模型之前先分别测量。

对比冷启动和热运行


关闭流式输出,使用同一模型和提示连续发两次请求,期间保持模型驻留。记录最终响应中的 load_duration、prompt_eval_duration、eval_duration 和 eval_count,分别比较这些阶段。

每次只改一个变量


假设首轮主要卡在加载,第二次几乎没有加载时间。内存允许时,保持模型驻留可能改善重复任务。若主要卡在提示词处理,删掉无关内容,用相同问题重测。也要看输出长度,更短的答案本来就可能更早结束。多做几次对照,并核对答案是否仍然解决问题。这是演示测试。

举个例子,一次请求耗时 9 秒,其中加载 6.5 秒、处理提示词 1.4 秒、生成 1.0 秒。第二次加载降到 0.1 秒,其余阶段接近。接下来可延长 keep_alive,再按实际请求间隔等待并复测。如果模型驻留期间其他应用变慢,也应把这部分代价算进去。

如果两次加载都很快,但提示词处理耗时高,同时比较输入 token 数和耗时。相同提示词可能复用缓存,若响应带有 prompt_eval_cached_count,也一并记录。要公平测试长度,应使用包含相同事实、但此前未运行过的相似输入。若生成最慢,用 eval_count 除以换算成秒的 eval_duration 得到生成速度,再对比同样有效的答案。多跑几次,把耗时和正确性并列记录。

https://docs.ollama.com/api/generate