对比冷启动和热运行
关闭流式输出,使用同一模型和提示连续发两次请求,期间保持模型驻留。记录最终响应中的 load_duration、prompt_eval_duration、eval_duration 和 eval_count,分别比较这些阶段。
每次只改一个变量
假设首轮主要卡在加载,第二次几乎没有加载时间。内存允许时,保持模型驻留可能改善重复任务。若主要卡在提示词处理,删掉无关内容,用相同问题重测。也要看输出长度,更短的答案本来就可能更早结束。多做几次对照,并核对答案是否仍然解决问题。这是演示测试。
举个例子,一次请求耗时 9 秒,其中加载 6.5 秒、处理提示词 1.4 秒、生成 1.0 秒。第二次加载降到 0.1 秒,其余阶段接近。接下来可延长 keep_alive,再按实际请求间隔等待并复测。如果模型驻留期间其他应用变慢,也应把这部分代价算进去。
如果两次加载都很快,但提示词处理耗时高,同时比较输入 token 数和耗时。相同提示词可能复用缓存,若响应带有 prompt_eval_cached_count,也一并记录。要公平测试长度,应使用包含相同事实、但此前未运行过的相似输入。若生成最慢,用 eval_count 除以换算成秒的 eval_duration 得到生成速度,再对比同样有效的答案。多跑几次,把耗时和正确性并列记录。