按结果缩小问题范围
100% GPU 表示模型全部加载到了 GPU,不能单凭这个数值判断生成速度。用同一提示词对比一个更小的模型,并检查较小模型的回答是否仍然满足需求。
CPU 和 GPU 混合时,先保留模型不变,缩短上下文或输入,再做一次对照。也可以另做一次测试,只更换更小的模型。如果显示 100% CPU,先确认连接的是预期的 Ollama 实例,再查平台及 GPU 支持说明。
把首次等待和持续变慢分开
用一个结果容易比较的短提示词,例如把同一段文字压缩成三句话。在模型尚未加载时测一次,加载后再测一次。记录模型标签、上下文设置、PROCESSOR 和开始出现文字前的等待时间。首次慢而后续正常时,先检查模型加载;每次都慢时,再对照模型大小和输入长度。
如果只有长日志让速度变慢,打开活动监视器的“内存”页,观察同一次请求期间的内存压力。仅截取有关日志,保持其他设置一致,再跑一遍。比较答案是否仍能解决问题,避免只为了速度牺牲所需信息。
参考资料
https://docs.ollama.com/faq