在 Ollama 中运行一个提示词,保持模型加载,再打开终端执行 ollama ps。查看 PROCESSOR 一栏,确认模型是全部由 GPU 承载、全部由 CPU 承载,还是两者分担。如果使用远程 Ollama,应在运行服务的 Mac 上执行检查。

按结果缩小问题范围

100% GPU 表示模型全部加载到了 GPU,不能单凭这个数值判断生成速度。用同一提示词对比一个更小的模型,并检查较小模型的回答是否仍然满足需求。

CPU 和 GPU 混合时,先保留模型不变,缩短上下文或输入,再做一次对照。也可以另做一次测试,只更换更小的模型。如果显示 100% CPU,先确认连接的是预期的 Ollama 实例,再查平台及 GPU 支持说明。

把首次等待和持续变慢分开

用一个结果容易比较的短提示词,例如把同一段文字压缩成三句话。在模型尚未加载时测一次,加载后再测一次。记录模型标签、上下文设置、PROCESSOR 和开始出现文字前的等待时间。首次慢而后续正常时,先检查模型加载;每次都慢时,再对照模型大小和输入长度。

如果只有长日志让速度变慢,打开活动监视器的“内存”页,观察同一次请求期间的内存压力。仅截取有关日志,保持其他设置一致,再跑一遍。比较答案是否仍能解决问题,避免只为了速度牺牲所需信息。

参考资料
https://docs.ollama.com/faq