最近,我发现使用 Ollama 运行大模型很慢很慢,后面查询文档得知,Ollama 官方放弃了对 NVIDIA GeForce GTX 1650 显卡的官方支持,我作出了个决定:卸载 Ollama,使用 LM Studio 替代。
换用 LM Studio 后,感觉使用比 Ollama 更加易用,它的 OpenAI 兼容 API 不需要额外操作,服务器设置可以使用图形化配置。
LM Studio 还有个好处,就是兼容大部分电脑的显卡,不同于 Ollama 仅支持 ROCm 和 CUDA。LM Studio 支持 Vulkan,未来的摩尔线程等国产显卡一旦支持 Vulkan,意味着可以在国产显卡使用 LM Studio 软件了。


发表回复
要发表评论,您必须先登录。