Ollama安装Huggingface模型

Ollama目前是一款使用非常广泛的本地大模型部署和运行工具,其网站自带的Models集成了大部分常见的开源大模型,用户可以直接通过ollama run 模型名称 来部署大模型。但是Ollama本身收集的大模型较Huggingface还有较大的差距,因此如何Ollama能够直接运行Huggingface上的大模型将十分有助于我们的工作。

原先Ollama需要复杂的操作才能运行Huggingface上的大模型,现在可以直接一键运行了,具体步骤如下:

(1)升级Ollama到最新的版本

(2)找到自己需要的大模型,记录下大模型的网址,如:https://huggingface.co/NexaAIDev/omnivision-968M

(3)由于国内网络环境的问题,huggingface.co往往无法访问,因此可以将以上网址替换为镜像站网址hf-mirror.com,替换后的网址为:https://hf-mirror.com/NexaAIDev/omnivision-968M

(4)选择需要安装的版本,如下图所示,只选择最后能够区别的字符即可。

(5)运行ollama run hf-mirror.com/NexaAIDev/omnivision-968M:494M-Q8_0  即可部署Huggingface上的大模型了(注意去掉https://,冒号后面代表具体的版本,不写的话默认为latest,最新发布的版本)。

阅读剩余
THE END