Ollama安装Huggingface模型
Ollama目前是一款使用非常广泛的本地大模型部署和运行工具,其网站自带的Models集成了大部分常见的开源大模型,用户可以直接通过ollama run 模型名称
来部署大模型。但是Ollama本身收集的大模型较Huggingface还有较大的差距,因此如何Ollama能够直接运行Huggingface上的大模型将十分有助于我们的工作。
原先Ollama需要复杂的操作才能运行Huggingface上的大模型,现在可以直接一键运行了,具体步骤如下:
(1)升级Ollama到最新的版本
(2)找到自己需要的大模型,记录下大模型的网址,如:https://huggingface.co/NexaAIDev/omnivision-968M
(3)由于国内网络环境的问题,huggingface.co往往无法访问,因此可以将以上网址替换为镜像站网址hf-mirror.com,替换后的网址为:https://hf-mirror.com/NexaAIDev/omnivision-968M
(4)选择需要安装的版本,如下图所示,只选择最后能够区别的字符即可。
(5)运行
ollama run hf-mirror.com/NexaAIDev/omnivision-968M:494M-Q8_0
即可部署Huggingface上的大模型了(注意去掉https://,冒号后面代表具体的版本,不写的话默认为latest,最新发布的版本)。
阅读剩余
版权声明:
作者:姜九二
链接:https://www.jiangjianwu.cn/development/deep-learning/1379/ollama%e5%ae%89%e8%a3%85huggingface%e6%a8%a1%e5%9e%8b.html
文章版权归作者所有,未经允许请勿转载。
THE END