本文由 简悦 SimpRead 转码, 原文地址 blog.csdn.net
导出某个模型
这里以 qwen:7b 为例,先查看模型信息,
ollama show –modelfile qwen:7b
返回
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this one, replace the FROM line with:
# FROM qwen:7b
FROM /Users/m2max/.ollama/models/blobs/sha256-87f26aae09c7f052de93ff98a2282f05822cc6de4af1a2a159c5bd1acbd10ec4
TEMPLATE """{{if .System}}<|im_start|>system
{{.System}}<|im_end|>{{ end }}<|im_start|>user
{{.Prompt}}<|im_end|>
<|im_start|>assistant
"""
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"
从模型文件信息里得知 /Users/m2max/.ollama/models/blobs/sha256-46bb65206e0e2b00424f33985a5281bd21070617ebcfda9be86eb17e6e00f793 即为我们想要的
qwen:7b (格式为 gguf),导出代码为
cp /Users/m2max/.ollama/models/blobs/sha256-46bb65206e0e2b00424f33985a5281bd21070617ebcfda9be86eb17e6e00f793 qwen_7b.gguf
如何导入模型
如何下载网上的某个模型
可以从 hugggingface.co 或者镜像网站 hf-mirror.com 下载所需 gguf 格式的大模型(不然得自己转) 假设我们要下载的是这两天大火的斯坦福的模型 Octopus-v2, 搜 Octopus-v2,找有 GGUF 标识的,
手动下载模型
比如我们选择个链接 https://hf-mirror.com/brittlewis12/Octopus-v2-GGUF/tree/main 下载 octopus-v2.Q8_0.gguf
如何导入模型
需要准备 Modelfile 文件
From /path/to/qwen_7b.gguf
上面是最简单的办法 当然可以从上面模型信息生成完成版本的 Modelfile
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this one, replace the FROM line with:
# FROM qwen:7b
FROM /path/to/qwen_7b.gguf
TEMPLATE """{{if .System}}<|im_start|>system
{{.System}}<|im_end|>{{ end }}<|im_start|>user
{{.Prompt}}<|im_end|>
<|im_start|>assistant
"""
PARAMETER stop "<|im_start|>"
PARAMETER stop "\"<|im_end|>\""
记得替换你的模型的完整路径 另外不同模型的 template 和 stop parameter 不同,这个不知道就不写,或者网上搜索 然后执行
ollama create qwen:7b -f Modelfile
导入自己下载的模型
导入模型的时候,确保硬盘可用空间在模型大小的 2 倍以上,
transferring model data 复制一个完整的模型
creating model layer 生成一个新的模型文件,和原来模型大小一样, 结束后会删除掉?生成一个很小的 layer 文件
第三方应用如何访问 ollama
ollama 提供了 OpenAI 的兼容 API 这里以沉浸式翻译为例 需要设置环境变量 OLLAMA_ORIGINS 接受的设置为
‘*’ 或者包括 http://,https://,chrome-extension://,safari-extension://,moz-extension://,ms-browser-extension://
使用 *, 意味着任何应用都可以访问 ollama,如果你没有特别的要求,可以考虑用它。
OLLAMA_ORIGINS=*
沉浸式翻译配置 ollama API
试试,我用的 qwen:14b,效果还可以吧?