使用ollama导出模型&导入模型&配置翻译服务插件

本文由 简悦 SimpRead 转码, 原文地址 blog.csdn.net

导出某个模型

这里以 qwen:7b 为例,先查看模型信息,

ollama show –modelfile qwen:7b

返回

# Modelfile generated by "ollama show"
# To build a new Modelfile based on this one, replace the FROM line with:
# FROM qwen:7b
FROM /Users/m2max/.ollama/models/blobs/sha256-87f26aae09c7f052de93ff98a2282f05822cc6de4af1a2a159c5bd1acbd10ec4
TEMPLATE """{{if .System}}<|im_start|>system
{{.System}}<|im_end|>{{ end }}<|im_start|>user
{{.Prompt}}<|im_end|>
<|im_start|>assistant
"""
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"

从模型文件信息里得知 /Users/m2max/.ollama/models/blobs/sha256-46bb65206e0e2b00424f33985a5281bd21070617ebcfda9be86eb17e6e00f793 即为我们想要的

qwen:7b (格式为 gguf),导出代码为

cp /Users/m2max/.ollama/models/blobs/sha256-46bb65206e0e2b00424f33985a5281bd21070617ebcfda9be86eb17e6e00f793 qwen_7b.gguf

如何导入模型

如何下载网上的某个模型

可以从 hugggingface.co 或者镜像网站 hf-mirror.com 下载所需 gguf 格式的大模型(不然得自己转) 假设我们要下载的是这两天大火的斯坦福的模型 Octopus-v2, 搜 Octopus-v2,找有 GGUF 标识的,

手动下载模型

比如我们选择个链接 https://hf-mirror.com/brittlewis12/Octopus-v2-GGUF/tree/main 下载 octopus-v2.Q8_0.gguf

如何导入模型

需要准备 Modelfile 文件

From /path/to/qwen_7b.gguf

上面是最简单的办法 当然可以从上面模型信息生成完成版本的 Modelfile

# Modelfile generated by "ollama show"
# To build a new Modelfile based on this one, replace the FROM line with:
# FROM qwen:7b
FROM /path/to/qwen_7b.gguf

TEMPLATE """{{if .System}}<|im_start|>system
{{.System}}<|im_end|>{{ end }}<|im_start|>user
{{.Prompt}}<|im_end|>
<|im_start|>assistant

"""
PARAMETER stop "<|im_start|>"
PARAMETER stop "\"<|im_end|>\""

记得替换你的模型的完整路径 另外不同模型的 template 和 stop parameter 不同,这个不知道就不写,或者网上搜索 然后执行

ollama create qwen:7b -f Modelfile

导入自己下载的模型

导入模型的时候,确保硬盘可用空间在模型大小的 2 倍以上,

transferring model data 复制一个完整的模型

creating model layer  生成一个新的模型文件,和原来模型大小一样, 结束后会删除掉?生成一个很小的 layer 文件

第三方应用如何访问 ollama

ollama 提供了 OpenAI 的兼容 API 这里以沉浸式翻译为例 需要设置环境变量 OLLAMA_ORIGINS 接受的设置为

‘*’ 或者包括 http://,https://,chrome-extension://,safari-extension://,moz-extension://,ms-browser-extension://

使用 *, 意味着任何应用都可以访问 ollama,如果你没有特别的要求,可以考虑用它。

OLLAMA_ORIGINS=*

沉浸式翻译配置 ollama API 

试试,我用的 qwen:14b,效果还可以吧?

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇