南京公司网站制作教育培训搜索引擎关键词的工具

下载安装

下载

https://ollama.com/download/windows

安装

Windows 安装

• 如果直接双击 OllamaSetup.exe 安装，默认会安装到 C 盘，如果需要指定安装目录，需要通过命令行指定安装地址，如下：

  # 切换到安装目录
  C:\Users\lisiyu>D:
  # 执行安装
  D:\ollama>OllamaSetup.exe  /DIR="d:\ollama\"
  

设置模型存储路径

要更改 Ollama 存储下载模型的位置，而不是使用你的主目录，可以在你的用户账户中设置环境变量 OLLAMA_MODELS。

如下，先在安装 ollama 目录下创建 models 文件夹，然后在 windows 下设置环境变量：

快捷使用

• 查看 ollama 版本

C:\Users\lisiyu>ollama --version
ollama version is 0.5.7

• 查看 ollama 已下载模型列表

C:\Users\lisiyu>ollama list
NAME    ID    SIZE    MODIFIED

• 拉取模型

模型列表：https://ollama.com/search

PS C:\Users\lisiyu\Desktop> ollama pull deepseek-r1:8b
pulling manifest
pulling 6340dc3229b0...  26% ▕█████████████████████████████████████    ▏ 1.3 GB/4.9 GB  3.5 MB/s  17m32s 

• 运行模型（如果模型未拉取，默认会先执行 pull 拉取）

C:\Users\lisiyu>ollama run deepseek-r1:8b
>>> Send a message (/? for help)# 此时进入对话窗口
# 如果要退出，输入 /bye 执行退出
# 退出后，ollama 也会在后台运行

• 更多命令，参考帮助说明：

C:\Users\lisiyu>ollama help
Large language model runnerUsage:ollama [flags]ollama [command]Available Commands:serve       Start ollamacreate      Create a model from a Modelfileshow        Show information for a modelrun         Run a modelstop        Stop a running modelpull        Pull a model from a registrypush        Push a model to a registrylist        List modelsps          List running modelscp          Copy a modelrm          Remove a modelhelp        Help about any commandFlags:-h, --help      help for ollama-v, --version   Show version informationUse "ollama [command] --help" for more information about a command.

Ollama API

• 默认访问地址：https://localhost:11434 或者 https://127.0.0.1:11434

• 允许外网访问：

  由于默认只能在本机访问，所以，要允许外网访问，要监听 0.0.0.0 地址。

  且有些场景需要指定端口。

  此时可以通过设置环境变量 OLLAMA_HOST 来定义，如下：

  
  

• Ollama 支持的 API：

参考官方文档：https://ollama.readthedocs.io/api/

API URL	请求方式	请求参数	响应参数	API 说明	CURL 请求示例
/api/generate	POST	model（模型名称）、prompt（提示文本）、可选参数（如 stream、suffix 等）	response（生成的文本）、tokens（生成的 token 数量）等	生成文本	curl http://localhost:11434/api/generate -d '{"model": "llama2", "prompt": "为什么天空是蓝色的？"}'
/api/chat	POST	model（模型名称）、messages（消息列表，包含角色和内容）	response（回复内容）、tokens（生成的 token 数量）等	聊天对话	curl http://localhost:11434/api/chat -d '{"model": "llama2", "messages": [{"role": "user", "content": "你好！"}]}'
/api/pull	POST	name（模型名称）、可选参数（如 insecure、stream 等）	返回拉取进度或模型信息	拉取模型	curl http://localhost:11434/api/pull -d '{"name": "llama2"}'
/api/delete	DELETE	name（模型名称）	返回状态码（200 OK 或 404 Not Found）	删除模型	curl -X DELETE http://localhost:11434/api/delete -d '{"name": "llama2"}'
/api/tags	GET	无	返回模型列表	获取本地模型列表	curl http://localhost:11434/api/tags
/api/show	POST	name（模型名称）、可选参数 verbose（是否返回详细信息）	返回模型详细信息，包括 modelfile、parameters、template 等	查看模型信息	curl http://localhost:11434/api/show -d '{"name": "llama2"}'
/api/copy	POST	source（源模型名称）、destination（目标模型名称）	返回状态码（200 OK 或 404 Not Found）	复制模型	curl http://localhost:11434/api/copy -d '{"source": "llama2", "destination": "llama2-backup"}'
/api/create	POST	name（新模型名称）、modelfile（模型文件内容）	返回创建状态或错误信息	创建自定义模型	curl http://localhost:11434/api/create -d '{"name": "llama2-custom", "modelfile": "FROM llama2\nSYSTEM You are a helpful assistant."}'

注意

尽管在本地使用 AI 是一个美好的想象，感觉上是免费使用 AI，还不用担心网络卡顿、数据安全。
但实际上，大部分好用的模型，在消费级的机器上，根本跑不了。
能跑的都是很小规模的模型，效果很差。
所以，使用本地化 AI 的前提，一定是要有足够资源的机器。
我的实验机器，是 14 核 32 G，N卡 4080，8G 显存。
目前本地部署的 AI，勉强能用的就是 llama3.2 和 deepseek-r1:8b 感觉还不错。
其他的模型用起来，效果真的不忍直视。
当然，本地这些模型的使用，我没有专门做测评，如果有专门做了测评的朋友，非常欢迎在此分享！