DeepSeek08-ollama使用
Ollama 完全指南：本地运行大模型的终极方案
本教程适用于 Windows/macOS/Linux 系统，最后更新于 2025年6月7日
官方文档：https://ollama.com
一、Ollama 简介
Ollama 是一个开源的 本地大模型运行框架，支持：
- ✅ 一键下载运行 1000+ 模型（Llama3、Mistral、DeepSeek 等）
- ✅ 完全离线运行，保护隐私
- ✅ CPU/GPU 自动优化
- ✅ 简单易用的命令行和 API
- 下载地址：
- https://github.com/ollama/ollama/releases
- https://ollama.com/download
- 官网地址：
- https://ollama.com/
- https://github.com/ollama/ollama
- https://ollama.com/search
二、安装 Ollama
Windows 安装
# 1. 下载安装包（右键以管理员身份运行）
https://ollama.com/download/OllamaSetup.exe# 2. 验证安装
ollama --version
# 应显示：ollama version 0.1.36
macOS 安装
# 方法1：Homebrew（推荐）
brew install ollama# 方法2：直接下载
curl -fsSL https://ollama.com/install.sh | sh# 启动服务
brew services start ollama
Linux 安装
# 自动安装脚本（支持 Ubuntu/Debian/CentOS）
curl -fsSL https://ollama.com/install.sh | sh# 手动安装（适用于所有发行版）
sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama
ollama serve
三、基础使用
1. 下载运行模型
# 查看可用模型
ollama list# 下载运行模型（以 Llama3 8B 中文版为例）
ollama run llama3:8b-chinese# 首次运行会自动下载（约 4.8GB）
2. 交互式对话
模型运行后直接输入问题：
>>> 用Python写一个快速排序函数
def quick_sort(arr):if len(arr) <= 1:return arrpivot = arr[len(arr) // 2]left = [x for x in arr if x < pivot]middle = [x for x in arr if x == pivot]right = [x for x in arr if x > pivot]return quick_sort(left) + middle + quick_sort(right)
3. 常用命令
# 查看运行中的模型
ollama list# 停止模型
ollama stop llama3# 删除模型
ollama rm llama3:8b-chinese# 更新所有模型
ollama update
四、高级功能
1. 自定义模型配置
创建 Modelfile:
FROM llama3:8b-chinese
# 高级参数设置
PARAMETER num_ctx 4096
PARAMETER temperature 0.7# 添加系统提示
SYSTEM """
你是一位资深Python工程师，回答需包含可执行代码和详细解释
"""
构建自定义模型：
ollama create my-llama -f ./Modelfile
ollama run my-llama
2. 使用 Python API
##需要 pip install ollama
import ollama# 流式响应
response = ollama.chat(model='llama3.2:3b',messages=[{'role': 'user', 'content': '解释量子纠缠'}],stream=True
)for chunk in response:print(chunk['message']['content'], end='', flush=True)
3. 文件内容问答
from ollama import Clientclient = Client(host='http://localhost:11434')# 上传并分析PDF
response = client.generate(model="llama3.2:3b",prompt="总结这篇论文的核心观点:",files=["/path/to/paper.pdf"]
)print(response['response'])
五、热门模型推荐
| 模型名称 | 大小 | 特点 | 下载命令 |
|---|---|---|---|
| Llama3 8B 中文版 | 4.8GB | 中英文均衡 | ollama run llama3.2:3b |
| DeepSeek-Coder | 6.7GB | 编程专用 | ollama run deepseek-coder |
| Mistral 7B | 4.1GB | 英语最强小模型 | ollama run mistral |
| Qwen:7b-chat | 5.3GB | 阿里通义千问 | ollama run qwen:7b-chat |
| Phi-3-mini | 1.8GB | 微软超轻量模型 | ollama run phi3 |
六、性能优化技巧
GPU 加速配置
# 查看可用GPU
ollama list# 指定GPU运行（NVIDIA）
OLLAMA_GPU_LAYERS=50 ollama run llama3:8b-chinese# AMD显卡用户
OLLAMA_GPU_LAYERS=50 OLLAMA_RUN_PRECISION="q4_0" ollama run mistral
内存优化
# 使用量化版本（4-bit）
ollama run llama3:8b-chinese-q4_0# CPU模式专用参数
OLLAMA_NUM_THREADS=8 ollama run mistral
硬盘优化
OLLAMA_MODELS=/path/to/ollama/models/path ollama serve
七、常见问题解决
1. 下载速度慢
# 使用国内镜像源
export OLLAMA_MODELS_SOURCE="https://ollama.mirrors.ustc.edu.cn/models"
ollama run llama3:8b-chinese
2. 显存不足
# 减小GPU层数
OLLAMA_GPU_LAYERS=20 ollama run deepseek-coder# 使用小量化模型
ollama run phi3:mini-4k
3. 端口冲突
# 修改默认端口
ollama serve --port 8080# 客户端连接
import ollama
client = ollama.Client(host='http://localhost:8080')
八、进阶资源
- 官方模型库
- Python API文档
- 自定义模型指南
- 硬件加速配置
提示：运行 ollama help 获取完整命令列表，使用 Ctrl+D 退出交互模式
# 启动Web UI（社区项目）
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v ollama-webui:/app/backend/data --name ollama-webui ghcr.io/ollama-webui/ollama-webui:main
访问 http://localhost:3000 使用图形界面管理模型
九、本人常用模型
ollama pull sam860/deepseek-r1-0528-qwen3:8b
ollama pull llama3.2:3b
ollama pull llama3.2:1b
ollama pull wangshenzhi/llama3-8b-chinese-chat-ollama-q8
ollama pull bge-m3:567m
ollama pull phi4-mini:3.8b
ollama pull quentinz/bge-large-zh-v1.5
ollama pull bge-large:335m
ollama pull nomic-embed-text
ollama pull qwen3:8b
ollama pull qwen3:4b
ollama pull qwen3:1.7b
ollama pull qwen3:0.6b
ollama pull huihui_ai/qwen3-abliterated:8b
ollama pull huihui_ai/qwen3-abliterated:4b
ollama pull huihui_ai/qwen3-abliterated:1.7b
ollama pull huihui_ai/qwen3-abliterated:0.6b
ollama pull rockn/DeepSeek-R1-0528-Qwen3-8B-IQ4_NL
© 著作权归作者所有