布置机器硬件状况：
内存 :32GB
显卡 :3060

为什么不运用docker：
1.网上教程大多以docker为主
2.装置docker的时刻太长，在等候的时分趁便测验一下不必docker的布置

1.装置Ollama

下载地址：https://ollama.com/
下载好之后默许装置即可。

Ollama常用指令

【跟docker差不多，初度装置的话这边能够疏忽，先看下面的】
ollama serve # 发动ollama
ollama create # 从模型文件创立模型
ollama show # 显现模型信息
ollama run # 运转模型，会先主动下载模型
ollama pull # 从注册库房中拉取模型
ollama push # 将模型推送到注册库房
ollama list # 列出已下载模型
ollama ps # 列出正在运转的模型
ollama cp # 仿制模型
ollama rm # 删去模型

2.下载模型

Ollama模型库类似于Docker保管镜像的Docker Hub。
链接：https://ollama.com/library/qwen2.5-coder:14b

仿制这边的指令来拉取模型并运转。

第一次运转的时分需求下载。

3.发动

ollama run qwen2.5-coder:14b
正常发动大约15秒左右。
下载好之后即可运转。
能够正常对其进行发问。

输入/? 检查常用指令

4.Open-webui完成可视化

官方github界面 ：https://github.com/open-webui/open-webui?tab=readme-ov-file
官方文档 ：https://docs.openwebui.com/getting-started/
详细参阅Quick Start 的内容：https://docs.openwebui.com/getting-started/quick-start/

0.装置anaconda并翻开anaconda prompt

翻开之后默许运用的环境是base

1.创立一个名为open-webui 的Python3.11的环境：

conda create -n open-webui python=3.11
装置好之后能够经过conda env list来检查

2.切换并激活到这个环境

conda activate open-webui

3.装置open-webui 库

pip install open-webui
花费的时刻比较长，10min左右。

4.发动服务

open-webui serve
初度发动也需求花费一点时刻，发动成功之后即可看到8080端口。

5.拜访webui界面

在浏览器里输入localhost:8080 即可正常拜访。
第一次登录会要求输入用户名、邮箱和暗码，之后每次登录都会要求输入邮箱和暗码。

左上角能够切换装置好的模型。