2000+多种开源大模型随意布置！一键建立本地大模型，不挑环境、不挑装备（ollama 装置布置教程《Windows/Linux，Mac》）

一、Ollama介绍

2.1 根本介绍

Ollama是一个支撑在Windows、Linux和MacOS上本地运转大言语模型的东西。它答运用户十分方便地运转和运用各种大言语模型,比方Qwen模型等。用户只需一行指令就能够发动模型。

主要特点包含:

1. 跨渠道支撑Windows、Linux、MacOS体系。
2. 供给了丰厚的模型库,包含Qwen、Llama等1700+大言语模型,能够在官网model library中直接下载运用。
3. 支撑用户上传自己的模型。用户能够将huggingface等当地的ggml格局模型导入到ollama中运用。也能够将根据pytorch等格局的模型转换为ggml格局后导入。
4. 答运用户经过编写modelfile装备文件来自界说模型的推理参数,如temperature、top_p等,然后调理模型生成作用。
5. 支撑多GPU并行推理加快。在多卡环境下,能够设置环境变量来指定特定GPU。
6. 强壮的技能团队支撑，许多模型开源不到24小时就能取得支撑。

总的来说,Ollama降低了一般开发者运用大言语模型的门槛,使得本地布置体会大模型变得简略易行。关于想要建立自己的AI运用,或许针对特定使命调优模型的开发者来说,是一个十分有用的东西。它的一些特性,如答运用户自界说模型参数,对模型进行个性化适配供给了支撑。

2.2 官网

• Ollama 下载：https://ollama.com/download
• Ollama 官方主页：https://ollama.com
• Ollama 官方 GitHub 源代码库房：https://github.com/ollama/ollama/

二、window 装置

直接从下载页面下载相对应体系的装置程序，Windows装置程序挑选Windows的装置包，点击“Download for Windows(Preview)”

下载好今后一路install 装置即可。

装置完结之后，翻开一个cmd指令窗口，输入“ollama”指令，假如显现ollama相关的信息就证明装置现已成功了！

三、Mac 装置

直接从下载页面下载相对应体系的装置程序，Windows装置程序挑选Windows的装置包，点击“Download for Mac”

下载好后翻开装置指令行

四、 Linux 装置

在Linux体系上,能够经过脚本装置或源码编译的办法来装置Ollama。下面别离介绍这两种装置办法。

4.1 脚本装置

Ollama供给了一键装置脚本,能够快速在Linux体系上装置Ollama。装置过程如下:

1. 翻开终端,履行以下指令下载装置脚本:

   curl -fsSL https://ollama.com/install.sh | sh
   

2. 等候装置完结。装置脚本会主动下载所需的组件,并完结Ollama的装置与装备。

3. 装置完结后,能够经过以下指令发动Ollama:

   ollama serve
   

4.2 二进制装置

1. 将 Ollama 的二进制文件下载到 PATH 中的目录：

   sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
   sudo chmod +x /usr/bin/ollama
   

2. 将 Ollama 增加为自发动服务，首要，为 Ollama 创立用户：

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

1. 然后在该方位：/etc/systemd/system/ollama.service 创立服务文件

   [Unit]
   Description=Ollama Service
   After=network-online.target
   
   [Service]
   ExecStart=/usr/bin/ollama serve
   User=ollama
   Group=ollama
   Restart=always
   RestartSec=3
   
   [Install]
   WantedBy=default.target
   

2. 设置开机自发动

   sudo systemctl daemon-reload
   sudo systemctl enable ollama
   

3. 发动 Ollama，运用以下指令发动 Ollama：systemd

   sudo systemctl start ollama
   

4.3 装置特定版别

设置 OLLAMA_VERSION字段，，能够装置对应的版别

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.3.13 sh

4.4 检查日志

检查作为发动服务运转的 Ollama 的日志：

journalctl -e -u ollama

4.5 更新

经过shell 脚本更新 Ollama：

curl -fsSL https://ollama.com/install.sh | sh

或许下载 Ollama 二进制文件：

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

4.6 卸载

• 删去 Ollama 服务：

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

• 从 bin 目录中删去 Ollama 二进制文件： /usr/local/bin ,/usr/bin ,/bin

sudo rm $(which ollama)

• 删去下载的模型和 Ollama 服务用户和组：

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

三、指令参数

以下是 Ollama 运用常见的指令：

ollama serve         #发动ollama
ollama create        #从模型文件创立模型
ollama show          #显现模型信息
ollama run           #运转模型
ollama pull          #从注册表中拉取模型
ollama push          #将模型推送到注册表
ollama list          #列出模型
ollama cp            #仿制模型
ollama rm            #删去模型
ollama help          #获取有关任何指令的协助信息

四、设置自界说模型下载途径

默许情况下，ollama模型的存储目录如下：

• macOS: ~/.ollama/models
• Linux: /usr/share/ollama/.ollama/models
• Windows: C:\Users\<username>\.ollama\models

4.1 Windows 更改 Ollama 模型寄存方位

在Windows体系中，若要更改Ollama模型的寄存方位，能够依照以下过程操作：

1. 翻开环境变量修改界面。能够经过以下办法：
   • 右键点击“此电脑”或“我的电脑”，挑选“特点”。
   • 在体系窗口中挑选“高档体系设置”。
   • 在体系特点窗口中点击“环境变量”按钮。
2. 在环境变量窗口中，点击“新建”创立一个新的体系变量或用户变量。
   • 变量名：OLLAMA_MODELS
   • 变量值：输入你期望设置的新模型寄存途径，例如：D:\Ollama\Models
3. 点击“承认”保存设置。
4. 重启任何现已翻开的Ollama相关运用程序，以便新的途径收效。

4.2 Linux/Mac 更改 Ollama 模型寄存方位

在Linux或Mac体系中，更改Ollama模型寄存方位的过程如下：

1. 翻开终端。

2. 创立一个新的目录作为模型寄存方位，例如：

   mkdir -p /path/to/your/new/ollama/models
   

3. 设置环境变量。在Linux体系中，能够经过修改~/.bashrc或~/.bash_profile文件（关于bash shell）或~/.zshrc文件（关于zsh shell）。在Mac体系中，能够经过修改~/.bash_profile或~/.zshrc文件。运用以下指令修改文件：

   nano ~/.bashrc  # 或许运用其他的文本修改器，如vim
   

4. 在文件结尾增加以下行来设置OLLAMA_MODELS环境变量：

   export OLLAMA_MODELS="/path/to/your/new/ollama/models"
   

5. 保存并封闭文件。假如你运用的是nano修改器，能够按Ctrl + X，然后按Y承认保存，最后按Enter键。

6. 使环境变量收效。在终端中运转以下指令：

   source ~/.bashrc  # 或许source ~/.bash_profile，取决于你修改的文件
   

7. 重启任何现已翻开的Ollama相关运用程序，以便新的途径收效。

五、导入 huggingface 模型

Ollama 从最新版0.3.13开端支撑从 Huggingface Hub 上直接拉取各种模型，包含社区创立的 GGUF 量化模型。用户能够经过简略的指令行指令快速运转这些模型。

能够运用如下指令：

ollama run hf.co/{username}/{repository}

请注意，您能够运用 hf.co 或 huggingface.co 作为域名。

要挑选不同的量化计划，只需在指令中增加一个标签：

ollama run hf.co/{username}/{repository}:{quantization}

例如：

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

量化称号不区别大小写，因而以下指令相同有用：

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:iq3_m

您还能够直接运用完好的文件名作为标签：

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

参阅链接

• https://techdiylife.github.io/blog/blog.html?category1=c02&blogid=0037#ollama运用全面解析20个问题通晓ollama

• https://techdiylife.github.io/blog/blog.html?category1=c02&blogid=0037#16-linux体系中以服务形式运转ollama怎么检查运转日志

• https://mn.cyou/archives/ollama

• https://datawhalechina.github.io/handy-ollama/#/

• https://github.com/ollama/ollama/blob/main/docs

• https://huggingface.co/docs/hub/en/ollama

本文由博客一文多发渠道 OpenWrite 发布！