Docker三分钟搞定LLama3开源大模型本地部署

概述

LLaMA-3（Large Language Model Meta AI 3）是由Meta公司开发的大型开源生成式人工智能模型。它在模型结构上与前一代LLaMA-2相比没有大的变动。

LLaMA-3模型分为不同规模的版本，包括小型、中型和大型，以适应不同的应用需求和计算资源。小型模型参数规模为8B，中型模型参数规模为70B，而大型模型则达到400B，仍在训练中，目标是实现多模态、多语言的功能，预计效果将与GPT 4/GPT 4V相当。

安装 Ollama

Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。Ollama 设计为一个框架，旨在简化在 Docker 容器中部署和管理大型语言模型的过程，使得这一过程变得简单快捷。用户可以通过简单的命令行操作，快速在本地运行如 Llama 3 这样的开源大型语言模型。
官网地址：https://ollama.com/download
https://ollama.com/library

Ollama 支持多种平台，包括 Mac 和 Linux，并提供了 Docker 镜像以简化安装过程。用户可以通过编写 Modelfile 来导入和自定义更多的模型，这类似于 Dockerfile 的作用。Ollama 还具备一个 REST API，用于运行和管理模型，以及一个用于模型交互的命令行工具集。

模型管理

下载模型

ollama pull llama3:8b
export OLLAMA_HOST="0.0.0.0:6006"
export OLLAMA_MODELS=/root/autodl-tmp/models
./ollama serve

默认下载的是llama3:8b。这里冒号前面代表模型名称，冒号后面代表tag，可以从这里查看llama3的所有tag

配置Open-WebUI

在CPU下运行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
docker run -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

GPU模式（需要有NVIDIA显卡支持）

安装英伟达容器工具包（以Ubuntu22.04为例）

# 1.配置apt源
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
# 2.更新源
sudo apt-get update
# 3.安装工具包
sudo apt-get install -y nvidia-container-toolkit

docker使用GPU运行ollama

docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main
#使用docker中的ollama下载并运行AI模型（示例为阿里通义千问4b-chat）
docker exec -it ollama ollama run qwen:4b-chat