在本地使用 AI 模型

您可以在本地机器上运行来自 Hub 的 AI 模型。这意味着您可以享受以下优势：

• 隐私：您不会将数据发送到远程服务器。
• 速度：限制因素是您的硬件，而非服务器或连接速度。
• 控制：您可以按自己的喜好配置模型。
• 成本：您可以在本地运行模型，而无需向 API 提供商付费。

如何使用本地应用

本地应用是指可以直接在您的机器上运行 Hugging Face 模型的应用程序。要开始使用：

1. 在您的 本地应用设置 中 启用本地应用。

2. 在 Hub 中搜索并选择一个受支持的模型。您可以在筛选器侧边栏的 Other 部分中，通过 Apps 组按应用进行筛选，例如 与 llama.cpp 兼容的模型：

3. 在模型页面的“使用此模型”下拉菜单中，选择本地应用。

4. 在终端中复制并运行提供的命令。

支持的本地应用

受支持的本地应用列在您的本地应用设置中。

在模型页面上，“使用此模型”下拉菜单仅在模型与某个应用兼容时才会显示该应用（例如，适用于 llama.cpp 或 Ollama 的 GGUF 模型）。

目前 Hub 上可用的应用如下：

应用	网站	兼容的模型
Llama	llama.app	GGUF
llama.cpp	github.com/ggml-org/llama.cpp	GGUF
LM Studio	lmstudio.ai	GGUF、MLX
一月	jan.ai	GGUF
原子聊天	atomic.chat	GGUF、MLX
Unsloth 桌面版	unsloth.ai/docs	GGUF、Unsloth 模型
Ollama	ollama.com	GGUF
vLLM	docs.vllm.ai	Transformers、GGUF、AWQ、GPTQ 文本生成以及图文转文本模型
SGLang	docs.sglang.io	Transformers、AWQ、GPTQ 文本生成以及图文到文本模型
MLX LM	github.com/ml-explore/mlx-lm	MLX 文本生成模型
Docker 模型运行器	docs.docker.com/ai/model-runner	GGUF、兼容 vLLM 的模型
Lemonade	lemonade-server.ai	GGUF，AMD Ryzen AI 模型
Pi	github.com/earendil-works/pi	支持工具调用的 GGUF 和 MLX 聊天模型
Hermes Agent	hermes-agent.nousresearch.com	支持工具调用的 GGUF 和 MLX 聊天模型
OpenClaw	github.com/openclaw/openclaw	支持工具调用的 GGUF 和 MLX 聊天模型
Draw Things	drawthings.ai	Diffusers 文本到图像模型和 LoRA
DiffusionBee	diffusionbee.com	Diffusers 文本到图像模型
JoyFusion	joyfusion.app	标记为 joyfusion 的 Core ML 文本到图像模型

👨‍💻 要使用这些本地应用，请按照上述方法从模型卡中复制代码片段。

👷 如果您正在构建本地应用，可以在本指南中了解如何与 Hub 集成。

Llama

Llama 是一款用于在本地运行 GGUF 模型的 macOS 和 Windows 原生应用程序。

优势：

• 运行在菜单栏或任务栏上的轻量级原生应用
• 从 Hub 一键安装 GGUF 模型
• 使用已安装模型进行本地、私密聊天
• 获取适合您计算机的推荐模型
• 轻松集成 Pi、Hermes、OpenClaw 等智能体

要使用 Llama，请导航至 GGUF 模型的模型卡片，并点击“使用此模型”。Llama 将打开并引导您完成模型的安装。

Llama 目前同时支持 macOS 和 Windows。

Llama.cpp

Llama.cpp 是一个高性能的 C/C++ 库，用于在本地运行 LLM，并针对多种不同硬件（包括 CPU、CUDA 和 Metal）进行了推理优化。

优势：

• 在多种 CPU 架构上为基于 CPU 的模型提供极快的性能
• 低资源占用
• 多种界面选项（CLI、带有 Web UI 的 OpenAI 兼容服务器）
• 针对 CPU 和 GPU 进行硬件优化

要使用 Llama.cpp，请前往模型卡片，点击“使用此模型”并复制命令。该代码片段涵盖了安装 llama.cpp（在 macOS 和 Linux 上使用安装脚本，在 Windows 上使用 WinGet，或从源代码构建）以及运行模型：

# Install llama.cpp (macOS, Linux):
curl -LsSf https://llama.app/install.sh | sh

# Start a local OpenAI-compatible server with a web UI:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Or run inference directly in the terminal:
llama cli -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

阅读我们专门的 llama.cpp + HF 文档页面。

LM Studio

阅读我们专门的 LM Studio 文档页面

LM Studio 是一款桌面应用程序，提供了一种便捷的方式来下载、运行并实验本地 LLM。

优势：

• 直观的图形界面
• 内置模型浏览器
• 开发工具和 API
• 可免费用于个人和商业用途

前往 GGUF 或 MLX 模型的模型卡片，点击“使用此模型”。LM Studio 将会打开，你就可以通过界面开始聊天了。

1月

Jan 是一款开源的 ChatGPT 替代方案，完全离线运行，并拥有用户友好的界面。

优势：

• 用户友好的 GUI
• 与文档和文件进行对话
• OpenAI 兼容的 API 服务器，因此您可以运行模型并从其他应用程序中使用它们

若要使用 Jan，请导航至 GGUF 模型的模型卡片，并点击“使用此模型”。Jan 将会打开，你就可以通过界面开始聊天了。

原子聊天

Atomic Chat 是一款用于运行本地模型的桌面聊天应用。

优势：

• 图形化聊天界面
• 支持 GGUF 和 MLX 模型

要使用 Atomic Chat，请导航至 GGUF 或 MLX 模型的模型卡片，并点击“Use this model”。Atomic Chat 将打开，且模型已准备就绪可供下载。

Unsloth 桌面版

Unsloth Desktop 是 Unsloth 推出的一款用于运行本地模型的桌面应用程序。

优势：

• 图形界面
• 适用于 GGUF 模型以及来自 Unsloth 生态系统的模型

要使用 Unsloth Desktop，请导航至 GGUF 或 Unsloth 模型的模型卡片，并点击“Use this model”。Unsloth Desktop 将打开该模型，如果您从模型文件中选择了 GGUF 文件，则会一并打开该文件。

Ollama

Ollama 是一款应用程序，允许您通过简单的命令行界面在本地计算机上运行大型语言模型。它支持 GGUF 模型。

优势：

• 轻松安装和配置
• 与 Hugging Face Hub 直接集成

要使用 Ollama，请前往模型卡片，点击“Use this model”并复制该命令。

ollama run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M

vLLM

vLLM 是一款面向 LLM 的高吞吐量推理和服务引擎，提供兼容 OpenAI 的 API 服务器。

优势：

• 高吞吐量，针对 GPU 进行了优化
• 支持 Transformers、GGUF 以及量化（AWQ、GPTQ）模型
• OpenAI 兼容 API 服务器

vLLM 支持文本生成以及图文转文本模型。前往模型卡片，点击“使用此模型”，然后复制命令：

# Install vLLM from pip:
pip install vllm

# Start the vLLM server:
vllm serve "openai/gpt-oss-20b"

# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "openai/gpt-oss-20b",
		"messages": [{"role": "user", "content": "What is the capital of France?"}]
	}'

该代码片段还展示了如何使用 Docker Model Runner 运行模型。

SGLang

SGLang 是一个用于大语言模型和视觉语言模型的高速服务框架。

优势：

• 在 GPU 上进行高性能服务
• 支持 Transformers 和量化（AWQ、GPTQ）模型
• OpenAI 兼容 API 服务器

SGLang 支持文本生成以及图文转文本模型。前往模型卡片，点击“使用此模型”，然后复制命令：

# Install SGLang from pip:
pip install sglang

# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "openai/gpt-oss-20b" \
    --host 0.0.0.0 \
    --port 30000

服务器在 30000 端口上暴露了一个兼容 OpenAI 的 API。该代码片段还包含一条使用 lmsysorg/sglang 镜像的 Docker 命令。

MLX LM

MLX LM 使用 Apple 的 MLX 框架在 Apple 芯片上运行 LLM。

优势：

• 针对 Apple 芯片优化
• 通过命令行进行交互式聊天和文本生成
• OpenAI 兼容服务器

MLX LM 适用于 MLX 文本生成模型。前往模型卡片，点击“使用此模型”并复制命令：

# Install MLX LM
uv tool install mlx-lm

# Interactive chat REPL
mlx_lm.chat --model "mlx-community/Qwen3-4B-4bit"

# Or start an OpenAI-compatible server
mlx_lm.server --model "mlx-community/Qwen3-4B-4bit"

Docker 模型运行器

Docker Model Runner 允许您使用 Docker CLI 拉取并运行模型。

优势：

• 使用熟悉的 Docker 工具
• 支持 GGUF 模型以及与 vLLM 兼容的模型

前往模型卡片，点击“使用此模型”并复制命令：

docker model run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M

Lemonade

Lemonade 是一个本地 LLM 服务器，针对 AMD 硬件进行了优化。

优势：

• 支持 GGUF 模型
• 运行专为 AMD Ryzen AI NPU 构建的模型（标记为 ryzenai-npu 或 ryzenai-hybrid 的模型）

在下载 Lemonade后，前往模型卡片，点击“Use this model”并复制命令：

# Pull the model
lemonade pull unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run and chat with the model
lemonade run user.gpt-oss-20b-GGUF-Q4_K_M

# List all available models
lemonade list

Pi

Pi 是一个在终端中运行的编码智能体。

Pi 适用于其聊天模板支持工具调用的 GGUF 和 MLX 聊天模型。该代码片段首先启动一个本地 OpenAI 兼容服务器（GGUF 模型使用 llama serve，MLX 模型使用 mlx_lm.server），然后配置 Pi 以使用该服务器：

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Pi:
npm install -g @earendil-works/pi-coding-agent

# start Pi in your project directory:
pi

# configure Pi to use your llama server:
/login llama.cpp

Hermes Agent

Hermes Agent 是由 Nous Research 开发的一款 AI 智能体，支持使用本地模型运行。

Hermes Agent 适用于其聊天模板支持工具调用的 GGUF 和 MLX 聊天模型。该代码片段首先启动一个本地 OpenAI 兼容服务器（GGUF 模型使用 llama serve，MLX 模型使用 mlx_lm.server），然后配置 Hermes Agent 以使用该服务器：

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup

# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run Hermes
hermes

OpenClaw

OpenClaw 是一个开源的个人 AI 智能体，可以配合本地模型运行。

OpenClaw 适用于其聊天模板支持工具调用的 GGUF 和 MLX 聊天模型。该代码片段首先启动一个本地 OpenAI 兼容服务器（GGUF 模型使用 llama serve，MLX 模型使用 mlx_lm.server），然后配置 OpenClaw 使用该服务器：

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install OpenClaw:
npm install -g openclaw@latest

# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "unsloth/gpt-oss-20b-GGUF:Q4_K_M" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

# Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"

Draw Things

Draw Things 是一款可在 Apple 设备上本地生成图像的应用程序。

优势：

• 完全在设备上运行文本到图像模型
• 可以导入基础模型和 LoRA

要在 Draw Things 中使用模型，请导航至某个 Diffusers 文本生成图像模型或 LoRA 的模型卡片，并点击“Use this model”。Draw Things 将打开并导入该模型。

Draw Things 仅在 macOS 上可用。

DiffusionBee

DiffusionBee 是一款用于在本地使用 Stable Diffusion 模型生成图像的桌面应用。

优势：

• 简单的图形界面
• 无需设置或命令行

要使用 DiffusionBee，请前往某个 Diffusers 文本生成图像模型的模型卡片，并点击“使用此模型”。DiffusionBee 将会打开并导入该模型。

DiffusionBee 仅在 macOS 上可用。

JoyFusion

JoyFusion 是一款在 Apple 设备上使用 Core ML 模型本地生成图像的应用。

要使用 JoyFusion，请导航到标记为 joyfusion 的 Core ML 文本到图像模型的模型卡片，并点击“使用此模型”。JoyFusion 将打开并导入该模型。

JoyFusion 仅在 macOS 上可用。