Hugging Face Inference

Hugging Face 是全球最大的 AI 模型社区，其 Inference API 提供对海量开源模型的统一访问接口。

获取 API Token

1. 前往 Hugging Face 注册账号
2. 在 Settings > Access Tokens 创建 Token
3. 选择 Read 权限即可
4. 复制 Token

配置 OpenClaw

openclaw models auth login --provider huggingface
# 按提示输入 API Token

或手动编辑配置文件：

// ~/.openclaw/config.json
{
  "models": {
    "providers": {
      "huggingface": {
        "apiKey": "hf_xxxxxxxxxxxxxxxxxxxxxxxx",
        "baseUrl": "https://api-inference.huggingface.co/models"
      }
    }
  }
}

支持的模型

Hugging Face 上托管了数十万个模型，以下是推荐的文本生成模型：

模型 ID	说明
meta-llama/Llama-3.1-70B-Instruct	Llama 3.1 70B
mistralai/Mistral-7B-Instruct-v0.3	Mistral 7B
Qwen/Qwen2.5-72B-Instruct	通义千问 2.5 72B
google/gemma-2-27b-it	Gemma 2 27B

使用示例：

openclaw models default set huggingface/meta-llama/Llama-3.1-70B-Instruct

Serverless vs Dedicated

类型	说明	适用场景
Serverless Inference	免费/按需付费，共享资源	开发测试
Inference Endpoints	专用实例，独享资源	生产环境

环境变量

export HUGGINGFACE_API_KEY="hf_xxxxxxxxxxxxxxxxxxxxxxxx"

故障排查

模型加载慢

• Serverless Inference 的模型可能需要冷启动，首次请求较慢
• 热门模型通常已预加载

速率限制

• 免费用户有速率限制
• 升级 Pro 账户可获得更高配额

模型不支持

• 并非所有模型都支持 Inference API
• 确认模型页面上有「Inference API」标签

🇨🇳 中国用户须知

• 网络代理：Hugging Face 在中国大陆需要配置代理访问

  export HTTPS_PROXY="http://127.0.0.1:7890"

• 镜像站：可使用 Hugging Face 镜像站（如 hf-mirror.com）加速模型下载
• 替代方案：推荐通过 Ollama 在本地运行 Hugging Face 上的开源模型