跳到主要内容

本地模型

Hermes 可以完全在你自己的机器上运行开放模型。它会下载并管理推理引擎（llama.cpp），针对你的硬件为每个模型挑选合适的构建版本，并负责内存管理，让你永远不必配置上下文窗口大小、GPU 层数或量化方式。你只需选好模型；剩下的交给 Hermes。

任何数据都不会离开你的电脑：无需账号、无需 API Key，模型下载完成后也不需要网络访问。

快速开始​

  1. 打开 Settings → Providers → Local Models（或在引导流程中选择 Run models locally）。
  2. 点击 Install runtime。Hermes 会为你的硬件下载官方 llama.cpp 构建（几百 MB），对其进行校验，并保持更新。
  3. 从目录中挑选一个模型并点击 Download。
  4. 点击 Use。新的对话现在就在本地模型上运行。

整个流程就这么多。服务器会随 Hermes 启动和停止，重启应用后依然保持运行，切换回云端服务商只需在模型选择器中点一下。

Hermes 如何决定下载什么​

在你下载任何东西之前，目录中的每个模型都会针对 你的机器 进行评估。每一行都会显示：

  • 内存适配 —— 绿色（适应你的 GPU：完全在 GPU 内存中运行）、琥珀色（使用系统内存：可用，但较慢）或红色（对这台机器来说太大）。
  • 上下文 —— 模型启动时的窗口大小以及可增长到的最大值。
  • 针对你的硬件所选中构建版本的下载体积。

模型会以多个质量等级（量化）发布。Hermes 会选择能在你的 GPU 上完整运行的最高质量构建；内存较小的机器则会获得同一模型的更紧凑构建，且保证是一致的。低于 4 位时质量损失过于严重，因此 Hermes 从不提供比这更小的构建 —— 如果一台机器无法运行 4 位构建、会溢出到系统内存，那它就是无法运行那个模型。

不适配的模型会标明原因并保持可见，这样你始终清楚进行硬件升级能解锁什么。

内存管理的工作方式​

本地模型成败取决于内存放置，因此 Hermes 从端到端地进行管理，不对外暴露任何可调项：

  • 模型启动时使用完全适配你 GPU 的上下文窗口，并在你的对话需要更大空间时向其原生上限增长。在长会话中你可能会在状态信息流中看到 “Context window grown” —— 这表示窗口正在扩展，并非错误。
  • 每个推荐模型都至少获得 64K 上下文窗口。 当模型大于你的 GPU 内存时，Hermes 会有意按影响最小的顺序（先专家权重，绝不涉及注意力缓存）将溢出的部分放入系统内存，以牺牲部分速度为代价来保证上下文。
  • 内存适配计算包含启动配置，而不仅仅是模型文件：上下文状态、运行时缓冲区、视觉投影器以及 MTP 缓冲区也都计入其中。对于多 token 预测（MTP），当更大的批次会在相同上下文窗口下溢出时，Hermes 会使用较小的批次。MTP 保持启用。重启后恢复增长的窗口时也会执行相同的计算。
  • 对话压缩前会先做增长检查。 如果更大的窗口无法适配、生成速度过慢，或者已达到原生上限，Hermes 会选择压缩，而不是声称拥有服务器实际并未获得的窗口。
  • 空闲模型会在 15 分钟后卸载以释放 GPU 内存；下次有消息时会自动重新加载。

状态栏​

右键点击状态栏并启用 System resources，即可在本地模型运行时查看实时的 GPU 利用率、GPU 内存和 RAM。上下文指示器始终反映模型实际使用的窗口。

查找更多模型​

目录只是一个精选的起点，而非边界。同一页面上的 Find more models 区域会搜索整个 Hugging Face：

  • 结果会显示下载次数以及针对你机器大小的逐文件适配检查，让你在下载前就能知道某个构建是否能完全在你的 GPU 上运行。
  • 你下载的任何模型都表现得和目录模型完全一致 —— Hermes 会读取模型文件本身来决定其上下文窗口和内存放置。唯一区别是：社区模型不带有我们的“已验证”测试徽章。
  • 磁盘上已经有 .gguf 文件？Add model file 会将其链接到你的模型库中而不进行复制（原文件留在原处），并且可立即使用。

使用你自己的 llama-server​

如果你的机器上已经有 llama-server 在运行，Hermes 会检测到它并使用它，而不是启动自己的服务器。将自定义端点指向任何 OpenAI 兼容的服务器即可获得完全的手动控制 —— 托管运行时只是默认项，并非强制要求。手动配置（Ollama、MLX、自定义构建、无头 CLI 机器）请参见 使用 Ollama 本地运行 Hermes 和 在 Mac 上运行本地 LLM。

配置​

托管运行时由 config.yaml 中的 local_runtime 部分控制。桌面 UI 会为你写入这些值；以下是供 CLI 和无头使用场景参考的文档：

local_runtime:
  enabled: false     # true = 随 Hermes 启动托管服务器。
                     # 桌面端的 "Use" 按钮会自动设置此项。
  backend: auto      # auto | cuda | metal | vulkan | hip | cpu
  tag: b10362        # 固定的 llama.cpp 版本；每次发布后经重新验证
                     # Hermes 会随之更新

模型和运行时构建存放在 Hermes 主目录下 （models/ 和 runtimes/llamacpp/）。将本地模型选为主模型时会使用标准的 model.provider: llamacpp + model.default 设置 —— 其形式与其他任何服务商都相同。

要求与限制​

  • Windows 和 Linux： NVIDIA GPU（CUDA）或 CPU。macOS： Apple Silicon（Metal）。Vulkan 构建服务于 AMD GPU。
  • 拥有 8 GB+ 内存的 GPU 可轻松运行小型目录模型； 16 GB+ 可高质量运行 27–35B 模型。
  • 模型下载在传输过程中会针对目录进行字节数校验；不完整的下载会被删除并报告，绝不会被半途使用。（只有运行时引擎的 zip 包会进行 SHA-256 校验。）
  • 删除模型会移除它暂存的每一个文件，包括视觉适配器和投机解码配套文件。