跳到主要内容Skip to main content

OSS · Scene 03

本地推理与部署

从单机一条命令,到多卡高吞吐服务,差的是批处理、显存、量化和运维。先按并发与延迟选层,不要一上来就上集群。

6个场景精选
适合想把模型跑在自己机器、内网或自有 GPU 上的人;只用 API 的不需要这一节。适合谁

怎么选

• 第一次本地跑:Ollama。
• Mac / CPU / 边缘:llama.cpp。
• 生产高吞吐:vLLM 或 SGLang;HF 生态:TGI。
不适合:本地跑不等于免费。显存、电费、运维和模型更新都要算。

6 个仓库

按上手顺序,不是按 star
本地推理与部署先试这个

Ollama

ollama / ollama

一条命令拉模型、跑本地推理,自带模型库与 OpenAI 兼容 API。

语言
Go
许可
MIT
Stars
187.6k
最近推送
2026-11-18
看仓库卡 →
本地推理与部署本地优先

llama.cpp

ggml-org / llama.cpp

C/C++ 推理引擎,CPU、Apple Silicon、消费级 GPU 都能跑,量化格式丰富。

语言
C++
许可
MIT
Stars
135.6k
最近推送
2026-11-18
看仓库卡 →
本地推理与部署规模 / 性能

vLLM

vllm-project / vllm

高吞吐推理与服务引擎,PagedAttention、连续批处理、多卡并行。

语言
Python
许可
Apache-2.0
Stars
97.2k
最近推送
2026-11-18
看仓库卡 →
本地推理与部署规模 / 性能

SGLang

sgl-project / sglang

高性能推理运行时,擅长结构化生成、前缀缓存与多卡服务。

语言
Python
许可
Apache-2.0
Stars
39.0k
最近推送
2026-11-19
看仓库卡 →
本地推理与部署本地优先

LocalAI

mudler / LocalAI

本地 OpenAI 兼容 API,支持文本、图像、语音等多模态后端。

语言
Go
许可
MIT
Stars
50.4k
最近推送
2026-11-18
看仓库卡 →
本地推理与部署生产可用

Text Generation Inference

huggingface / text-generation-inference

Hugging Face 的生产级文本生成服务,支持张量并行、量化与流式输出。

语言
Python
许可
Apache-2.0
Stars
10.9k
最近推送
2026-03-21
看仓库卡 →

并排看

许可、语言、活跃度、适合 / 不适合
字段Ollamallama.cppvLLMSGLangLocalAIText Generation Inference
上手层先试这个本地优先规模 / 性能规模 / 性能本地优先生产可用
语言GoC++PythonPythonGoPython
许可MITMITApache-2.0Apache-2.0MITApache-2.0
Stars187.6k135.6k97.2k39.0k50.4k10.9k
最近推送2026-11-182026-11-182026-11-182026-11-192026-11-182026-03-21
适合安装与拉模型极简,适合第一次本地跑。跨平台,Mac 与 CPU 也能跑。吞吐与显存利用行业常用,适合生产 API。结构化输出与约束解码强。一个服务统一接多种模型与后端。和 HF 模型/Tokenizers 生态贴合。
不适合高并发生产推理,vLLM/SGLang 更合适。多卡高吞吐服务,vLLM 更成熟。单机玩玩,Ollama 更简单。只跑单次生成,优势不明显。极致吞吐不如 vLLM/SGLang。只跑本地脚本,Ollama 更轻。