本地推理与部署先试这个
Ollama
ollama / ollama
一条命令拉模型、跑本地推理,自带模型库与 OpenAI 兼容 API。
- 语言
- Go
- 许可
- MIT
- Stars
- 187.6k
- 最近推送
- 2026-11-18
OSS · Scene 03
从单机一条命令,到多卡高吞吐服务,差的是批处理、显存、量化和运维。先按并发与延迟选层,不要一上来就上集群。
ollama / ollama
一条命令拉模型、跑本地推理,自带模型库与 OpenAI 兼容 API。
ggml-org / llama.cpp
C/C++ 推理引擎,CPU、Apple Silicon、消费级 GPU 都能跑,量化格式丰富。
vllm-project / vllm
高吞吐推理与服务引擎,PagedAttention、连续批处理、多卡并行。
sgl-project / sglang
高性能推理运行时,擅长结构化生成、前缀缓存与多卡服务。
mudler / LocalAI
本地 OpenAI 兼容 API,支持文本、图像、语音等多模态后端。
huggingface / text-generation-inference
Hugging Face 的生产级文本生成服务,支持张量并行、量化与流式输出。
| 字段 | Ollama | llama.cpp | vLLM | SGLang | LocalAI | Text Generation Inference |
|---|---|---|---|---|---|---|
| 上手层 | 先试这个 | 本地优先 | 规模 / 性能 | 规模 / 性能 | 本地优先 | 生产可用 |
| 语言 | Go | C++ | Python | Python | Go | Python |
| 许可 | MIT | MIT | Apache-2.0 | Apache-2.0 | MIT | Apache-2.0 |
| Stars | 187.6k | 135.6k | 97.2k | 39.0k | 50.4k | 10.9k |
| 最近推送 | 2026-11-18 | 2026-11-18 | 2026-11-18 | 2026-11-19 | 2026-11-18 | 2026-03-21 |
| 适合 | 安装与拉模型极简,适合第一次本地跑。 | 跨平台,Mac 与 CPU 也能跑。 | 吞吐与显存利用行业常用,适合生产 API。 | 结构化输出与约束解码强。 | 一个服务统一接多种模型与后端。 | 和 HF 模型/Tokenizers 生态贴合。 |
| 不适合 | 高并发生产推理,vLLM/SGLang 更合适。 | 多卡高吞吐服务,vLLM 更成熟。 | 单机玩玩,Ollama 更简单。 | 只跑单次生成,优势不明显。 | 极致吞吐不如 vLLM/SGLang。 | 只跑本地脚本,Ollama 更轻。 |