本地推理与部署本地优先
llama.cpp
ggml-org / llama.cpp
C/C++ 推理引擎,CPU、Apple Silicon、消费级 GPU 都能跑,量化格式丰富。
为什么选
- 跨平台,Mac 与 CPU 也能跑。
- GGUF 量化生态的核心,模型选择多。
- 依赖少,适合嵌入桌面/边缘应用。
不适合
多卡高吞吐服务,vLLM 更成熟。
不想编译或调参数,Ollama 更省事。
许可与使用边界
GitHub 快照显示许可为 MIT。开源不等于可商用:GPL / AGPL 有传染性;代码许可、模型许可、生成内容许可要分开看。上线前读仓库 LICENSE 与模型卡,必要时让法务确认。
替代与相邻
- Ollama — 先试这个,一条命令拉模型、跑本地推理,自带模型库与 OpenAI 兼容 API。
- LocalAI — 本地优先,本地 OpenAI 兼容 API,支持文本、图像、语音等多模态后端。
- Text Generation WebUI — 本地优先,本地 LLM 的 Web 界面,支持多种后端、模型加载与扩展。
下一步
- 打开 GitHub,先读 README、LICENSE、最近 release 与 issue。
- 按“部署依赖 / 显存 / 数据 / 网络 / 权限”列一张上手清单。
- 用一个小样本跑通,再决定是否进生产;不要直接上生产数据。
快照口径:stars / forks / language / license / pushed_at 来自 GitHub API 2026-11-19 快照;之后的变化没有回写。标签与“适合 / 不适合”是编辑判断,不是 GitHub 元数据。
不背书:本站只做索引与风险提示,不审计代码、不保证安全、不替你做许可判断。仓库脚本与模型权重请自行审查。