语音与音频先试这个
Whisper
openai / whisper
OpenAI 的语音识别模型与推理代码,多语言、带时间戳,安装简单。
- 语言
- Python
- 许可
- MIT
- Stars
- 113.0k
- 最近推送
- 2026-08-31
OSS · Scene 05
语音分识别(ASR)与合成(TTS)两条链。先看语言、实时性、说话人分离和授权,再选模型。
openai / whisper
OpenAI 的语音识别模型与推理代码,多语言、带时间戳,安装简单。
SYSTRAN / faster-whisper
用 CTranslate2 重写 Whisper 推理,速度更快、显存更省。
modelscope / FunASR
阿里达摩院的语音识别工具链,中文 ASR、标点、热词、说话人分离齐全。
FunAudioLLM / CosyVoice
零样本语音合成与音色克隆,支持多语言与情感控制。
2noise / ChatTTS
面向对话场景的 TTS,韵律自然,支持中英文与笑声等副语言。
fishaudio / fish-speech
多语言 TTS 与音色克隆,强调少样本、跨语言与情感表达。
| 字段 | Whisper | faster-whisper | FunASR | CosyVoice | ChatTTS | Fish Speech |
|---|---|---|---|---|---|---|
| 上手层 | 先试这个 | 轻量 | 生产可用 | 特定场景 | 轻量 | 特定场景 |
| 语言 | Python | Python | Python | Python | Python | Python |
| 许可 | MIT | MIT | MIT | Apache-2.0 | AGPL-3.0 | NOASSERTION |
| Stars | 113.0k | 26.9k | 21.1k | 24.4k | 40.0k | 33.8k |
| 最近推送 | 2026-08-31 | 2026-11-12 | 2026-11-18 | 2026-05-25 | 2026-04-10 | 2026-11-14 |
| 适合 | 多语言识别稳,适合做转写基线。 | 比原版 Whisper 快数倍,显存占用低。 | 中文识别与标点恢复成熟。 | 中文 TTS 自然度与音色相似度表现好。 | 对话语气自然,不像传统 TTS 念稿。 | 少样本克隆效果好,支持多语言。 |
| 不适合 | 实时低延迟流式识别要额外工程。 | 需要原版 Whisper 的全部研究接口,直接用原版。 | 非中文场景不一定比 Whisper 好。 | 声音克隆有授权与滥用风险,必须取得同意。 | 音色克隆与细粒度控制有限。 | 克隆他人声音必须得到授权。 |