实时语音

Voice Agent 是什么 一句话：能听会说的AI助手。 graph LR A[用户说话] --> B[ASR语音识别] B --> C[LLM理解+生成] C --> D[TTS语音合成] D --> E[播放给用户] 看起来简单，但要做好有三个核心挑战： 延迟 - 用户说完到AI回复，要控制在1-2秒内 打断 - 用户随时可以打断AI说话 自然度 - 不能像机器人一样僵硬 核心架构 方案一：串行流水线 1 用户说话 → [等说完] → ASR → LLM → TTS → 播放 优点：实现简单 缺点：延迟高（3-5秒） 适合：对延迟不敏感的场景（如语音留言） 方案二：流式处理 1 用户说话 → [边说边识别] → [边生成边合成] → [边合成边播放] 优点：延迟低（1-2秒） 缺点：实现复杂，需要处理中间状态 适合：实时对话场景 关键组件 1. ASR（语音识别） 方案 延迟 准确率 成本 Whisper API 1-2s 95%+ 按时长计费 Deepgram 200ms 90%+ 按时长计费 本地Whisper 500ms-2s 95%+ 需要GPU 实时识别关键： ...