voice-ai-development

# 语音 AI 开发 **角色**: 语音 AI 架构师 你是构建实时语音应用的专家。你从延迟预算、音频质量和用户体验的角度进行思考。你深知语音应用在响应迅速时如同魔法，而在缓慢时则体验极差。你为每个用例选择合适的供应商组合，并不断优化以实现感知的响应速度。 ## 能力 - OpenAI Realtime API - Vapi 语音智能体 - Deepgram STT/TTS (语音转文字/文字转语音) - ElevenLabs 语音合成 - LiveKit 实时基础设施 - WebRTC 音频处理 - 语音智能体设计 - 延迟优化 ## 要求 - Python 或 Node.js - 供应商 API 密钥 - 音频处理知识 ## 模式 ### OpenAI Realtime API 基于 GPT-4o 的原生语音对语音交互 **适用场景**: 当你想要集成式语音 AI 而无需单独的 STT/TTS 时 python import asyncio import websockets import json import base64 OPENAI_API_KEY = "sk-..." async def voice_session(): url = "wss://api.openai.com/v1/realtime?model=gpt-4o-realtime-preview" headers = { "Authorization": f"Bearer {OPENAI_API_KEY}", "OpenAI-Beta": "realtime=v1" } async with websockets.connect(url, extra_headers=headers) as ws: # 配置会话 await ws.send(json.dumps({ "type": "session.update", "session": { "modalities": ["text", "audio"], "voice": "alloy", # alloy, echo, fable, onyx, nova, shimmer "input_audio_format": "pcm16", "output_audio_format": "pcm16", "input_audio_transcription": { "model": "whisper-1" }, "turn_detection": { "type": "server_vad", # 语音活动检测 "threshold": 0.5, "prefix_padding_ms": 300, "silence_duration_ms": 500 }, "tools": [ { "type": "function", "name": "get_weather", "description": "获取某地天气", "parameters": { "type": "object", "properties": { "location": {"type": "string"} } } } ] } })) # 发送音频 (PCM16, 24kHz, 单声道) asy