功能域Functional domain

实时语音Realtime voice

实时模型、语音识别与合成、轮次聚合和打断处理。适用于语音助手、实时客服和需要边说边想的交互场景。Realtime models, ASR/TTS, turn aggregation and interruption handling for voice assistants and live conversations.

58类型总数types total

55Python

3Java

3学习锚点learning anchors

心智模型Mental model

实时层处理低延迟语音与多模态交互：音频分帧、VAD、ASR/TTS、打断与轮次控制，要求端到端链路可观测。Realtime handles low-latency voice and multimodal interaction: framing, VAD, ASR/TTS, barge-in and turn control with end-to-end observability.

先学什么What to learn first

把延迟拆成采集、网络、模型、播放四段分别度量。Measure latency in capture, network, model and playback segments.
必须支持打断（barge-in）和取消未完成的生成。Support barge-in and cancellation of unfinished generations.
音频资源要显式释放，避免长连接泄漏。Release audio resources explicitly to avoid leaking long-lived connections.

生产常见坑Production pitfalls

VAD 阈值过低导致环境噪声反复触发。A low VAD threshold triggers on background noise.
TTS 阻塞主线程，语音与文本不同步。Blocking TTS desynchronizes audio and text.

进入对应闯关单元Practice this domain →

域内图谱Domain map

点击节点打开 API 页面；拖拽平移，滚轮缩放。Click a node to open its API page. Drag to pan, scroll to zoom.

Python API 集Python API set 55

归入本功能域的全部 Python 公开类型，按所属包分组。Every public Python type classified into this domain, grouped by owning package.

agentscope.realtime34

`AudioDeltaEvent`	class	音频增量事件，描述执行过程中的事件。
`AudioFrame`	class	一种分块的上游用户音频。
`ControlFrame`	class	Control Frame，处理低延迟的实时语音与多模态交互。
`ControlFrameType`	class	Control Frame 类型，处理低延迟的实时语音与多模态交互。
`DashScopeAudioRealtimeModel`	class	DashScope 音频实时模型，处理低延迟的实时语音与多模态交互。
`DashScopeAudioRealtimeModel.Parameters`	class	参数，处理低延迟的实时语音与多模态交互。
`DashScopeRealtimeModel`	class	DashScope 实时模型，处理低延迟的实时语音与多模态交互。
`DashScopeRealtimeModel.Parameters`	class	参数，处理低延迟的实时语音与多模态交互。
`GeminiRealtimeModel`	class	Gemini 实时模型，处理低延迟的实时语音与多模态交互。
`GeminiRealtimeModel.Parameters`	class	参数，处理低延迟的实时语音与多模态交互。
`InputTranscriptionEvent`	class	输入 Transcription 事件，描述执行过程中的事件。
`InputTranscriptionFailedEvent`	class	输入 Transcription 失败事件，描述执行过程中的事件。
`LocalAudioTransport`	class	本地音频传输层，处理低延迟的实时语音与多模态交互。
`ModelDisconnectedError`	class	模型已断开错误，处理低延迟的实时语音与多模态交互。
`ModelErrorEvent`	class	模型错误事件，描述执行过程中的事件。
`ModelEvent`	class	模型事件，描述执行过程中的事件。
`OpenAIRealtimeModel`	class	OpenAI 实时模型，处理低延迟的实时语音与多模态交互。
`OpenAIRealtimeModel.Parameters`	class	参数，处理低延迟的实时语音与多模态交互。
`PlayoutPosition`	class	Playout Position，处理低延迟的实时语音与多模态交互。
`RealtimeModelBase`	class	实时模型基类，处理低延迟的实时语音与多模态交互。
`RealtimeModelBase.Parameters`	class	参数，处理低延迟的实时语音与多模态交互。
`RealtimeModelCard`	class	实时模型卡片，处理低延迟的实时语音与多模态交互。
`ResponseCreatedEvent`	class	响应已创建事件，描述执行过程中的事件。
`ResponseDoneEvent`	class	响应 Done 事件，描述执行过程中的事件。
`SessionEndedEvent`	class	会话 Ended 事件，描述执行过程中的事件。
`SpeechEndedEvent`	class	语音 Ended 事件，描述执行过程中的事件。
`SpeechStartedEvent`	class	语音已启动事件，描述执行过程中的事件。
`SpeechTransition`	class	语音 Transition，处理低延迟的实时语音与多模态交互。
`ToolCallEvent`	class	工具调用事件，描述执行过程中的事件。
`TranscriptDeltaEvent`	class	Transcript 增量事件，描述执行过程中的事件。
`TransportBase`	class	传输层基类，处理低延迟的实时语音与多模态交互。
`VADBase`	class	语音活动检测基类，处理低延迟的实时语音与多模态交互。
`XAIRealtimeModel`	class	xAI 实时模型，处理低延迟的实时语音与多模态交互。
`XAIRealtimeModel.Parameters`	class	参数，处理低延迟的实时语音与多模态交互。

agentscope.tts15

`DashScopeCosyVoiceTTSModel`	class	DashScope Cosy 语音 TTS 模型，处理低延迟的实时语音与多模态交互。
`DashScopeCosyVoiceTTSModel.Parameters`	class	参数，处理低延迟的实时语音与多模态交互。
`DashScopeRealtimeTTSModel`	class	DashScope 实时 TTS 模型，处理低延迟的实时语音与多模态交互。
`DashScopeRealtimeTTSModel.Parameters`	class	参数，处理低延迟的实时语音与多模态交互。
`DashScopeTTSModel`	class	DashScope TTS 模型，处理低延迟的实时语音与多模态交互。
`DashScopeTTSModel.Parameters`	class	参数，处理低延迟的实时语音与多模态交互。
`GeminiTTSModel`	class	Gemini TTS 模型，处理低延迟的实时语音与多模态交互。
`GeminiTTSModel.Parameters`	class	参数，处理低延迟的实时语音与多模态交互。
`OpenAITTSModel`	class	OpenAI TTS 模型，处理低延迟的实时语音与多模态交互。
`OpenAITTSModel.Parameters`	class	参数，处理低延迟的实时语音与多模态交互。
`TTSModelBase`	class	TTS 模型，使用 AgentScope的基类。
`TTSModelBase.Parameters`	class	参数，处理低延迟的实时语音与多模态交互。
`TTSModelCard`	class	模型卡片类用于 TTS 模型。
`TTSResponse`	class	TTS 模型的响应。
`TTSUsage`	class	TTS 用量，处理低延迟的实时语音与多模态交互。

agentscope.asr6

`ASRModelBase`	class	ASR 模型基类，处理低延迟的实时语音与多模态交互。
`ASRModelBase.Parameters`	class	参数，处理低延迟的实时语音与多模态交互。
`ASRModelCard`	class	ASR 模型卡片，处理低延迟的实时语音与多模态交互。
`ASRResponse`	class	ASR 响应，处理低延迟的实时语音与多模态交互。
`OpenAIASRModel`	class	OpenAI ASR 模型，处理低延迟的实时语音与多模态交互。
`OpenAIASRModel.Parameters`	class	参数，处理低延迟的实时语音与多模态交互。

Java API 集Java API set 3

归入本功能域的全部 Java 公开类型，按包分组并标注构件。Every public Java type classified into this domain, grouped by package with its artifact.

io.agentscope.examples.chattts3

`ChatController`	class	`chat-tts`	聊天控制器，处理低延迟的实时语音与多模态交互。
`ChatTTSSpringBootApplication`	class	`chat-tts`	聊天 TTS Spring Boot 应用，处理低延迟的实时语音与多模态交互。
`ReActAgentWithTTSDemo`	class	`chat-tts`	ReAct 智能体使用 TTS Demo，处理低延迟的实时语音与多模态交互。

Python ↔ Java 对照Python ↔ Java

Python

RealtimeAgentOpenAIRealtimeModelDashScopeRealtimeModelRealtimeModelBaseTurnMetrics

Java

RealtimeAgent

两套实现共享同一概念模型，但在并发（async/await 与 Reactor）、打包（wheel 模块与 Maven 构件）和生命周期 API 上存在差异。需要精确签名时请使用 API 全景。The two implementations follow the same conceptual model but differ in concurrency (async/await vs Reactor), packaging (wheel modules vs Maven artifacts) and lifecycle APIs. Use the full API map to locate exact signatures.

打开 API 全景Open full API map →