功能域Functional domain

评估与追踪Evaluation & tracing

对智能体输出做自动评分、回归评测，并通过 tracing/telemetry 记录模型调用、工具执行和成本延迟。生产上线前的质量闸门。Automated judging, regression evaluation, tracing and telemetry for model calls, tool execution, cost and latency.

98类型总数types total

17Python

81Java

3学习锚点learning anchors

心智模型Mental model

评估与追踪层为智能体行为提供可观测性和质量度量：trace/span、评测器、打分与回归对比。Evaluation and tracing provide observability and quality metrics: traces, spans, judges, scoring and regression comparison.

先学什么What to learn first

一次请求要有统一 trace id，贯穿模型、工具和子智能体。One request needs a single trace id across models, tools and subagents.
评测集要覆盖正常、边界和对抗输入，并固定版本。Evaluation sets must cover normal, edge and adversarial inputs, versioned.
线上抽样评估比离线一次性评测更能发现漂移。Online sampled evaluation catches drift better than one-off offline runs.

生产常见坑Production pitfalls

只记录最终答案，无法定位是哪一步工具或模型出错。Logging only final answers hides which tool or model step failed.
评测指标与业务目标不一致，例如只看准确率不看成本。Metrics disconnected from business goals, e.g. accuracy without cost.

进入对应闯关单元Practice this domain →

域内图谱Domain map

点击节点打开 API 页面；拖拽平移，滚轮缩放。Click a node to open its API page. Drag to pan, scroll to zoom.

Python API 集Python API set 17

归入本功能域的全部 Python 公开类型，按所属包分组。Every public Python type classified into this domain, grouped by owning package.

agentscope.classifier16

`BinaryAnswer`	class	二元答案，与模型服务通信并返回生成或向量化结果。
`BinaryCriteria`	class	二元标准，与模型服务通信并返回生成或向量化结果。
`BinaryQuestion`	class	二元问题，与模型服务通信并返回生成或向量化结果。
`ChoiceAnswer`	class	选项答案，与模型服务通信并返回生成或向量化结果。
`ChoiceQuestion`	class	选项问题，与模型服务通信并返回生成或向量化结果。
`ClassifierModelBase`	class	分类器模型基类，与模型服务通信并返回生成或向量化结果。
`ClassifierModelBase.Parameters`	class	参数，与模型服务通信并返回生成或向量化结果。
`ClassifierResponse`	class	分类器模型的规范化响应。
`ClassifierUsage`	class	分类器用量，与模型服务通信并返回生成或向量化结果。
`JevClassifierModel`	class	Jev 分类器模型，与模型服务通信并返回生成或向量化结果。
`JevClassifierModel.Parameters`	class	参数，与模型服务通信并返回生成或向量化结果。
`OpenAIClassifierModel`	class	OpenAI 分类器模型，与模型服务通信并返回生成或向量化结果。
`OpenAIClassifierModel.Parameters`	class	参数，与模型服务通信并返回生成或向量化结果。
`RefusalAnswer`	class	拒答答案，与模型服务通信并返回生成或向量化结果。
`ScoreAnswer`	class	分数答案，与模型服务通信并返回生成或向量化结果。
`ScoreQuestion`	class	分数问题，与模型服务通信并返回生成或向量化结果。

agentscope.middleware1

TracingMiddleware class 追踪中间件，在智能体执行流程中提供横切扩展。

Java API 集Java API set 81

归入本功能域的全部 Java 公开类型，按包分组并标注构件。Every public Java type classified into this domain, grouped by package with its artifact.

io.agentscope.extensions.judge.jev17

`Answer`	interface	`agentscope-extensions-jev`	定义答案契约的接口。
`Builder`	class	`agentscope-extensions-jev`	构建器，用于构建并配置目标实例。
`Builder`	class	`agentscope-extensions-jev`	构建器，用于构建并配置目标实例。
`ChoiceAnswer`	record	`agentscope-extensions-jev`	承载选项答案数据的记录类型。
`ChoiceQuestion`	record	`agentscope-extensions-jev`	承载选项问题数据的记录类型。
`JevClient`	class	`agentscope-extensions-jev`	Jev 客户端，封装与远端服务的连接和调用。
`JevException`	class	`agentscope-extensions-jev`	Jev 异常，表示执行过程中的错误。
`JevRetryPolicy`	record	`agentscope-extensions-jev`	承载 Jev 重试策略数据的记录类型。
`NoulAnswer`	record	`agentscope-extensions-jev`	承载 Noul 答案数据的记录类型。
`NoulCriteria`	record	`agentscope-extensions-jev`	承载 Noul 标准数据的记录类型。
`NoulQuestion`	record	`agentscope-extensions-jev`	承载 Noul 问题数据的记录类型。
`Question`	interface	`agentscope-extensions-jev`	定义问题契约的接口。
`ScoreAnswer`	record	`agentscope-extensions-jev`	承载分数答案数据的记录类型。
`ScoreQuestion`	record	`agentscope-extensions-jev`	承载分数问题数据的记录类型。
`SystemOneRequest`	record	`agentscope-extensions-jev`	承载系统 One 请求数据的记录类型。
`SystemOneResult`	record	`agentscope-extensions-jev`	承载系统 One 结果数据的记录类型。
`Usage`	record	`agentscope-extensions-jev`	承载用量数据的记录类型。

io.agentscope.core.studio10

`Builder`	class	`agentscope-extensions-studio`	构建器，用于构建并配置目标实例。
`Builder`	class	`agentscope-extensions-studio`	构建器，用于构建并配置目标实例。
`Builder`	class	`agentscope-extensions-studio`	UserProxyAgent的构建器。
`StudioClient`	class	`agentscope-extensions-studio`	Studio 客户端，封装与远端服务的连接和调用。
`StudioConfig`	class	`agentscope-extensions-studio`	Studio 配置，保存相关配置项。
`StudioManager`	class	`agentscope-extensions-studio`	Studio 管理器，对智能体行为进行评测、追踪与可观测性分析。
`StudioMessageHook`	class	`agentscope-extensions-studio`	Studio 消息钩子，对智能体行为进行评测、追踪与可观测性分析。
`StudioUserAgent`	class	`agentscope-extensions-studio`	Studio 用户智能体，对智能体行为进行评测、追踪与可观测性分析。
`StudioWebSocketClient`	class	`agentscope-extensions-studio`	Studio WebSocket 客户端，封装与远端服务的连接和调用。
`UserInputData`	class	`agentscope-extensions-studio`	用户输入数据，对智能体行为进行评测、追踪与可观测性分析。

io.agentscope.core.training.runner9

`AgentCloner`	class	`agentscope-extensions-training`	智能体 Cloner，对智能体行为进行评测、追踪与可观测性分析。
`Builder`	class	`agentscope-extensions-training`	构建器，用于构建并配置目标实例。
`Builder`	class	`agentscope-extensions-training`	TrainingRunner的构建器。
`RegistryStats`	class	`agentscope-extensions-training`	注册表 Stats，对智能体行为进行评测、追踪与可观测性分析。
`RunExecutionContext`	class	`agentscope-extensions-training`	运行执行上下文，对智能体行为进行评测、追踪与可观测性分析。
`TaskExecutionRegistry`	class	`agentscope-extensions-training`	任务执行注册表，对智能体行为进行评测、追踪与可观测性分析。
`TrainingConfig`	class	`agentscope-extensions-training`	Training 配置，保存相关配置项。
`TrainingRouter`	class	`agentscope-extensions-training`	Training 路由器，对智能体行为进行评测、追踪与可观测性分析。
`TrainingRunner`	class	`agentscope-extensions-training`	Training 运行器，对智能体行为进行评测、追踪与可观测性分析。

io.agentscope.core.studio.pojo8

`Builder`	class	`agentscope-extensions-studio`	构建器，用于构建并配置目标实例。
`Builder`	class	`agentscope-extensions-studio`	构建器，用于构建并配置目标实例。
`Builder`	class	`agentscope-extensions-studio`	构建器，用于构建并配置目标实例。
`Builder`	class	`agentscope-extensions-studio`	构建器，用于构建并配置目标实例。
`PushMessageRequest`	class	`agentscope-extensions-studio`	推送消息请求，对智能体行为进行评测、追踪与可观测性分析。
`RegisterRunRequest`	class	`agentscope-extensions-studio`	注册运行请求，对智能体行为进行评测、追踪与可观测性分析。
`RequestUserInputRequest`	class	`agentscope-extensions-studio`	请求用户输入请求，对智能体行为进行评测、追踪与可观测性分析。
`UserInputMetadata`	class	`agentscope-extensions-studio`	用户输入元数据，对智能体行为进行评测、追踪与可观测性分析。

io.agentscope.extensions.judge.jev.example8

`Builder`	class	`agentscope-extensions-jev`	构建器，用于构建并配置目标实例。
`Builder`	class	`agentscope-extensions-jev`	构建器，用于构建并配置目标实例。
`Builder`	class	`agentscope-extensions-jev`	构建器，用于构建并配置目标实例。
`JevAutoModeMiddleware`	class	`agentscope-extensions-jev`	Jev Auto 模式中间件，在智能体执行流程中提供横切扩展。
`JevModelRouterMiddleware`	class	`agentscope-extensions-jev`	Jev 模型路由器中间件，在智能体执行流程中提供横切扩展。
`JevToolSelectionMiddleware`	class	`agentscope-extensions-jev`	Jev 工具 Selection 中间件，在智能体执行流程中提供横切扩展。
`ModelChoice`	record	`agentscope-extensions-jev`	承载模型选项数据的记录类型。
`RoutingDecision`	record	`agentscope-extensions-jev`	承载路由决策数据的记录类型。

io.agentscope.core.training.strategy7

`Builder`	class	`agentscope-extensions-training`	用于TrainingAnnotation的构建器类。
`ExplicitMarkingStrategy`	class	`agentscope-extensions-training`	Explicit Marking Strategy，对智能体行为进行评测、追踪与可观测性分析。
`SamplingRateStrategy`	class	`agentscope-extensions-training`	Sampling 速率 Strategy，对智能体行为进行评测、追踪与可观测性分析。
`SelectionDecision`	class	`agentscope-extensions-training`	Selection 决策，对智能体行为进行评测、追踪与可观测性分析。
`TrainingAnnotation`	class	`agentscope-extensions-training`	Training 注解，对智能体行为进行评测、追踪与可观测性分析。
`TrainingContext`	class	`agentscope-extensions-training`	Training 上下文，对智能体行为进行评测、追踪与可观测性分析。
`TrainingSelectionStrategy`	interface	`agentscope-extensions-training`	定义 Training Selection Strategy契约的接口。

io.agentscope.core.training.backend.dto5

`Builder`	class	`agentscope-extensions-training`	构建器，用于构建并配置目标实例。
`Builder`	class	`agentscope-extensions-training`	构建器，用于构建并配置目标实例。
`CommitRequest`	class	`agentscope-extensions-training`	提交请求，对智能体行为进行评测、追踪与可观测性分析。
`FeedbackRequest`	class	`agentscope-extensions-training`	Feedback 请求，对智能体行为进行评测、追踪与可观测性分析。
`StatusResponse`	class	`agentscope-extensions-training`	状态响应，对智能体行为进行评测、追踪与可观测性分析。

io.agentscope.core.tracing4

`NoopTracer`	class	`agentscope-core`	Noop 追踪器，对智能体行为进行评测、追踪与可观测性分析。
`OtelTracingMiddleware`	class	`agentscope-core`	Otel 追踪中间件，在智能体执行流程中提供横切扩展。
`Tracer`	interface	`agentscope-core`	定义追踪器契约的接口。
`TracerRegistry`	class	`agentscope-core`	追踪器注册表，对智能体行为进行评测、追踪与可观测性分析。

io.agentscope.core.tracing.telemetry4

`AgentScopeIncubatingAttributes`	class	`agentscope-extensions-studio`	AgentScope Incubating 属性，对智能体行为进行评测、追踪与可观测性分析。
`Builder`	class	`agentscope-extensions-studio`	构建器，用于构建并配置目标实例。
`GenAiIncubatingAttributes`	class	`agentscope-extensions-studio`	Gen Ai Incubating 属性，对智能体行为进行评测、追踪与可观测性分析。
`TelemetryTracer`	class	`agentscope-extensions-studio`	遥测追踪器，对智能体行为进行评测、追踪与可观测性分析。

io.agentscope.core.training.backend4

`Builder`	class	`agentscope-extensions-training`	构建器，用于构建并配置目标实例。
`Builder`	class	`agentscope-extensions-training`	TrinityModelAdapter的构建器。
`TrinityClient`	class	`agentscope-extensions-training`	Trinity 客户端，封装与远端服务的连接和调用。
`TrinityModelAdapter`	class	`agentscope-extensions-training`	Trinity 模型适配器，对智能体行为进行评测、追踪与可观测性分析。

io.agentscope.spring.boot.jev4

`JevAutoConfiguration`	class	`agentscope-jev-spring-boot-starter`	Jev Auto 配置，保存相关配置项。
`JevClientBuilderCustomizer`	interface	`agentscope-jev-spring-boot-starter`	定义 Jev 客户端构建器 Customizer契约的接口。
`JevProperties`	class	`agentscope-jev-spring-boot-starter`	Jev 属性，对智能体行为进行评测、追踪与可观测性分析。
`Retry`	class	`agentscope-jev-spring-boot-starter`	重试，对智能体行为进行评测、追踪与可观测性分析。

io.agentscope.core.training.reward1

RewardCalculator interface agentscope-extensions-training 定义 Reward Calculator契约的接口。

Python ↔ Java 对照Python ↔ Java

Python

TracingMiddlewareClassifierModelBaseOpenAIClassifierModel

Java

StudioClientOtelTracingMiddlewareTracerJevClient

两套实现共享同一概念模型，但在并发（async/await 与 Reactor）、打包（wheel 模块与 Maven 构件）和生命周期 API 上存在差异。需要精确签名时请使用 API 全景。The two implementations follow the same conceptual model but differ in concurrency (async/await vs Reactor), packaging (wheel modules vs Maven artifacts) and lifecycle APIs. Use the full API map to locate exact signatures.

打开 API 全景Open full API map →