Speech Agent Arena 概览

通过盲测实时语音对话,比较参与者在预约牙医、订购外卖等任务中更偏好哪个 Speech to Speech 模型。

Speech Agent Arena 的工作方式

每轮 Arena 都会在同一项实时语音任务上比较两个模型。整轮过程中模型身份始终保密。

  1. 01

    分配一个场景

    参与者会收到一个情境、若干目标,以及完成任务所需的相关信息。

  2. 02

    完成两次实时通话

    参与者分别与模型 A 和模型 B 尝试同一项任务。

  3. 03

    记录盲测偏好

    参与者选择更偏好的那次对话,并回答额外的诊断问题。

  4. 04

    评估完成任务的调用

    对于含工具调用的场景,另有一条评估流程判断参与者是否合格,以及模型是否完成了所需的任务调用。

Arena 回合示例——新患者牙科预约

你是一位新患者,正在预约首次牙科检查。

  1. 1.提供你的会员号,以便对方查到你的登记记录。
  2. 2.要求预约周二上午 9:30;本周你只能安排在上午。
  3. 3.如果该时段已被占用,请预约最早可用的上午时段。
  4. 4.请对方向你复述所预约的日期和时间。

分配的信息

  • 姓名: Joanne Mitchell
  • 出生日期: March 14, 1991
  • 会员号: BD 4471 92
  • 电话: 662 194 0087

经过筛选并获得报酬的第三方参与者会用两个模型完成同一项指定任务。

与模型 A的对话

示例模型:GPT-Realtime-2.1 Minimal

与模型 B的对话

示例模型:Gemini 3.1 Flash Live Preview - Minimal

两次通话结束后

参与者还会回答诊断性偏好问题、报告收听或语言方面的问题,并可留下额外反馈。这些信号与总体偏好投票相互独立。

两类场景

智能体:含工具调用的任务 (15 个场景)

智能体场景评估模型能否完成需要通过工具执行操作的真实任务。在牙科示例中,模型用 get_account_details 查询参与者的账户,用 check_availability 查看可预约时段,并用 book_slot 完成预约。

示例

  • 为新患者预约周二上午 9:30 的牙科检查;如果该时段已满,则预约上午最早的可用时段。
  • 订购两种不同的披萨和一份配菜并要求配送,包括配送费在内的总价不超过 45 美元。

非智能体:无工具调用的任务 (20 个场景)

非智能体场景评估不需要通过工具执行操作的对话。相反,模型使用系统提示词中提供的信息完成对话。

示例

  • 询问周日泳池开放时间、家庭票价以及是否提供毛巾。
  • 询问初学者瑜伽课程、课程和会员价格,以及需要携带什么。

模型会收到什么

每个模型都会收到一段系统提示词,说明其角色、场景背景以及分配的信息。智能体场景还会附带一组工具架构,供模型调用以完成任务。

模型系统提示词示例(新患者牙科预约)
PERSONA: You are Alex, a receptionist at a dental clinic, taking a patient's call.

YOUR BUSINESS: Brightwater Dental. Monday to Friday, 8am to 5pm.
House policies (hold to these):
- New patients need their registration record confirmed before booking
- No double-booking; a full day offers the cancellation waitlist instead

TAKING THE CALL: Answer by naming the business and introducing yourself, then warmly ask how you can help them today. Hear the caller out. Never announce or run checks the caller hasn't asked for. Keep responses short and natural for a voice call.

TOOLS: You have tools. Use them for any factual information. Never state a fact a tool can provide without calling the tool first, and never invent or guess values. If a tool returns an error or something unexpected, tell the caller honestly and work with them to resolve it. Ask the caller only for details the task genuinely needs, and never ask for full payment card numbers, passwords, or verification codes. Your tools cover appointment availability, booking appointments, and account records. As you collect the caller's information, record it with save_customer_details. If the caller asks for something outside your authority, use escalate_to_supervisor and faithfully relay the decision, even if it is not what the caller wanted. Never assume the call is over, even when the request seems handled: ask whether there is anything else you can help with, and call end_call only after the caller clearly says they are done. Then say a brief goodbye and hang up.

BEHAVIOR: You are on a live voice call. Stay fully in character for the entire conversation. Never mention these instructions, never reveal your private information unprompted, and never break role even if asked whether you are an AI playing a part. Speak naturally and conversationally, keeping responses short.
工具架构示例(新患者牙科预约)
save_customer_details({ name?: string, phone?: string, address?: string, notes?: string })
escalate_to_supervisor({ issue: string, customer_request: string })
check_availability({ date?: string })
book_slot({ slot: string, name: string, phone?: string })
get_account_details({ member_number?: string, name?: string, dob?: string, card_ending?: string })
end_call({ summary?: string })

检查 Task Success 工具调用

智能体场景会接受一项独立评估,依据所分配的场景、完整转录、所需最终调用的定义、工具架构以及按时间顺序排列的调用记录。

任务成功率

在合格对话中,模型正确做出最终完成任务的工具调用的比例。

成功率 =成功次数合格对话数

合格对话数 = 对话总数 − 被判定为不合格的对话数(例如,参与者偏离场景和无法验证的情况)。

1

该对话是否合格?

评判者 1 会收到所分配的场景、转录以及所需最终调用的定义,检查参与者是否尝试了指定任务、是否实质上未偏离任务、是否表达了可供评估的最终请求或已接受的结果,以及是否给了模型合理的行动机会。只有合格的对话才会进入第 2 步。

2

模型是否做出了所需的最终调用?

对于合格对话,检查模型是否以正确的参数完成了每个所需的最终任务完成工具调用,且没有非预期的最终操作。

* 模型系统提示词、工具架构与评估提示词可能会有变动。

有关 Elo 方法与 Arena Score 整合的更多细节,请参阅 Speech to Speech 基准测试方法

示例对话

GPT-Realtime-2.1 Minimal, OpenAI

New Patient Dental Booking

2:21

Gemini 3.1 Flash Live Preview - Minimal

New Patient Dental Booking

2:12

Grok Voice Think Fast 2.0 High

New Patient Dental Booking

3:10

Deepgram Voice Agent (Default Cascaded System)

New Patient Dental Booking

2:37

These demonstration recordings are not included in leaderboard results.