传统语音翻译通常有明显的轮次感:先等对方说完,系统再识别、翻译,最后用另一个声音读出来。内容可能没问题,但对话节奏经常被几秒钟的空白打断。
Google 推出的 Gemini 3.5 Live Translate 改成了持续流式处理。模型一边接收语音,一边判断语言和上下文,并不断输出目标语言音频。它支持 70 多种语言,已经进入 Gemini Live API,也被用于 Google Translate 和 Google Meet 的实时翻译能力。
它和普通 Live Agent 不是一回事
虽然两者都通过 Gemini Live API 使用,但工作方式并不相同。
普通 Live Agent 是一个实时助手。它需要判断用户是否说完、理解意图、调用工具,有时还会处理中断。Live Translate 则更像一条专门的同传管线:输入只能是音频,输出也是音频,不支持工具调用、系统指令或文字输入。
这种限制是有意为之。翻译模型需要持续决定两个问题:现在掌握的上下文够不够,以及是否应该立刻开始输出。多等一会通常能翻得更稳,但延迟也会更高;太早开口则可能因为后文改变句意而出错。
因此,“实时”并不意味着完全零延迟,而是让翻译语音稳定地跟在说话人后面,而不是每句话结束后重新等待一轮。
三个值得关注的能力
自动识别输入语言
调用时只需要指定目标语言,不必提前声明对方说的是中文、日语还是西班牙语。模型会自动识别输入语言,再翻译到配置好的目标语言。
这对于旅行和多语言会议很实用,但也有边界。Google 明确说明,浓重口音、非常相近的语言,以及短时间内快速切换语言,都可能影响语言检测。
尽量保留说话方式
输出不是一段固定音色的文本转语音。模型会尝试保留原说话人的语调、节奏和音高,让译文听起来更接近原始表达。
不过这不是严格意义上的声音克隆。长时间停顿后音色可能变化,多人快速轮流说话时也可能分配错误的声音。把它理解为“保留表达特征”比“复制原声”更准确。
过滤部分背景声音
模型会尽量忽略噪声和音乐,生成更清晰的翻译语音,适合街道、餐厅或交通场站等环境。但官方文档同样提醒,并非所有背景音都能被稳定过滤。
最小 Python 配置
开发者使用的预览模型名称是:
gemini-3.5-live-translate-preview
下面是建立会话所需的核心配置:
from google.genai import types
config = types.LiveConnectConfig(
response_modalities=["AUDIO"],
input_audio_transcription=types.AudioTranscriptionConfig(),
output_audio_transcription=types.AudioTranscriptionConfig(),
translation_config=types.TranslationConfig(
target_language_code="zh-Hans",
echo_target_language=True,
),
)
target_language_code 使用 BCP-47 代码。简体中文是 zh-Hans,繁体中文是 zh-Hant,日语是 ja,英语是 en。
echo_target_language 决定输入本身已经是目标语言时怎么办。设置为 true 会原样回放这段音频;设置为 false 时模型保持静默。默认值是 false。
两项 transcription 配置不是必须的。打开后,服务会同时返回输入语音原文和翻译语音对应的文本,适合生成双语字幕或保存通话记录。
音频格式要求
Live Translate 对输入输出格式有明确要求:
- 输入:16 kHz、单声道、16-bit PCM、小端序;
- 输出:24 kHz、单声道、16-bit PCM、小端序;
- 建议每 100 毫秒发送一个音频块;
- 翻译模式只接受音频输入,不接受文本。
真正接入产品时,模型调用只是其中一部分。开发者还需要处理麦克风采集、重采样、WebSocket 连接、播放缓冲、断线重连和回声消除。Google 已列出 Agora、LiveKit、Pipecat 等实时媒体平台的集成方案,可以减少自行处理底层音频流的工作。
浏览器直连不要暴露 API Key
如果网页或移动客户端直接连接 Live API,不应该把长期 API Key 放进客户端代码。官方提供临时令牌机制:服务端创建短期、有限次数的 token,再交给客户端建立会话。
默认做法是在服务端签发 token 时锁定翻译配置,客户端不能修改目标语言等关键字段。如果产品需要让用户自行选择目标语言,可以在签发时明确开放对应配置。
临时令牌目前使用 v1alpha 接口。即使是预览功能,也应该从一开始就把密钥边界设计清楚,而不是等产品上线后再补安全层。
适合什么场景
实时语音翻译最直接的入口包括:
- 跨语言视频会议和客服通话;
- 旅行中的面对面对话;
- 司机与乘客之间的语音沟通;
- 国际活动的个人同传耳机;
- 同时需要翻译音频和双语字幕的直播应用。
它不适合替代所有翻译流程。法律文件、医疗说明、合同等内容仍然需要完整上下文、术语控制和人工复核。对于多人抢话、重口音或背景音乐复杂的场景,也需要准备降级方案。
从翻译文本到翻译交流过程
Gemini 3.5 Live Translate 的变化不只是支持更多语言。过去的翻译产品主要处理一句已经完成的话;现在模型开始介入说话过程本身,在延迟、上下文和表达方式之间实时做取舍。
对普通用户,它让耳机和手机更接近个人同传设备。对开发者,它提供了一条可以直接嵌入通话、会议和出行产品的语音翻译管线。不过目前模型仍是 Preview,声音一致性、语言检测和复杂背景音都有已知限制,上线前需要用真实场景充分测试。