TIME WAIT.
#AI Tools 2026年7月12日 9 MIN READ

Gemini 3.5 Live Translate:70 多种语言边听边译,开发者如何接入

Google 的实时语音翻译模型不再等待整句话结束,而是持续接收音频并输出翻译语音,同时尽量保留说话人的语调、节奏和音高。

Gemini 3.5 Live Translate:70 多种语言边听边译,开发者如何接入

传统语音翻译通常有明显的轮次感:先等对方说完,系统再识别、翻译,最后用另一个声音读出来。内容可能没问题,但对话节奏经常被几秒钟的空白打断。

Google 推出的 Gemini 3.5 Live Translate 改成了持续流式处理。模型一边接收语音,一边判断语言和上下文,并不断输出目标语言音频。它支持 70 多种语言,已经进入 Gemini Live API,也被用于 Google Translate 和 Google Meet 的实时翻译能力。

它和普通 Live Agent 不是一回事

虽然两者都通过 Gemini Live API 使用,但工作方式并不相同。

普通 Live Agent 是一个实时助手。它需要判断用户是否说完、理解意图、调用工具,有时还会处理中断。Live Translate 则更像一条专门的同传管线:输入只能是音频,输出也是音频,不支持工具调用、系统指令或文字输入。

这种限制是有意为之。翻译模型需要持续决定两个问题:现在掌握的上下文够不够,以及是否应该立刻开始输出。多等一会通常能翻得更稳,但延迟也会更高;太早开口则可能因为后文改变句意而出错。

因此,“实时”并不意味着完全零延迟,而是让翻译语音稳定地跟在说话人后面,而不是每句话结束后重新等待一轮。

三个值得关注的能力

自动识别输入语言

调用时只需要指定目标语言,不必提前声明对方说的是中文、日语还是西班牙语。模型会自动识别输入语言,再翻译到配置好的目标语言。

这对于旅行和多语言会议很实用,但也有边界。Google 明确说明,浓重口音、非常相近的语言,以及短时间内快速切换语言,都可能影响语言检测。

尽量保留说话方式

输出不是一段固定音色的文本转语音。模型会尝试保留原说话人的语调、节奏和音高,让译文听起来更接近原始表达。

不过这不是严格意义上的声音克隆。长时间停顿后音色可能变化,多人快速轮流说话时也可能分配错误的声音。把它理解为“保留表达特征”比“复制原声”更准确。

过滤部分背景声音

模型会尽量忽略噪声和音乐,生成更清晰的翻译语音,适合街道、餐厅或交通场站等环境。但官方文档同样提醒,并非所有背景音都能被稳定过滤。

最小 Python 配置

开发者使用的预览模型名称是:

gemini-3.5-live-translate-preview

下面是建立会话所需的核心配置:

from google.genai import types

config = types.LiveConnectConfig(
    response_modalities=["AUDIO"],
    input_audio_transcription=types.AudioTranscriptionConfig(),
    output_audio_transcription=types.AudioTranscriptionConfig(),
    translation_config=types.TranslationConfig(
        target_language_code="zh-Hans",
        echo_target_language=True,
    ),
)

target_language_code 使用 BCP-47 代码。简体中文是 zh-Hans,繁体中文是 zh-Hant,日语是 ja,英语是 en

echo_target_language 决定输入本身已经是目标语言时怎么办。设置为 true 会原样回放这段音频;设置为 false 时模型保持静默。默认值是 false

两项 transcription 配置不是必须的。打开后,服务会同时返回输入语音原文和翻译语音对应的文本,适合生成双语字幕或保存通话记录。

音频格式要求

Live Translate 对输入输出格式有明确要求:

真正接入产品时,模型调用只是其中一部分。开发者还需要处理麦克风采集、重采样、WebSocket 连接、播放缓冲、断线重连和回声消除。Google 已列出 Agora、LiveKit、Pipecat 等实时媒体平台的集成方案,可以减少自行处理底层音频流的工作。

浏览器直连不要暴露 API Key

如果网页或移动客户端直接连接 Live API,不应该把长期 API Key 放进客户端代码。官方提供临时令牌机制:服务端创建短期、有限次数的 token,再交给客户端建立会话。

默认做法是在服务端签发 token 时锁定翻译配置,客户端不能修改目标语言等关键字段。如果产品需要让用户自行选择目标语言,可以在签发时明确开放对应配置。

临时令牌目前使用 v1alpha 接口。即使是预览功能,也应该从一开始就把密钥边界设计清楚,而不是等产品上线后再补安全层。

适合什么场景

实时语音翻译最直接的入口包括:

它不适合替代所有翻译流程。法律文件、医疗说明、合同等内容仍然需要完整上下文、术语控制和人工复核。对于多人抢话、重口音或背景音乐复杂的场景,也需要准备降级方案。

从翻译文本到翻译交流过程

Gemini 3.5 Live Translate 的变化不只是支持更多语言。过去的翻译产品主要处理一句已经完成的话;现在模型开始介入说话过程本身,在延迟、上下文和表达方式之间实时做取舍。

对普通用户,它让耳机和手机更接近个人同传设备。对开发者,它提供了一条可以直接嵌入通话、会议和出行产品的语音翻译管线。不过目前模型仍是 Preview,声音一致性、语言检测和复杂背景音都有已知限制,上线前需要用真实场景充分测试。

延伸阅读

/related_artifacts

Gemini Omni Flash:Google 的对话式视频生成与编辑模型怎么用
#AI Tutorials 2026年7月01日

Gemini Omni Flash:Google 的对话式视频生成与编辑模型怎么用

Google 多模态预览模型:文生视频、图生视频与有状态编辑,统一接入 Interactions API。

阅读全文 arrow_right_alt
NotebookLM 大升级:每个笔记本都有一台能运行代码的云端电脑
#AI Tools 2026年7月11日

NotebookLM 大升级:每个笔记本都有一台能运行代码的云端电脑

NotebookLM 从资料问答助手升级为研究 Agent:它能搜索和组织来源、运行代码分析数据,并直接交付 PDF、Excel、PPT 与图表。

阅读全文 arrow_right_alt