谷歌推多语言AI新方案:支持300种语言,端侧模型覆盖功能机用户
谷歌不再只靠文本翻译,开始听懂人说话的语气
过去几年,大多数AI翻译工具的做法差不多:先把你说的话转成文字,再把文字翻成另一种语言,最后用合成语音读出来。听起来流程清晰,但问题很明显——你说话时的停顿、重音、情绪,甚至夹杂方言或切换语种的习惯,全被这个“先转文字”的步骤过滤掉了。
谷歌现在想换条路走。他们不再把语音当成文本的中间载体,而是让AI直接理解音频本身。这意味着模型要能分辨出“真的吗?”是惊讶还是讽刺,也要能处理一个人在一句话里混用英语和斯瓦希里语的情况。这种被称为“原生音频智能”的思路,正在成为谷歌多语言AI战略的核心。
目前,Gemini3.5Live Translate已经支持70种语言、2000多个语言对的实时口语翻译。它不只是机械地逐字翻译,还能捕捉说话人的情绪线索和语码转换(code-switching)——比如一个菲律宾用户在说他孩子上学的事时,自然地在塔加洛语和英语之间切换,系统不会卡住或误判。

从300种到1000种:如何让AI学会“没人教过”的语言
全球有7000多种语言,但互联网上的内容高度集中在几十种主流语言上。像卢干达语、奥罗莫语或阿萨姆语这样的语言,网上几乎找不到足够训练AI的数据。如果只靠爬取网页,这些语言永远进不了大模型的视野。
谷歌的解法是放弃“纯线上”策略,转而和本地社区、大学、非营利组织合作,在真实场景中收集语音。比如在非洲,他们联合多个机构推出了WAXAL数据集,覆盖27种撒哈拉以南非洲语言;在印度,通过“瓦尼计划”(Project Vaani),用区域锚定的方式收集了109种语言超过3万小时的语音,其中很多来自农村地区的日常对话。
这些努力背后是一个更大的目标:“1000种语言计划”。谷歌希望最终能让AI支持全球使用最广泛的1000种语言。支撑这一目标的是通用语音模型(USM),它用了1200万小时的音频训练,通过跨语言迁移学习,把英语、中文等高资源语言中学到的声学模式,迁移到数据稀少的语言上。
功能机也能用AI?轻量模型让离线翻译成为可能
全球仍有超过30亿人无法稳定上网,很多人还在用只能打电话发短信的功能机。对他们来说,依赖云端的AI翻译根本用不上。
谷歌为此专门开发了TranslateGemma——一个轻量级开源翻译模型家族。它针对55种语言做了优化,可以在手机端本地运行,不需要联网。哪怕是在信号微弱的偏远地区,用户也能获得高质量的翻译结果。
更进一步,谷歌和Viamo等机构合作,在卢旺达试点推出了“询问Viamo任何事”(AVA)语音助手。这个服务跑在功能机上,用户只需拨打一个免费号码,用本地语言说出问题,背后的Gemini模型就会生成答案并通过语音播报。上线以来,已经回答了超过200万个问题,内容涵盖农业技术、儿童疫苗接种时间、天气预警等实用信息。
手语、地名发音、键盘输入:细节里的语言包容
真正的语言包容不止于“能翻译”,还在于是否尊重表达方式的多样性。传统语音识别系统往往要求用户“说标准一点”,否则就识别失败。谷歌这次选择从头设计无障碍交互。
他们推出了“手语转文本”(SL2T)技术,基于50多种手语的训练数据,能将美式手语实时转为英文文本。这项功能已集成到Gboard键盘和Pixel 11手机的实时转录中,聋人用户打字或通话时不再需要额外中介。
在文化细节上,谷歌也下了功夫。比如在新西兰,他们和毛利语专家合作,重新校准了地图中地名和街道的发音。过去,像“Whanganui”这样的地名常被英语化读错,现在谷歌地图的语音导航会使用地道的毛利发音。这种本地化不是简单替换音标,而是把文化语境内嵌到文本转语音模型里。
数据从哪来?放弃爬网,转向在地合作
谷歌承认,单靠互联网爬虫无法解决语言偏斜问题。于是他们改变了数据采集逻辑:不再假设“网上有的就是重要的”,而是主动走进社区,让本地人成为数据的生产者和审核者。
“放大计划”(Amplify Initiative)就是典型例子。该项目联合全球四大洲1600多名本地专家和20所大学,共同贡献多模态数据点——包括语音、视频、文字,甚至手势。每个数据点都经过文化背景标注,确保AI学到的不只是声音,还有背后的语境。
这种模式也带来了伦理上的调整。谷歌强调,所有合作都遵循“数据主权”原则,即社区保留对其语言数据的控制权。部分数据集以开源形式发布,供学术界和非营利组织使用,但商业用途需另行授权。
技术已嵌入九大平台,但目标不是取代人类表达
经过20年积累,谷歌的语言技术如今深度整合进搜索、安卓、Chrome、YouTube、谷歌Play等九大核心产品。你在YouTube看视频时的自动字幕、在Gboard打字时的语音输入、在地图里听到的导航语音,背后都有这些多语言模型的支持。
但谷歌反复强调,他们的目标不是用AI统一语言,而是拓展表达的边界。技术的意义在于让一个只会说克丘亚语的秘鲁农民能用母语查询作物病害,让一位用旁遮普语讲故事的祖母能把故事完整记录下来,而不是逼他们改用英语或西班牙语。
正如项目负责人所说:“我们不是在建造一座通天塔,而是在修更多通往彼此的小桥。”