整理:TopAIMap 编辑
HeyGen Voice 登顶 Artificial Analysis TTS:场景感知语音克隆,App 免费内置、API 约 30 美元/百万字符
10 月 14 日,HeyGen 发布自研语音模型 HeyGen Voice,并公开研究博客:从约 60 秒录音克隆音色,再按视频画面调整语速、情绪与空间混响。Artificial Analysis 可控语音榜 Elo 1201 位列第一;官方称 App 内视频生成免费含该模型,API 按约 30 美元/百万字符计费。
10 月 14 日,HeyGen 在官网与 X 宣布推出自研语音模型 HeyGen Voice,并发布研究长文《Scene-Aware Voice Cloning for Talking Videos》。核心卖点是把「谁在说」和「在哪说」拆开:用日常录音锁定说话人音色,再用目标画面与场景描述驱动语速、重音与房间声学(混响、麦克距离、环境噪声),避免「棚录音配街头画面」的违和感。模型为多模态自回归 Transformer,配合 flow-matching 与波形解码输出 44.1 kHz 音频;提供 Voice Clone(贴合场景)与 Full Clone(更贴近原录音)两种策略,以及可选的 Expressiveness Boost。
评测方面:Artificial Analysis 可控语音(Controlled Voice)榜 10 月 9 日快照中,HeyGen Voice Elo 1201 排名第一,高于 Qwen-Audio-3.1-TTS-Plus、ElevenLabs v4 等;站内盲测中,用户在与 ElevenLabs v4、Cartesia Sonic 3.6 的三方对比里有约 41.7% 选它作为「自己的声音」(6153 票)。场景贴合盲测中,相对 Cartesia / ElevenLabs / Seedance 2.5 的「声音是否像在画面里录的」偏好分别约 73%/70%/65%。安全上,平台要求本人同意克隆、可申请删除,并使用 AI 音频水印。
谁能用:HeyGen App 端——官方写明 HeyGen Voice 包含在每条视频生成里、不另收费(仍受 App 免费/Creator/Pro 等套餐额度约束)。API 端——REST/流式 TTS(默认模型 heygen-voice-1),公开标价约 30 美元/百万字符,按量付费、无套餐门槛;即时克隆预览期创建免费,专业克隆需购买 voice-clone 槽位。无开源权重,Enterprise 可谈更高速率。
解读:语音赛道正从「像不像真人」卷到「像不像在这个空间里说话」——与 Grok Voice 3.0、Fish Audio Drama 3 同一周密集放量,说明实时对话与视频配音两条线同时加速。HeyGen 把视觉条件塞进 TTS,等于把 Avatar 视频的最后一公里(声画同场)产品化;短板是闭源与 API 单价不低,创作者会在「App 内免费额度」和「ElevenLabs/开源 TTS」之间算账。 讨论:1. 场景感知会不会成为视频 TTS 的标配,还是只在数字人场景才有刚需?2. 闭源 + 按字符计费,能否挡住 Qwen-Audio 等开源/低价选手在 API 侧抢份额?


