跳到正文
模型
模型 HeyGen 官方研究博客 / 产品页 / X @HeyGen / Artificial Analysis QwenGrok

整理:TopAIMap 编辑

HeyGen Voice 登顶 Artificial Analysis TTS:场景感知语音克隆,App 免费内置、API 约 30 美元/百万字符

10 月 14 日,HeyGen 发布自研语音模型 HeyGen Voice,并公开研究博客:从约 60 秒录音克隆音色,再按视频画面调整语速、情绪与空间混响。Artificial Analysis 可控语音榜 Elo 1201 位列第一;官方称 App 内视频生成免费含该模型,API 按约 30 美元/百万字符计费。

HeyGen Voice scene-aware TTS product card

10 月 14 日,HeyGen 在官网与 X 宣布推出自研语音模型 HeyGen Voice,并发布研究长文《Scene-Aware Voice Cloning for Talking Videos》。核心卖点是把「谁在说」和「在哪说」拆开:用日常录音锁定说话人音色,再用目标画面与场景描述驱动语速、重音与房间声学(混响、麦克距离、环境噪声),避免「棚录音配街头画面」的违和感。模型为多模态自回归 Transformer,配合 flow-matching 与波形解码输出 44.1 kHz 音频;提供 Voice Clone(贴合场景)与 Full Clone(更贴近原录音)两种策略,以及可选的 Expressiveness Boost。

评测方面:Artificial Analysis 可控语音(Controlled Voice)榜 10 月 9 日快照中,HeyGen Voice Elo 1201 排名第一,高于 Qwen-Audio-3.1-TTS-Plus、ElevenLabs v4 等;站内盲测中,用户在与 ElevenLabs v4、Cartesia Sonic 3.6 的三方对比里有约 41.7% 选它作为「自己的声音」(6153 票)。场景贴合盲测中,相对 Cartesia / ElevenLabs / Seedance 2.5 的「声音是否像在画面里录的」偏好分别约 73%/70%/65%。安全上,平台要求本人同意克隆、可申请删除,并使用 AI 音频水印。

谁能用:HeyGen App 端——官方写明 HeyGen Voice 包含在每条视频生成里、不另收费(仍受 App 免费/Creator/Pro 等套餐额度约束)。API 端——REST/流式 TTS(默认模型 heygen-voice-1),公开标价约 30 美元/百万字符,按量付费、无套餐门槛;即时克隆预览期创建免费,专业克隆需购买 voice-clone 槽位。无开源权重,Enterprise 可谈更高速率。

解读:语音赛道正从「像不像真人」卷到「像不像在这个空间里说话」——与 Grok Voice 3.0、Fish Audio Drama 3 同一周密集放量,说明实时对话与视频配音两条线同时加速。HeyGen 把视觉条件塞进 TTS,等于把 Avatar 视频的最后一公里(声画同场)产品化;短板是闭源与 API 单价不低,创作者会在「App 内免费额度」和「ElevenLabs/开源 TTS」之间算账。 讨论:1. 场景感知会不会成为视频 TTS 的标配,还是只在数字人场景才有刚需?2. 闭源 + 按字符计费,能否挡住 Qwen-Audio 等开源/低价选手在 API 侧抢份额?

同栏目 · 模型

OpenCode / X @opencode

OpenCode 限时免费开放 DeepSeek V4.1 Flash:模型 id 为 deepseek-v4.1-flash-free,官宣帖一小时内约 15 万浏览

OpenCode 于 10 月 15 日凌晨宣布 DeepSeek V4.1 Flash 在产品内限时免费;需选用 deepseek-v4.1-flash-free,付费版 deepseek-v4.1-flash 仍按原价计费。供应方称零留存、不用于训练。

OpenCode social share graphic used as cover for DeepSeek V4.1 Flash free announcement
OpenBMB / X @OpenBMB

OpenBMB 开源 MiniCPM-V 4.7:35B-A3B 端侧 MoE 多模态,iPhone 17 Pro Max 约 13+ token/s、仅占约 3GB 内存

面壁智能 / OpenBMB 发布 MiniCPM-V 4.7 系列:35B-A3B(首个系列内 MoE)与 1B 轻量版;引入 LES 专家预取,宣称端侧无损流畅推理,权重 Apache-2.0。

OpenBMB MiniCPM-V 4.7 announcement graphic showing on-device multimodal MoE
TypeSafe AI Blog / X @typesafeai

TypeSafe 发布 Jev 1.14:决策模型首开图像输入与 box 定位,价格维持每百万输入 token 0.042 美元

Jev 1.14 以 jev-preview 上线,多语言提升最大;图像输入、box 边界框题型和 262k 长上下文以「danger zone」请求头实验性开放,官方明言暂不建议用于生产;jev-latest 约 10 月 21 日切到 1.14。

TypeSafe Jev 1.14 announcement image: eye icon inside a bounding-box frame