跳到正文
模型
模型 Google DeepMind / Google Blog Gemini

DeepMind 发布 Genie 4:实时交互世界模型,原生音频 + Gemini 协同

Google DeepMind 10 月 27 日宣布 Genie 4:新一代实时交互世界模型,结合 Gemini 家族(Gemini Omni 锚定外观与行为,其他 Gemini 负责连贯推理)。可用自然语言改天气、运镜、加人;同步生成环境音、音乐与可互动对白。已向受信测试者开预览,随后将进 Google AI Ultra 的 Project Genie 与 Gemini API/AI Studio 早鸟。

DeepMind 博客(Raia Hadsell / Diego Rivas / Hang Qi,2026-10-27)写明:Genie 4 面向实时交互仿真,强调更高写实度与原生多模态音频——环境声、音乐与角色对白可与画面同帧生成。模型承接 Gemini 能力:Gemini Omni 锚定真实世界外观与行为,其他 Gemini 则维护场景连贯与因果;用户可用自然语言改天气、移动相机或引入新角色,仿真在输入之间仍由 Gemini 持续盯场推进。

能力叙事分四块:实时用自然语言塑形世界;物理与人体动作更逼真(气动、碰撞、人物可交互操控);首次在实时世界模型里原生出声,并支持跟进你输入/事件的互动对话;与 Gemini 闭环协同——文中点名 Gemini 3.8 Flash 作引导 Agent,边看帧边拆目标、核验步骤,并实验 Gemini 4 Argon + Genie 4 驱动 Apptronik Apollo 人形下象棋等机器人仿真。用途覆盖影视预演、新闻/历史影像沉浸、游戏原型与企业零到一场景生成。

可用性:已向受信测试者开研究预览;随后面向 Google AI Ultra 订阅者的 Project Genie,以及 Gemini API / AI Studio 早鸟伙伴。安全侧称对齐既有安全政策、预发布内部评测,生成视频与音频带 SynthID 水印。官方亦列出局限:长会话里物体恒常性与细节可能漂移,复杂物理、实时音频精度、可读文字与长程一致性仍在研。本稿以 DeepMind / Google 官方稿为准。

Google DeepMind / Google Blog 社交卡片:Genie 4 实时交互世界模型

来源与参考资料

同栏目 · 模型

Google Cloud / DeepMind

Google Cloud:Gemini Robotics ER 2 公开预览上架,给机器人当「高层脑」

Google Cloud 10 月 27 日宣布:DeepMind 的 Gemini Robotics Embodied Reasoning 2(ER 2)在 Gemini 平台公开预览可用。该模型面向任意机体(固定臂到人形)做空间/时序视频理解、长程规划与多机协作,可把 VLA/导航 API 当工具编排;官方称关键事件帧定位准确率约 91.3%、平均误差约 0.96 秒,并接入企业 IAM 与仿真(MuJoCo-Warp、Isaac Sim)。

Google Cloud 官方配图:Gemini Robotics Embodied Reasoning 2 上架云平台
Baidu / Hugging Face

百度开源 Unlimited-OCR-2:SR-SWA 做「无限页」文档解析,约 3B / MIT

百度 10 月 27 日在 Hugging Face 放出 Unlimited-OCR-2(约 3B,MIT):用 Sparse Reference Sliding Window Attention(SR-SWA)把文本—视觉注意力压到固定规模工作参考集(示例 512 token),自称在有限上下文内做任意长度文档解析;厂商称 MPDocBench / MarathonDocBench 达 SOTA。可走 Transformers 与定制 SGLang。

Hugging Face 社交卡片:baidu/Unlimited-OCR-2
GitHub Changelog

GitHub Copilot:GPT-6.1 Terra 正式可用,覆盖 IDE / CLI / 云 Agent

GitHub changelog(10 月 26 日)确认 OpenAI GPT-6.1 Terra 在 Copilot 全面可用:面向日常 Agent 编码与终端任务,标价低于 GPT-6.1 Sol;早期测试称终端与 C# 任务明显优于 GPT-5.6 Terra。Pro/Pro+/Max/Business/Enterprise 可在 VS Code、Visual Studio、CLI、云 Agent、Mobile 与 JetBrains 等选型。

GitHub Changelog 社交卡片:GPT-6.1 Terra in GitHub Copilot