SIMA 2
SIMA 2 是 Google DeepMind 的下一代 AI 代理，由 Gemini 提供支持，可以理解、推理并在 3D 虚拟环境中采取智能行动，同时通过文本、语音或图像与用户进行自然互动。
https://goo.gle/SIMA-2?ref=producthunt&utm_source=aipure
产品信息
更新于：2025年11月18日
什么是 SIMA 2
SIMA 2（可扩展的可指导多世界代理 2）是 Google DeepMind 在创建通用且有帮助的 AI 代理方面的最新里程碑。SIMA 2 在其前身 SIMA 的基础上构建，SIMA 可以在虚拟环境中遵循基本指令，SIMA 2 集成了 Gemini 模型的先进功能，从一个简单的指令跟随者演变为一个交互式游戏伙伴。它可以导航和解决各种 3D 虚拟世界中的问题，包括《无人深空》、《Valheim》和《Goat Simulator 3》等商业游戏，同时能够理解用户目标、执行复杂的推理并随着时间的推移改进自身。
SIMA 2 的主要功能
SIMA 2 是 Google DeepMind 的高级 AI 代理，它集成了 Gemini 的语言和推理能力，可在 3D 虚拟环境中运行。它超越了简单的指令遵循，能够理解高层次的目标，执行复杂的推理，并在不同的游戏和虚拟世界中执行动作。该代理可以通过文本、语音或图像进行通信，从经验中学习，并在没有人为干预的情况下随着时间的推移改进自身。与它的前身相比，它在任务完成率方面表现出显著的改进，并且可以在全新的环境中有效运行，包括由 Genie 3 创建的 AI 生成的世界。
Gemini 驱动的推理: 集成了 Gemini 的语言模型能力，以理解上下文、计划行动，并在虚拟环境中交互时解释其决策过程
多模式交互: 接受多种格式的指令，包括文本、语音、图像，甚至表情符号，使其具有高度的可访问性和通用性
自我改进能力: 可以通过自我指导的游戏和反馈来学习和提高其性能，而无需额外的人工演示
跨环境泛化: 通过转移学习到的概念和技能，成功地在不同的游戏和虚拟环境中运行，包括前所未见的世界
SIMA 2 的使用场景
游戏测试与开发: 协助开发人员在不同的场景和环境中测试游戏，从而可能减少质量保证所需的时间和资源
机器人技术培训: 作为一个平台，用于在安全、虚拟的环境中开发和测试机器人控制算法，然后再部署到物理世界中
虚拟助手开发: 为创建更强大的虚拟助手奠定基础，这些助手可以理解上下文并在 3D 环境中执行复杂的任务
通用人工智能研究: 作为一个试验平台，用于开发和研究能够适应新情况和环境的通用 AI 系统
优点
与 SIMA 1 相比，性能显著提高，任务完成率更高
能够在没有事先训练的情况下在全新的环境中运行
可以通过自我指导的游戏独立学习和改进
缺点
在需要大量多步骤推理的非常长期的复杂任务中挣扎
交互的内存窗口有限
在精确的低级动作和对复杂 3D 场景的强大视觉理解方面面临挑战
如何使用 SIMA 2
注意：SIMA 2 尚未公开提供: 根据消息来源，SIMA 2 目前仅作为有限的研究预览版提供给选定的学者和游戏开发人员。它不适用于公众使用或测试。
基本互动方法: 如果可用，可以通过文本、语音或在屏幕上绘制草图与 SIMA 2 互动，以向 AI 代理发出指令。
游戏环境设置: SIMA 2 通过观察游戏屏幕并使用虚拟键盘/鼠标控件来工作，而无需访问游戏代码或 API。它可以跨各种支持的游戏工作，例如《无人深空》、《Valheim》、《Goat Simulator 3》等。
发出指令: 用户可以为 SIMA 2 提供自然语言命令或高级目标以完成。该代理将使用 Gemini AI 来理解意图并将其分解为可操作的步骤。
协作互动: SIMA 2 不仅仅是遵循命令，还可以进行来回对话以澄清目标、解释其推理并描述其下一步计划。
多语言支持: 可以使用不同的语言甚至使用表情符号来发出指令，SIMA 2 可以解释并采取适当的行动。
复杂任务执行: 用户可以分配复杂的、多步骤的任务，SIMA 2 会将其分解并执行，同时提供有关其进度和推理的更新。
自我改进模式: 该代理可以从其经验中学习并通过自我指导的游戏来提高性能，但这似乎是一种内部训练机制，而不是面向用户的功能。
SIMA 2 常见问题
SIMA 2是Google DeepMind的下一代AI代理，它集成了Gemini语言模型的功能，可以在3D虚拟世界中进行游戏、推理和学习。它可以遵循复杂的指令，与用户进行对话，并通过反复试验来改进自己。
与 SIMA 2 类似的最新 AI 工具
JustAHuman
JustAHuman 是一个游戏平台，通过完成挑战奖励玩家，同时帮助游戏创作者通过 AI 处理 3D 资产。
Sketcho
Sketcho 是一个AI驱动的设计工具，通过直观的界面将草图和想法转化为高质量的专业设计。
Rendair
Rendair是一个集成了AI技术的建筑渲染平台，通过AI工具和专业3D艺术家为建筑师、设计师和房地产专业人士提供快速、高质量的可视化服务。
Triorama AI
Triorama AI 是一个 AI 驱动的 3D 产品配置器平台，使电子商务企业能够为其客户提供实时产品个性化和可视化功能。
类似 SIMA 2 的热门 AI 工具
Hunyuan3D-2.1
Hunyuan3D-2.1是腾讯首个生产就绪的3D资产生成系统，该系统将完全开源的框架与基于物理的渲染（PBR）纹理合成相结合，以从图像或文本描述创建高保真3D模型。
Leonardo.ai
Leonardo.ai是一个强大的AI图像生成平台，通过创新的工具如文本到图像生成、AI画布编辑和3D纹理生成，使用户能够创建高质量的艺术品、图像和视频。
Android XR
Android XR是谷歌新的扩展现实平台，它将Gemini AI集成到智能眼镜和头戴设备等可穿戴设备中，从而实现免提访问应用程序、实时翻译、导航和上下文帮助。