https://oasis.decart.ai/?utm_source=aipure
产品信息
更新时间:04/11/2024
什么是Oasis Decart AI
由以色列 AI 公司 Decart 与 Etched 合作开发的 Oasis 代表了 AI 生成互动体验的突破。在从 Sequoia Capital 和 Oren Zeev 获得 2100 万美元的融资后推出,Oasis 展示了 AI 如何在不依赖传统游戏引擎的情况下生成实时游戏。该系统创建了一个类似 Minecraft 的环境,用户可以在其中移动、跳跃、拾取物品、破坏方块,并实时与生成的世界互动,帧率为每秒 20 帧。
Oasis Decart AI 的主要功能
Oasis 是一个开创性的 AI 模型,它可以在没有传统游戏引擎的情况下生成实时、交互式的游戏玩法。它使用基于变压器的架构来处理用户的键盘和鼠标输入,以每秒 20 帧的速度生成游戏画面,同时逐帧模拟物理、游戏规则和图形。该系统目前创建了一个类似 Minecraft 的体验,玩家可以在程序生成的世界中移动、跳跃、收集物品和破坏方块。
实时生成: 通过变压器模型以每秒 20 帧的速度生成游戏画面,即时处理用户输入以创建交互体验
端到端 AI 模拟: 无需传统游戏引擎即可模拟物理、游戏规则和图形,仅使用 AI 模型
自定义世界功能: 允许用户上传自己的源图像以创建可玩的游戏世界
可扩展架构: 针对 NVIDIA H100 GPU 和 Etched 的 Sohu 芯片进行了优化,支持潜在的 4K 分辨率游戏画面
Oasis Decart AI 的用例
游戏开发原型设计: 无需传统编程即可快速创建和测试游戏概念
交互内容创作: 从静态图像生成交互环境,用于娱乐和教育目的
AI 研究平台: 作为研究和开发更复杂交互世界模型的基础
优点
无需传统编码即可生成游戏的革命性方法
具有快速帧率的实时交互性
支持不同硬件平台的灵活架构
缺点
当前图形质量和分辨率的限制
长时间会话中的内存问题
倾向于'忘记'关卡布局和改变物体外观
训练数据可能存在版权问题
如何使用Oasis Decart AI
下载仓库: 使用以下命令克隆仓库:git clone https://github.com/etched-ai/open-oasis.git
安装依赖: 导航到目录并安装所需包:cd open-oasis && pip install -r requirements.txt
下载模型检查点: 使用 Hugging Face CLI 下载所需模型文件:
huggingface-cli login
huggingface-cli download Etched/oasis-500m oasis500m.pt
huggingface-cli download Etched/oasis-500m vit-l-20.pt
运行模型: 使用基本推理脚本加载提示帧并根据动作生成额外帧。输出将保存为 video.mp4
控制游戏: 使用键盘和鼠标输入:
- 移动
- 跳跃
- 拾取物品
- 破坏方块
- 查看库存
尝试在线演示(替代方案): 要访问模型的最强大版本,请访问 Decart 网站上的在线演示,而不是本地运行
Oasis Decart AI 常见问题解答
Oasis 是第一个可玩的、实时的、开放世界的 AI 模型,它作为一个由变压器逐帧生成的互动视频游戏运行。