Matrix-Game 3.5 是一个内存增强的交互式世界模型,支持 720p 长时域、可控制摄像头的视频生成,提供第一人称和第三人称模式,其核心是新颖的 Patch Memory 和实时蒸馏技术。

Stars

118

7 天增长

暂无数据

Fork 数

3

开放 Issue

1

开源协议

Apache-2.0

最近更新

2026-07-27

AI 仓库情报摘要
FR-AI / ANALYSIS

为什么值得关注

它引入了无参数的几何内存框架(Patch Memory + Warped PRoPE)以及静态-动态解耦的世界表示,实现了实时、少步长的交互式生成,并具备长时域一致性和精准的摄像头控制。

适合谁使用

  • 视频生成和世界模型的研究人员
  • 寻求交互式AI驱动环境的游戏开发者
  • 从事实时仿真和机器人技术的AI工程师
  • 研究长时域一致性与自回归蒸馏的学者

典型使用场景

  • 带摄像头控制的交互式虚拟环境探索
  • 用于游戏或仿真的实时视频生成
  • 面向具身AI的第一人称视频生成
  • 带主体身份锁定的可控场景生成

项目优势

  • 无参数的 Patch Memory 在不修改主干网络的情况下实现了长时域几何一致性
  • 实时蒸馏技术将双向模型转化为仅需3步的因果生成
  • 静态-动态解耦统一了几何与主体一致性,减轻了鬼影和身份漂移
  • 支持第一人称和第三人称模式,并可选择锁定主体身份

使用前须知

  • 需要至少 40 GB 显存的 GPU(已测试 A/H 系列),限制了可访问性
  • 仅官方支持 Linux 和 Python 3.10
  • 基于 Wan2.2-TI2V-5B 骨干网络,依赖外部深度和文本编码器,增加了部署复杂度

README 快速开始

Installation

项目描述

Matrix-Game 3.5: Enhancing Real-Time Streaming Interactive World Models with Patch Memory

相关仓库与替代方案

根据分类、Topic 和编程语言匹配的相似项目。

lopopolo
精选
lopopolo GitHub avatar

harness-engineering

Harness Engineering is a methodology for improving coding agent outputs by carefully crafting the environment around them—providing curated context, tools, and executable constraints that encode an organization’s nonfunctional requirements and cumulative lessons.

AI 与机器学习AI 智能体
2,390
slvDev
精选
slvDev GitHub avatar

esp32-ai

A 28.9 million parameter language model runs on an $8 ESP32-S3 microcontroller entirely on-device, generating simple stories at about 9.5 tokens per second.

AI 与机器学习大语言模型
1,960
littledivy
精选
littledivy GitHub avatar

mimic

mimic captures traffic from any iOS or web app and automatically generates a Python client library that lets you call the app's API like a regular library.

AI 与机器学习
1,482