ShadowDancer 是一个研究项目,旨在通过从视频及其阴影中学习统一动态表示,让交互式视频世界模型支持任意动作和帧级控制。

Stars

9

7 天增长

暂无数据

Fork 数

0

开放 Issue

0

开源协议

暂无数据

最近更新

2026-07-31

AI 仓库情报摘要
FR-AI / ANALYSIS

为什么值得关注

它针对现有视频世界模型动作空间受限的问题,提出任意动作与帧级控制机制,并通过项目主页和论文公开方法;代码与权重计划在内部审核后发布。

适合谁使用

  • 视频生成与世界模型方向的研究人员
  • 研究动作条件动态的计算机视觉学者
  • 构建交互式仿真或媒体工具的 AI 开发者

典型使用场景

  • 在交互式视频生成中实现用户逐帧控制
  • 从视频中学习动作表示,减少对人工动作标签的依赖
  • 为任意动作输入构建基于视频的仿真环境

项目优势

  • 提出面向交互式视频世界模型的任意动作、帧级控制
  • 引入从视频及其阴影中学习的统一动态表示
  • 提供 arXiv 论文和项目主页,便于了解方法
  • 计划在内部审核后发布代码和模型权重

使用前须知

  • 代码和模型权重尚未公开
  • README 未提供基准测试数据或系统级对比
  • 现阶段使用需依赖论文内容,并等待官方发布

README 快速开始

 ShadowDancer

Teaching Video World Models Any Action from a Video and Its Shadow

ShadowDancer: Teaching Video World Models Any Action by Learning Unified Dynamics Representations from a Video and Its Shadow

Jin Cao, Zian Meng, Kaipeng Zhang† († corresponding author)

ShadowDancer gives interactive video world models an any-action, frame-level control.

The code and model weights are being cleaned up and are undergoing internal review before release.🚧

Citation

@misc{cao2026shadow,
  title={ShadowDancer: Teaching Video World Models Any Action by Learning Unified Dynamics Representations from a Video and Its Shadow},
  author={Jin Cao and Zian Meng and Kaipeng Zhang},
  year={2026},
  eprint={2607.28362},
  archivePrefix={arXiv},
  primaryClass={cs.CV},
  url={https://arxiv.org/abs/2607.28362},
}

项目描述

Code release for https://shadowdancer-1.github.io/

相关仓库与替代方案

根据分类、Topic 和编程语言匹配的相似项目。

MoonshotAI
精选
MoonshotAI GitHub avatar

Kimi-K3

Kimi K3 is an open-weight, 2.8T-parameter native multimodal agentic model with a 1M-token context window, designed for frontier coding, knowledge work, and reasoning tasks.

AI 与机器学习AI 智能体
3,348
xuchonglang
精选
xuchonglang GitHub avatar

investing-for-beginners

A structured investing guide for Chinese beginners covering US stocks, options, and cryptocurrency, with focus on foundational concepts and risk awareness.

区块链与 Web3
2,739
Krishnagangwal
精选
Krishnagangwal GitHub avatar

CS-Fundamentals

A curated collection of Computer Science fundamentals (PDFs, notes, cheatsheets, interview question banks) for placement preparation, covering seven core subjects plus general resources.

数据与数据库数据库与存储
2,326