cvg/vidmap - 仓库详情

AI 仓库情报摘要

FR-AI / ANALYSIS

为什么值得关注

它明确利用视频中的时间结构来提高 SfM 的鲁棒性和准确性，在多个基准测试上取得了高分数（例如 LaMAR 的 WATE-AUC 90.22%），并且基于 COLMAP 构建，提供可配置的流水线，方便研究人员和工程师使用。

适合谁使用

从事 SfM、三维重建或视觉 SLAM 的计算机视觉研究者
需要从视频获得精确离线相机位姿估计的机器人工程师
需要从视频序列生成稀疏地图的 AR/VR 开发者
需要比较视频 SfM 方法的基准测试用户

典型使用场景

从手持或无人机拍摄的视频重建稀疏三维地图和相机轨迹
在标准基准（LaMAR、EuRoC、ETH3D-SLAM、CroCoDL）上评估和比较视频 SfM 算法
生成高质量的重建可视化结果用于调试或演示
构建用于后续视觉惯性或纯视觉导航的定位地图

项目优势

利用时间一致性（轨迹、闭环）和度量深度生成精确且鲁棒的重建
在多个视频 SfM 基准上取得领先结果（如 README 所示）
提供基于 Hydra 的完整可配置流水线，可轻松调整前端和映射参数
内置可视化工具（Rerun 回放、交互式 HTML），方便理解优化过程和结果

使用前须知

需要特定的软件环境（Linux x86-64、COLMAP 4.1、PyTorch、xFormers）和 NVIDIA GPU
首次运行需下载约 9 GB 的模型检查点，数据集准备可能需要数十 GB 磁盘空间
为离线设计，不支持实时或增量式 SfM 应用

README 快速开始

VidMap

Exploiting Temporal Structure for Video-Based Structure-from-Motion

Zador Pataki · Paul-Edouard Sarlin · Marc Pollefeys

ECCV 2026

Paper

VidMap is an offline Structure-from-Motion system for video. It combines temporal tracks, loop closures, metric depth, and global optimization to estimate camera poses, camera intrinsics, and a sparse 3D map.

Setup

We provide the Python package vidmap. From a clean Python environment, clone VidMap and its pinned model dependencies:

git clone --recursive https://github.com/cvg/vidmap.git && cd vidmap

Build and install COLMAP 4.1 and its PyCOLMAP bindings from source. Then install PyTorch, xFormers, and VidMap:

pip install -e .

VidMap was last tested on Linux x86-64 with Python 3.10, COLMAP and PyCOLMAP 4.1, PyTorch 2.7.1, TorchVision 0.22.1, and xFormers 0.0.31 on NVIDIA GPUs.

The first frontend run automatically downloads approximately 9 GB of model checkpoints.

Optional visualization setup. Install Rerun:

pip install rerun-sdk

Execution

The repository includes a silent example video. Run the frontend to build its mapper inputs, then run mapping:

INPUT_DATA=./assets/example_video.mp4
OUTPUT_DIR=./example_output/
MAPPER_INPUTS="$OUTPUT_DIR/mapper_inputs"

python -m vidmap.frontend "$INPUT_DATA" \
  --output "$OUTPUT_DIR"

python -m vidmap.map \
  --mapper-inputs "$MAPPER_INPUTS" \
  --output "$OUTPUT_DIR"

Alternatively, run frontend and mapping together:

python -m vidmap.run \
  --input_data "$INPUT_DATA" \
  --output "$OUTPUT_DIR"

Alternatively, --input_data may point to a directory of extracted frames.

Both mapping commands write the final COLMAP model under $OUTPUT_DIR/rec. Resolved frontend_config.yaml and mapping_config.yaml are written directly under $OUTPUT_DIR.

Visualization

Repeat the reconstruction with visualization artifacts enabled:

python -m vidmap.map \
  --mapper-inputs "$MAPPER_INPUTS" \
  --output "$OUTPUT_DIR" \
  --save-playback-trace \
  --save-3d-html

--save-playback-trace records optimization states for Rerun playback. `--save-

项目描述

VidMap: Exploiting Temporal Structure for Video-Based Structure-from-Motion (ECCV 2026)

vidmap