shure-dev GitHub avatar

small_vlm_video_analysis

shure-dev

一个面向工业视觉语言模型时序定位的研究仓库,使用小型模型(≤4B)检测工厂第一人称视频中的操作偏差,包含人工标注与评估流程。

Stars

48

7 天增长

暂无数据

Fork 数

10

开放 Issue

6

开源协议

MIT

最近更新

2026-07-19

AI 仓库情报摘要
FR-AI / ANALYSIS

为什么值得关注

该仓库聚焦于工业安全实际问题,以小型可边缘部署模型为核心,提供了基于人工标注工厂视频的可复现基准,并附带开源标注工具及多模型对比评估。

适合谁使用

  • 视觉语言时序定位领域的研究人员
  • 工业自动化与安全工程师
  • 从事视频理解的计算机视觉从业者
  • 构建边缘端工人辅助系统的开发者

典型使用场景

  • 在装配线上实时检测步骤遗漏或顺序错误
  • 分析工人培训视频中的危险操作行为
  • 为隐私保护的现场视频分析设计边缘兼容的小型VLM原型
  • 构建工业操作时序定位的数据集与评估指标

项目优势

  • 提供了基于20个工厂第一人称视频的聚焦基准,含68个人工标注事件和标准指标(tIoU)
  • Marlin-2B模型在任务上达到0.400平均tIoU,优于更大模型
  • 集成了Web应用,支持标注、预测审查和数据集管理
  • 专为≤4B的小型模型设计,便于未来实现设备端或边缘部署

使用前须知

  • 目前仅限离线短片(20秒),尚未验证实时流式处理和边缘部署
  • 评估基于固定的20个视频(开发集),未使用独立测试集
  • 多个候选模型(如MiniCPM、InternVL3)因转换/处理器错误尚不兼容

README 快速开始

Quick start

项目描述

作業動画が手順書(SOP)どおりかを、ローカルの小型VLM(Qwen3-VL / Apple Silicon)だけでチェックするデモ

相关仓库与替代方案

根据分类、Topic 和编程语言匹配的相似项目。

gavamedia
精选
gavamedia GitHub avatar

deltafin

Deltafin is a research project that runs the 2.8-trillion-parameter Mixture-of-Experts model Kimi K3 on a single Apple Silicon Mac (e.g., M1 Max with 64 GB) at about 16 seconds per token, using exact, reproducible inference with local or streaming expert loading.

AI 与机器学习大语言模型
304
ammaarreshi
ammaarreshi GitHub avatar

Generals-Mac-iOS-iPad

This repository ports Command & Conquer Generals: Zero Hour to run natively on Apple Silicon Macs, iPhones, and iPads without emulation, adding touch controls and modern rendering.

C++
1,523
didriksg
didriksg GitHub avatar

Crisp

Crisp is a free, open-source macOS menu bar app that adds HiDPI scaling, brightness control, and other display management features for external monitors, serving as an alternative to paid tools like BetterDisplay and Lunar.

Swift
476