ComfyUI-INT4-Fast 是一个自定义节点包,支持以 INT4 格式加载、运行和保存扩散模型,并利用 Tensor Core 实现高速推理。

Stars

33

7 天增长

暂无数据

Fork 数

3

开放 Issue

3

开源协议

AGPL-3.0

最近更新

2026-07-10

AI 仓库情报摘要
FR-AI / ANALYSIS

为什么值得关注

它将原生 INT4 推理引入 ComfyUI,利用 Tensor Core 实现高速度和低内存占用,并内置混合精度处理和动态 LoRA 补丁。

适合谁使用

  • 想要减少模型内存占用的 ComfyUI 用户
  • 使用扩散模型的 AI 艺术家和开发者
  • 研究量化技术的研究人员
  • 拥有 Tensor Core GPU 并追求更快推理的用户

典型使用场景

  • 以更低显存运行大型扩散模型
  • 即时将浮点检查点量化为 INT4
  • 保存量化模型供 ComfyUI 重复使用
  • 将 LoRA 适配器与量化模型集成

项目优势

  • 通过 Tensor Core 实现极快的 INT4 推理
  • 支持敏感层(首/末补丁)的混合精度
  • 从 BF16/FP16/FP32 即时量化
  • 动态 LoRA 权重旋转确保兼容性

使用前须知

  • 首次生成需要额外编译时间
  • 依赖 comfy-kitchen 包提供执行布局
  • 仅验证了一个模型(Krea2 Turbo INT4)
  • 需要具备 Tensor Core 的 GPU(如 NVIDIA RTX 系列)

README 快速开始

Installation & Setup

项目描述

Fast INT4 model inference custom node for ComfyUI leveraging Tensor Cores.

相关仓库与替代方案

根据分类、Topic 和编程语言匹配的相似项目。

lopopolo
精选
lopopolo GitHub avatar

harness-engineering

Harness Engineering is a methodology for improving coding agent outputs by carefully crafting the environment around them—providing curated context, tools, and executable constraints that encode an organization’s nonfunctional requirements and cumulative lessons.

AI 与机器学习AI 智能体
2,390
slvDev
精选
slvDev GitHub avatar

esp32-ai

A 28.9 million parameter language model runs on an $8 ESP32-S3 microcontroller entirely on-device, generating simple stories at about 9.5 tokens per second.

AI 与机器学习大语言模型
1,960
littledivy
精选
littledivy GitHub avatar

mimic

mimic captures traffic from any iOS or web app and automatically generates a Python client library that lets you call the app's API like a regular library.

AI 与机器学习
1,482