Krishnagangwal
精选
CS-Fundamentals
A curated collection of Computer Science fundamentals (PDFs, notes, cheatsheets, interview question banks) for placement preparation, covering seven core subjects plus general resources.
AI 仓库情报摘要
FR-AI / ANALYSIS为什么值得关注
它记录了一个真实的两节点 DGX Spark 部署，给出实测推测解码吞吐，并通过 vLLM 代码补丁为 DSpark 暴露所需隐藏状态；同时如实报告 C6 引擎失败而非掩盖问题。
适合谁使用
- 在 DGX Spark 上部署 Inkling-Small-NVFP4 或类似模型的开发者
- 关注推测解码或 DSpark 的 vLLM 推理工程师
- 需要可复现多节点推理服务的 MLOps 团队
- 研究 NVFP4 模型与草稿模型加速的基准测试人员
典型使用场景
- 通过 OpenAI 兼容接口，以 DSpark 推测解码方式服务 Inkling-Small-NVFP4
- 在两台 DGX Spark 节点上复现 C1-C5 基准测试
- 将仓库中的补丁和配方用作其他 EAGLE/DSpark 兼容模型的模板
- 在每次 vLLM 运行时更新后运行 agent parser 回归测试
项目优势
- 固定了上游运行时提交、镜像摘要、目标模型和草稿模型提交，便于复现
- 实测 C5 下聚合输出吞吐最高约 61.9728 tok/s，中位 TTFT 为 0.5845 秒
- 提供 vLLM 代码补丁，为外部 DSpark 草稿模型补充所需隐藏状态，同时保留原有融合路径
- 没有把 C6 失败伪装成成功结果，而是明确记录了失败现象和复现方式
使用前须知
- C6 并发会稳定触发 engine watchdog 在 sample_tokens 中的 RPC 超时，因此稳定支持配置上限为 C5
- FP8 和 NVFP4 KV cache 尚未启用；CUDA graph 捕获也因非法内存访问被禁用，因此已验证配置使用 eager 执行和 BF16/auto KV cache
- 仓库尚未选择许可证，且权重、缓存、凭据、SSH 密钥和主机相关的 config.env 文件均不包含在仓库中
README 快速开始
Quick start
项目描述
Inkling Small NVFP4 on 2x DGX Spark with TP2, 262K context, BF16 KV cache, and DSpark speculative decoding.
相关仓库与替代方案
根据分类、Topic 和编程语言匹配的相似项目。
talivia-group
精选
talivia
Talivia is an open-source, self-hosted analytics platform that combines web analytics, session replay, and customer revenue tracking from multiple payment providers.
lopopolo
精选
harness-engineering
Harness Engineering is a methodology for improving coding agent outputs by carefully crafting the environment around them—providing curated context, tools, and executable constraints that encode an organization’s nonfunctional requirements and cumulative lessons.