jamesob
精选
local-llm
A comprehensive guide for building and configuring a high-end local machine to run state-of-the-art LLMs, with detailed hardware choices, BIOS tuning, and Docker-based model serving.
AI 仓库情报摘要
FR-AI / ANALYSIS为什么值得关注
它提供了一种严谨、基于证据的方法来区分“运行完成”和“安全运行”，包含专用的门控检测特定偏移量下的静默损坏，以及用于真实推理负载的浸泡测试工具。
适合谁使用
- 拥有 64 GB 内存解锁版 CMP 170HX (GA100) GPU 的用户
- 希望在保证正确性的前提下降低功耗的 AI 推理运维人员
- 需要长期稳定超频配置的矿工和超频爱好者
- 从事 GPU 可靠性工具或电压/频率特性研究的开发者
典型使用场景
- 对 CMP 170HX 进行降压，使功耗降低约 29% 同时保持出厂吞吐量
- 运行多轮模式扫描门控来验证内存完整性，然后再发布配置
- 使用真实推理负载（如 vLLM、sglang）对候选配置进行浸泡测试，以捕获间歇性故障
- 使用恢复命令从设备故障或挂起中恢复，该命令还能检查上下文创建的楔形状态
项目优势
- 能发现其他稳定性测试（如 +325/1400 通过但损坏内存）无法检测的静默内存损坏
- 提供具体的基准测试数据（GEMM、推理吞吐量、功耗），并承认每张卡的差异
- 包含浸泡工具 (170hx-soak)，可重复运行工作负载并监控 Xid 错误，捕获短时间测试遗漏的故障
- 鲁棒的安全机制：武装标志、启动检查、隔离系统和上下文探针，能识别 nvidia-smi 不可见的楔形状态
使用前须知
- 仅适用于特定驱动版本 (610.43.03) 和社区内存解锁的 CMP 170HX GPU，其他 GPU 会被拒绝
- 降压偏移量因卡而异，必须逐卡验证；参考卡的结果可能不适用于其他卡
- 需要 root 权限、bash、NVML 和 CUDA 工具包，安装过程复杂，且依赖于修改后的驱动环境
README 快速开始
Quick start
项目描述
Tuning and qualification harness for the NVIDIA CMP 170HX (GA100). Measures, gates and recovers clock/voltage settings, and treats a completed benchmark as evidence of nothing.
相关仓库与替代方案
根据分类、Topic 和编程语言匹配的相似项目。
bjan
精选
claudemux
Claudemux is a lightweight, dependency-minimal message bus that lets multiple Claude Code sessions communicate in real-time over tmux, enabling one session to ask another a question and receive the answer without manual intervention.
AARomanov1985
Audio-Cassette-Simulation
A set of bash scripts using ffmpeg to simulate vintage cassette tape audio profiles with noise, wow/flutter, bandwidth limits, and EQ.