一个纯前端、无遥测的私有本地 AI 规模估算工具,通过计算 KV 缓存内存、prefill/decode 服务能力和运行时会话上限,找出真正起约束作用的瓶颈。

Stars

55

7 天增长

暂无数据

Fork 数

1

开放 Issue

0

开源协议

MIT

最近更新

2026-08-01

AI 仓库情报摘要
FR-AI / ANALYSIS

为什么值得关注

它通过明确指出每个配置中哪个约束真正 bind,并对比自购硬件、主权云租赁和企业 API 方案,同时区分实测与估算数据,帮助组织做出可审查的决策记录。

适合谁使用

  • 正在评估是否本地运行大模型的数据治理团队
  • 负责 GPU 或加速器选型的基础设施工程师
  • 需要对比自购、租赁和订阅方案的技术与财务规划人员
  • 运行 AI Agent 并需要容量规划的运维或平台团队

典型使用场景

  • 估算同时服务交互式用户和自主 Agent 所需的本地大模型硬件
  • 对比自购硬件、主权云租赁和企业 API 订阅的成本与能力差异
  • 导出 Markdown 或 JSON 决策记录供采购评审
  • 在购买前识别真正会构成瓶颈的约束:KV 内存、服务吞吐还是会话上限

项目优势

  • 完全在浏览器中运行,无服务器、无数据库、无账户、无遥测,输入内容不会被传输
  • 明确显示每个配置中哪个约束真正 bind,避免按错误瓶颈采购
  • 将实测数据与估算数据分开,并在导出报告中保留置信度等级
  • 支持导出 Markdown 决策记录和可重新加载的 JSON 场景

使用前须知

  • 这是一个方向性敏感性估算工具,不是采购报价,购买前需要验证具体模型、运行时和硬件
  • 它不判断成本溢价是否值得,也不证明订阅方案与本地模型在质量、延迟、工具和可用性上等效
  • 需要通过 HTTP 服务访问,直接打开 index.html 会因 file:// 下 fetch 被阻止而无法工作

README 快速开始

Quick start

项目描述

Evidence-aware on-prem LLM inference sizing and TCO calculator

相关仓库与替代方案

根据分类、Topic 和编程语言匹配的相似项目。

0xwilliamortiz
精选
0xwilliamortiz GitHub avatar

openclaude-improved

OpenClaude is an open-source CLI coding agent that runs on any platform and supports a wide range of LLM providers, offering the same tools and workflows as Claude Code.

AI 与机器学习大语言模型
577
deerwork-ai
精选
deerwork-ai GitHub avatar

deer-workflow

An open-source Dynamic Workflow runtime that combines deterministic TypeScript orchestration with replaceable Agent runtimes.

AI 与机器学习大语言模型
312
0xwilliamortiz
精选
0xwilliamortiz GitHub avatar

ratchet

Ratchet installs coding-agent hooks that measure every edit against a minimalism ruleset, report findings back mid-session, and enforce budgets through advise, guard, or strict modes.

AI 与机器学习大语言模型
407