jamesob
精选
local-llm
A comprehensive guide for building and configuring a high-end local machine to run state-of-the-art LLMs, with detailed hardware choices, BIOS tuning, and Docker-based model serving.
AI 仓库情报摘要
FR-AI / ANALYSIS为什么值得关注
它实现了零人工干预的全自动交付，四阶段累计 23 项验收全部通过；语义缓存加速 736 倍、模型路由降低成本 40%+，并提供了 484 行的 RAG 优化指南，兼具性能与实用性。
适合谁使用
- 中小微企业
- 个人开发者与自由职业者
- 希望自动化软件交付流程的创业团队
- 需要管理多租户隔离工具的技术产品经理
典型使用场景
- 全栈项目全自动开发：从需求对齐到编码、审查、交付，无需人工编写代码
- 搭建领域 RAG 问答系统：上传文档后支持流式问答与来源追溯
- 跨会话长期记忆管理：自动总结对话并写入 Obsidian 笔记
- 企业级多租户工具：JWT 认证 + 用户级数据隔离，支持用户画像和上下文秒级恢复
项目优势
- 五 Agent 协作框架（Master/Planner/Builder/Reviewer/User）自动交付代码，内置分支安全铁律和迭代熔断机制
- 语义缓存将重复查询从 6.8s 降至 0.01s（736 倍加速），大幅减少 LLM API 调用
- 模型路由按意图分流快/中/强三档模型，成本降低 40%+ 且生成质量无损
- RAG 知识库支持 10+ 格式解析、12 种切割策略、混合检索（向量+BM25+RRF），并附有详尽优化手册
使用前须知
- 完整 RAG 生成需要配置外部 LLM API 密钥和网络连接（未配置时仅返回检索摘要）
- 目前为 MVP 阶段，未在大规模企业或高并发场景下验证，生产稳定性需进一步评估
- 使用者需理解 Agent Loop 的文件通信协议和目录结构才能有效定制框架
README 快速开始
快速开始
相关仓库与替代方案
根据分类、Topic 和编程语言匹配的相似项目。
MoonshotAI
精选
Kimi-K3
Kimi K3 is an open-weight, 2.8T-parameter native multimodal agentic model with a 1M-token context window, designed for frontier coding, knowledge work, and reasoning tasks.
makecindy
精选
cindy
Cindy is an open-source AI agent that runs locally on your machine, integrates multiple AI harnesses and models, and provides memory, skills, and automation to perform real work in your projects and apps.