jamesob
精选
local-llm
A comprehensive guide for building and configuring a high-end local machine to run state-of-the-art LLMs, with detailed hardware choices, BIOS tuning, and Docker-based model serving.
为什么值得关注
它超越了简单的 OCR API 调用，提供了一个完整的、可投入生产的系统，具备多令牌预测、零拷贝 RAM 传输、基于 KEDA 的自动伸缩以及企业级安全控制等高级特性。
适合谁使用
- 机器学习/人工智能工程师
- 平台工程师
- 希望在生产环境中运行 OCR 的工程师
- 对 Kubernetes 上 GPU 加速管道感兴趣的开发者
典型使用场景
- 构建能够处理图表、表格和手写文档的自伸缩 OCR 系统
- 通过 MCP 部署低延迟的 AI 智能体集成的事件驱动文档理解管道
- 使用内部负载均衡器和 API 网关安全的企业文档处理
- 利用连续批处理和 GPU 自动伸缩实现每秒 1.86 页的实时 OCR 服务
项目优势
- 生产级架构，配备独立的 T4 和 A100 节点池以及基于 KEDA 指标的自动伸缩
- 通过 vLLM 的多令牌预测（吞吐量提升约 50%）和分块预填充实现高吞吐
- 使用 /dev/shm 的零拷贝文档传输消除了磁盘 I/O 瓶颈
- 全面的安全性：内部负载均衡器、企业 API 网关、JWT 认证和速率限制
使用前须知
- 需要访问 AKS 或 GKE 上的云 GPU 实例（T4 和 A100），可能产生显著成本
- 课程基于六周的训练营模式；仓库开源但完整搭建可能需要大量时间和专业知识
- 依赖特定 SDK（GLM-OCR）和模型（Qwen 3.5），若无深入领域知识可能限制自定义
README 快速开始
Getting Started
项目描述
Build, deploy, and scale a production-grade OCR pipeline using Rust, vLLM, Redis, KEDA, and Kubernetes.
相关仓库与替代方案
根据分类、Topic 和编程语言匹配的相似项目。
Blaizzy
精选
nativ
Nativ is a native macOS app that lets you run AI models locally on Apple silicon, offering chat, model management, performance analytics, and an OpenAI/Anthropic-compatible API server.
Blueturboguy07
精选
cue
Cue is a free, open-source AI copilot that lives on your screen, sees your screen and hears your meetings, and tries to stay hidden in screen shares, using your own API key from providers like OpenAI, Anthropic, or Google Gemini.