l0ng-ai
精选
tty7
tty7 is a fast, GPU-accelerated terminal workbench with persistent sessions, built-in input tools, SSH support, and coding agent awareness.
AI 仓库情报摘要
FR-AI / ANALYSIS为什么值得关注
它超越了简单的 OCR API 调用，提供了一个完整的、可投入生产的系统，具备多令牌预测、零拷贝 RAM 传输、基于 KEDA 的自动伸缩以及企业级安全控制等高级特性。
适合谁使用
- 机器学习/人工智能工程师
- 平台工程师
- 希望在生产环境中运行 OCR 的工程师
- 对 Kubernetes 上 GPU 加速管道感兴趣的开发者
典型使用场景
- 构建能够处理图表、表格和手写文档的自伸缩 OCR 系统
- 通过 MCP 部署低延迟的 AI 智能体集成的事件驱动文档理解管道
- 使用内部负载均衡器和 API 网关安全的企业文档处理
- 利用连续批处理和 GPU 自动伸缩实现每秒 1.86 页的实时 OCR 服务
项目优势
- 生产级架构，配备独立的 T4 和 A100 节点池以及基于 KEDA 指标的自动伸缩
- 通过 vLLM 的多令牌预测（吞吐量提升约 50%）和分块预填充实现高吞吐
- 使用 /dev/shm 的零拷贝文档传输消除了磁盘 I/O 瓶颈
- 全面的安全性：内部负载均衡器、企业 API 网关、JWT 认证和速率限制
使用前须知
- 需要访问 AKS 或 GKE 上的云 GPU 实例（T4 和 A100），可能产生显著成本
- 课程基于六周的训练营模式；仓库开源但完整搭建可能需要大量时间和专业知识
- 依赖特定 SDK（GLM-OCR）和模型（Qwen 3.5），若无深入领域知识可能限制自定义
README 快速开始
Getting Started
项目描述
Build, deploy, and scale a production-grade OCR pipeline using Rust, vLLM, Redis, KEDA, and Kubernetes.
相关仓库与替代方案
根据分类、Topic 和编程语言匹配的相似项目。
steelbrain
精选
reims-vgpu
reims-vgpu is an experimental virtual GPU for macOS guests that uses QEMU to decode the guest's GPU command stream and execute it through Metal or Vulkan, leveraging the built-in AppleParavirtGPU driver without requiring custom kexts.
m-novotny
精选
memguard-rs
A Rust library that provides secure memory handling primitives including zeroization on drop, memory locking, constant-time comparison, and compile-time guarded regions, with zero dependencies and no_std support.