nethical6
精选
conversation-steganography
A tool that hides encrypted secret messages inside innocent-looking AI-generated chat text for private communication over any messaging platform.
AI 仓库情报摘要
FR-AI / ANALYSIS为什么值得关注
它将策略驱动的成本控制、缓存感知的并发能力和内置的支出分析整合在一个 Rust 二进制文件中，使得自托管和检查路由决策变得容易，无需托管控平面。
适合谁使用
- 构建使用 LLM API 的 AI 应用程序的开发者
- 希望管理和降低跨多个提供商 LLM 支出的工程团队
- 希望将提供商凭据保留在自己基础设施中的基础设施运维人员
- 需要对 LLM 使用进行审计和成本分析的组织
典型使用场景
- 将简单任务路由到低成本模型，同时为复杂或高风险请求保留前沿模型
- 通过保持同一会话在相同提供商和模型上，维护提示缓存复用
- 无需更改应用程序代码即可切换 LLM 提供商（例如从 OpenAI 切换到 Anthropic）
- 分析历史支出并使用不同路由策略模拟成本节省
项目优势
- 单个自包含的 Rust 二进制文件，支持 Docker，除存储外无外部依赖
- 策略引擎将请求分类为经济/中级/前沿角色，并选择最低成本的健康路由
- 缓存感知的并发性在每个会话内为每个角色维护独立的亲和性通道
- 内置的账本和 CLI 命令（spend、models、trace、top、analyze）用于成本可见性和规划
使用前须知
- 早期版本 (v0.1.0)，生产记录有限；目前仅支持 Linux 和 macOS 平台
- 并非代理编排器——不管理代理生命周期或检查提示内容
- 需要 Rust 1.97+ 从源码构建；跨协议路由仅支持部分功能子集
README 快速开始
Quick Start
项目描述
Self-hosted LLM gateway. Cost effective, deterministic, and fast. Secure and private by default.
相关仓库与替代方案
根据分类、Topic 和编程语言匹配的相似项目。
programmersd21
精选
flow
flow is a minimalist terminal dashboard that displays real-time network throughput with smooth animations, multiple responsive modes, and zero configuration.
MobAI-App
simslim
simslim reduces iOS simulator memory usage by 4x by disabling unnecessary background daemons, allowing many more simulators to run on a single Mac.