slvDev
精选
esp32-ai
A 28.9 million parameter language model runs on an $8 ESP32-S3 microcontroller entirely on-device, generating simple stories at about 9.5 tokens per second.
AI 仓库情报摘要
FR-AI / ANALYSIS为什么值得关注
提供一个统一的OpenAI兼容端点来访问多个免费LLM提供商，自动更新模型，设计轻量且零依赖。
适合谁使用
- 使用多个免费LLM API的开发者
- 构建AI Agent需要统一代理的工程师
- 希望用最小配置聚合免费模型的自托管用户
- 想让多个Agent共享免费模型的用户
典型使用场景
- 运行本地API网关，无需修改Agent配置即可切换免费模型
- 定时自动刷新提供商免费模型列表
- 通过Web仪表盘管理提供商和模型
- 让Pi Agent自动发现免费模型
项目优势
- 一键安装和启动，极其简便
- Web界面使用Python标准库，零外部依赖
- 每12小时自动刷新模型，保持最新
- 可插拔的提供商源，易于扩展
- MIT开源许可，使用自由
使用前须知
- 依赖各提供商免费层的可用性和稳定性
- 需要用户自行获取每个提供商的API密钥
- 当前仅支持列出的9个提供商，增加新提供商需自行编写代码
- 测试覆盖22个测试用例，可能不覆盖所有边界情况
README 快速开始
安装
项目描述
免费的LLM模型路由器、代理和同步引擎。Free LLM model router, proxy, and sync engine.
相关仓库与替代方案
根据分类、Topic 和编程语言匹配的相似项目。
gavamedia
精选
deltafin
Deltafin is a research project that runs the 2.8-trillion-parameter Mixture-of-Experts model Kimi K3 on a single Apple Silicon Mac (e.g., M1 Max with 64 GB) at about 16 seconds per token, using exact, reproducible inference with local or streaming expert loading.
jamesob
精选
local-llm
A comprehensive guide for building and configuring a high-end local machine to run state-of-the-art LLMs, with detailed hardware choices, BIOS tuning, and Docker-based model serving.