200lz GitHub avatar

llm-inference-optimization-lab

200lz

一个双轨实验室,通过实测llama.cpp的CPU性能分析和模拟的微型推理服务引擎,研究LLM推理优化、调度和缓存策略。

Stars

44

7 天增长

暂无数据

Fork 数

4

开放 Issue

0

开源协议

MIT

最近更新

2026-07-19

AI 仓库情报摘要
FR-AI / ANALYSIS

为什么值得关注

该仓库严格区分实测CPU结果与模拟服务结果,保留负面和不确定的发现,并提供具有详细方法学和可复现报告的确定性模拟器。

适合谁使用

  • LLM推理优化工程师
  • 服务系统设计者和研究人员
  • 学习服务架构和性能分析的学生
  • 评估CPU量化权衡的开发者

典型使用场景

  • 在真实硬件上分析和描述llama.cpp CPU推理性能
  • 模拟和比较连续批处理与单活动FCFS调度策略
  • 在合成工作负载下分析前缀缓存和KV缓存行为
  • 理解微基准改进与端到端性能提升之间的差距

项目优势

  • 明确的证据边界:实测、模拟和不确定结果均有明确标注
  • 全面的文档:提供了方法学、架构、指标定义及所有阶段的最终报告
  • 确定性的服务模拟器,具备强约束条件和生命周期检查
  • 开源,带有CI测试(GCC、Clang、Python)和可复现的构建流程

使用前须知

  • CPU结果仅限一台AMD Ryzen 7 5800H主机、一个小型Qwen2.5模型及一个固定的llama.cpp版本
  • 服务模拟器使用线性成本模型,没有真实的张量、分词器或校准的硬件时序
  • 无GPU、加速器或生产性能声明;端到端优化结果不确定

README 快速开始

Quick start

项目描述

Reproducible CPU LLM inference benchmarking, profiling, and hot-path optimization with llama.cpp

相关仓库与替代方案

根据分类、Topic 和编程语言匹配的相似项目。

lopopolo
精选
lopopolo GitHub avatar

harness-engineering

Harness Engineering is a methodology for improving coding agent outputs by carefully crafting the environment around them—providing curated context, tools, and executable constraints that encode an organization’s nonfunctional requirements and cumulative lessons.

AI 与机器学习AI 智能体
2,390
slvDev
精选
slvDev GitHub avatar

esp32-ai

A 28.9 million parameter language model runs on an $8 ESP32-S3 microcontroller entirely on-device, generating simple stories at about 9.5 tokens per second.

AI 与机器学习大语言模型
1,960
littledivy
精选
littledivy GitHub avatar

mimic

mimic captures traffic from any iOS or web app and automatically generates a Python client library that lets you call the app's API like a regular library.

AI 与机器学习
1,482