清漪(QINGYI-KDA-0.6B)是一个 0.6B 参数的混合线性注意力语言模型,成功将 Qwen3-0.6B-Base 转换为 KDA 架构,成为最小公开发布的训练过的 KDA 模型,且人格已烘焙进权重。

Stars

7

7 天增长

暂无数据

Fork 数

1

开放 Issue

0

开源协议

Apache-2.0

最近更新

2026-07-29

AI 仓库情报摘要
FR-AI / ANALYSIS

为什么值得关注

它是首个成功的 Qwen3→KDA 线性化转换(此前尝试报告不收敛),最小的 sub-1B 且具备实际语言能力的 KDA 模型,首个完全烘焙人格的开源线性注意力模型,并且全部训练在单张消费级 GPU 上完成。

适合谁使用

  • 研究高效 Transformer 架构和线性注意力的学者
  • 需要轻量、快速、低显存占用的对话 AI 的开发者
  • 在消费级硬件上探索模型蒸馏和混合注意力的爱好者
  • 对可复现的 Qwen3 到 KDA 转换管线感兴趣的开源社区成员

典型使用场景

  • 在边缘设备或低资源 GPU 上运行轻量聊天助手
  • 研究和扩展混合注意力(GQA+KDA)在语言建模中的应用
  • 原型化无需 system prompt 的人格化聊天机器人

项目优势

  • 首个成功将 Qwen3 转换为 KDA 的案例,克服了此前文献中记载的不收敛问题
  • 最小且公开可用的训练过的 KDA 模型(0.6B),具备实用对话能力
  • 端到端线性化过程仅需单张 RTX 4070 Laptop 8GB,展示了消费级硬件的可行性
  • 人格对齐无需 system prompt,并通过隐私提取审计(0/347 真名泄露)

使用前须知

  • 0.6B 容量限制:长回答可能复读、事实性问题不可靠、通用知识弱
  • 训练分布为群聊 ChatML 格式,裸问答格式为 OOD,表现会退化
  • 人格数据包含成人向群聊内容,模型可能生成 NSFW 文本,需在合适场景使用

README 快速开始

快速开始

项目描述

QINGYI-KDA-0.6B: first successful Qwen3-to-KDA linearization (3:1 hybrid, GQA+RoPE kept layers) + persona alignment. Smallest trained KDA model, converted end-to-end on a consumer 8GB GPU.

相关仓库与替代方案

根据分类、Topic 和编程语言匹配的相似项目。

yetone
精选
yetone GitHub avatar

kill-ai-slop

Kill AI Slop is a multilingual field guide and agent skill that catalogues 33 common AI-generated design tells with interactive before-after demos, and provides a tool to scan and fix web projects.

AI 与机器学习AI 智能体
805
gnipbao
精选
gnipbao GitHub avatar

story-to-handdrawn-video

A Remotion-based tool that converts Chinese story text or ordered hand-drawn images into vertical hand-drawn diary-comic animation with handwritten captions, left-to-right reveals, optional page-curl transitions, and silent H.264 output for post-production dubbing.

AI 与机器学习AI 智能体
683
0xwilliamortiz
精选
0xwilliamortiz GitHub avatar

ponytail-improved

Ponytail is a plugin for AI coding agents that enforces a disciplined ladder of reuse before writing code, reducing code volume by roughly 54% while preserving safety.

AI 与机器学习AI 智能体
545