Subtext 是一个实时工具,在对话过程中通过对 Qwen3.5-4B 应用雅可比透镜(Jacobian lens)来可视化语言模型的内部“语言工作空间”。

Stars

215

7 天增长

暂无数据

Fork 数

21

开放 Issue

0

开源协议

NOASSERTION

最近更新

2026-07-23

AI 仓库情报摘要
FR-AI / ANALYSIS

为什么值得关注

它将 Anthropic 关于 J 空间(全局工作区)的研究带到了交互式、连续的聊天界面中,让任何拥有 GPU 的人都能在模型输出之前观察到它如何形成判断、规划后续内容以及保留中间推理。

适合谁使用

  • AI 可解释性研究人员
  • 对模型内部推理机制感兴趣的机器学习工程师
  • 探索大语言模型透明度的爱好者和发烧友
  • 展示 Transformer 内部工作原理的教育工作者

典型使用场景

  • 观察模型在阅读阶段尚未生成任何回复时就已形成判断的过程
  • 研究模型在发出无关词汇时仍维持高强度的规划概念的行为
  • 通过回放会话并检查每个词元、每个层的读出数据来调试模型的推理过程
  • 导出会话为 JSON 并在无需 GPU 的浏览器中重放,用于演示和分享

项目优势

  • 支持交互式连续对话,在读取和生成阶段均实时渲染透镜读数
  • 通过 KV 缓存和 GPU 实现原生生成速度的实时流渲染
  • 会话可导出为 JSON 并在任何浏览器中重放,无需 GPU
  • 经过参考实现验证,前五读出匹配且 Logit 余弦相似度 ≥ 0.99998

使用前须知

  • 仅能显示单个词元的概念;多词元概念会呈现碎片化或不可见
  • 透镜仅捕获近似的 J 空间工作区,并非完整的内部状态,且无法观察指定层范围之外的层
  • 需要约 10 GB 显存的 NVIDIA GPU 或 16 GB 以上统一内存的 Apple Silicon;CPU 降级运行非常缓慢

README 快速开始

Getting started & staying tuned with us.

相关仓库与替代方案

根据分类、Topic 和编程语言匹配的相似项目。

ddosi
精选
ddosi GitHub avatar

PacketLens

PacketLens is a pure front-end, offline pcap analysis tool that runs entirely in the browser, supporting deep protocol decoding, HTTPS decryption, and million-packet instant loading without any backend.

HTML
19
ViffyGwaanl
精选
ViffyGwaanl GitHub avatar

kimi-k3-learn

An interactive learning system that turns the 47-page Kimi K3 technical report into a single offline HTML file with running algorithms, 3D visualizations, spaced repetition quizzes, and a smart highlighting QA tool.

AI 与机器学习
15
iamtechartist
精选
iamtechartist GitHub avatar

human-cell-visualizer

An interactive 3D visualization of three human cell types using Three.js, WebGL particles, and custom GLSL shaders, allowing users to rotate, zoom, morph, and explore annotated structures.

设计与创意
13