为什么值得关注

它展示了罕见的诚实失败案例——主探针在自测中被丢弃，并提供了一个可复现的多阶段门控（预注册、盲评、McNemar检验、仪表检查），可适应任何领域。

适合谁使用

希望验证或丢弃验证层的RAG管道开发者
大语言模型安全与评估研究人员
构建大模型干预A/B测试工具集的机器学习工程师
研究自我修正与引用准确性的实践者

典型使用场景

判断验证提示在生成式问答管道中是否带来改进或导致过度纠正
将门控流程复用于A/B测试任何大模型干预（如新提示策略、微调）
诊断基线错误率为零的环境——验证层成为纯开销
开展多阶段失败分析以区分测量失败与处理失败

项目优势

预注册与盲评保证了统计严谨性，防止结果筛选
可复现的仪表检查（165次调用）在投入昂贵实验前确认测量工具能捕捉信号
跨领域验证（SciFact、KLUE-NLI）表明门控可迁移至英语生物医学与非会计韩语任务
成本高效的诊断：通过先验证测量工具将大模型调用量降低至十分之一

使用前须知

主探针（P1）仅在测试条件（强模型+附带证据）下被拒绝；在弱模型或无证据场景下可能仍有效
门控与探针仅使用单一模型（claude-sonnet-4-6）测试，模型可迁移性未经验证
仓库的主要交付物是流程而非即用型验证方案；用户需根据自身领域和模型调整门控

README 快速开始

probe-graph — Reflection Probe Verification Subgraph for Citation-Grounded QA

English | 한국어 | 中文

인용 기반 QA 파이프라인(RAG 봇)에 꽂는 검증 서브그래프 스킬과, 그 효과를 판정한 A/B 실측 하네스 전체를 담은 레포입니다.

핵심이 되는 결과부터 밝힙니다: 본 레포의 메인 프로브(P1)는 자체 실측 게이트에서 폐기 판정을 받았습니다. 이 레포의 가치는 "만능 검증 프롬프트"가 아니라, ①문헌 근거로 설계한 프로브 3종과 ②그것을 채택하기 전에 걸러낸 판정 절차 (사전 등록 → 블라인드 채점 → McNemar)의 재현 가능한 전 과정입니다.

그리고 그 이후 4단계(Phase 1~3 + 계기 검침)에서 게이트는 자기 자신의 실패까지 잡아냈습니다. 재사용 가치가 가장 높은 수치는 프로브가 아니라 게이트 쪽에 있습니다:

게이트 지표	실측값	의미
계기 검침 검출 회수율	81.8% (9/11)	측정 도구가 신호를 잡는지 본 실행 전에 확인
계기 검침 3판 재현성	SPLIT 0건 / 55	판정이 흔들리지 않음
옆방 검증 (영어·생의학 / 한국어·비회계)	2/2 PASS, recall 100%	도메인·언어·라벨러를 바꿔도 절차가 작동
진단 비용	1,650콜 → 165콜	실패 원인 규명을 10분의 1 비용으로
프로브 3표 합의 (Phase 1)	회수율 90% 유지, 검토부담 38.9%→35.2%, 자동 오탐 0	붙이지 않고 걷어내서 얻은 파레토 바깥이동

📖 이 레포가 만들어진 하루의 전 과정(설계 근거·4연속 실패·게이트가 저자의 오진을 잡은 기록)은 케이스 스터디에 순서대로 남겼습니다.

왜 만들었나 (동기)

출발점은 Anthropic 인터프리터빌리티 팀의 논문이었습니다:

"Verbalizable Representations Form a Global Workspace in Language Models" (Anthropic, 2026, transformer-circuits.pub/2026/workspace)

이 논문은 LLM 내부에 "말로 꺼낼 수 있는 표현들의 특권 집합"이 있고, counterfactual reflection — "중간에 끊고 '지금 무슨 생각해?'라고 물으면 원칙을 말하도록" 학습시키면 안 끊긴 상황의 실제 행동까지 개선된다는 것을 보였습니다. 또한 모델이 내부적으로는 이의를 인지하면서 출력에 반영하지 않는 BUT-갭(88%)을 보고했습니다.

논문의 본체 기법(J-lens)은 residual stream 접근이 필요해 API 사용자는 쓸 수 없습니다. 그래서 "물어보면 말할 내용이 곧 조용히 추론하는 내용"이라는 인과 발견만을 프롬프트 레벨로 번역한 것이 이 스킬입니다: 답변 생성 후 "이 답에서 근거 못 대는 부분을 말해봐"라고 묻는 리플렉션 프로브를 파이프라인 노드로 꽂는 설계.

범위 명시: 이 레포는 위 논문의 구현이 아닙니다. 원 논문의 counterfactual reflection은 학습(fine-tuning) 기법이고, 이 레포는 추론 시 프롬프트 검증기입니다. 논문은 설계의 동기일 뿐, 본 레포 P1/P2/P3의 효과를 입증하지 않습니다 — 효과 판정은 전적으로 아래의 자체 A/B 게이트가 담당합니다.

순진하게 만들면 해롭다 (설계 과정)

구현 전에 자기검증(self-correction) 문헌 8편을 검토했고, 순진한 프로브는 오히려 성능을 깎는다는 반대 증거가 일관되게 나왔습니다:

논문	이 설계에 준 것
Huang et al., Large Language Models Cannot Self-Correct Reasoning Yet (arXiv:2310.01798)	"오답 가정" 프롬프트가 최대 −9.5pp (CSQA). 정답→오답 전환이 오답→정답보다 항상 많음 → 앵커 A1("이미 정확할 가능성이 높다고 전제") · A5("문제 찾기가 아니라 일치 확인")
Dhuliawala et al., Chain-of-Verification (CoVe) (arXiv:2309.11495)	factored 검증(초안 산문을 검증자에게 주지 않음)으로 FACTSCORE 55.9→71.4. yes/no 검증질문은 동조 편향 → P1은 주장 리스트만 입력 + A6(원문 발췌 강제)
FBC/EIR 계열 (verify-first ablation)	"수

项目描述

Reflection probe verification subgraph for citation-grounded QA — with the A/B gate that rejected its own main probe (pre-registered, blinded, McNemar)

reflection-probe-gate