2026년 8월 17일 UTC 15:57에 Adam Karvonen, Euan Ong, Subhash Kantamneni와 Samuel Marks가 제출한 논문은 CHIVE — Counterfactual Hypothesis Investigation Via Edits — 를 소개한다. 이는 실제 환경에서 예기치 않은 언어 모델의 행동을 찾아내고, 프롬프트를 수정해 무엇이 달라지는지 살펴보는 에이전트형 파이프라인이다. 이 논문의 핵심 결과는 부정적이며, 연구 분야 자체의 도구를 겨냥하고 있다.
시험과 결과
저자들은 구체적이고 반증 가능한 질문을 던진다. 흔히 쓰이는 해석 가능성 기법들이, 관련된 반사실적 입력에서 모델이 어떻게 행동할지를 에이전트가 예측하는 데 도움이 되는가. 이들은 희소 오토인코더, 자연어 오토인코더, 활성화 오라클을 평가했다. 초록의 표현을 그대로 옮기면, "놀랍게도, 검토한 어떤 해석 가능성 기법에서도 향상을 찾지 못했다." 비교 대상은 대화록을 단순히 읽는 에이전트였다.
일반적인 프레이밍이 놓치는 것
가장 눈에 띄는 헤드라인은 희소 오토인코더가 쓸모없다는 것이다. 그러나 이는 과장된 해석이며, 논문도 그렇게 말하지 않는다. 더 좁고 정확한 주장은 이렇다. 이 과제에서는 활성화 기반 도구가 대화록을 읽는 것만으로 이미 제공된 정보 이상을 더하지 못했다. 이는 모델 내부의 SAE 특징이 실제로 무엇인가와 대응하는지에 대한 주장이 아니라, 강한 텍스트 기준선에 비해 추가 정보가 있었는지에 대한 진술이다. 도구가 진짜 내부 구조를 설명하더라도, 눈에 보이는 텍스트가 알려주지 않은 것을 알려주지 못할 수 있다.
더 유용한 절반은 다른 쪽이다
두 번째 적용 사례는 더 건설적이며, 그만큼 덜 주목받고 있다. 저자들은 CHIVE를 사용해 학습 데이터를 생성했고, CHIVE가 생성한 반사실적 실험의 결과를 예측하도록 훈련한 모델이 분포 밖 설정으로 일반화한다고 보고한다. 따라서 부정적 결과를 낳은 이 파이프라인은 동시에 작동하는 방법도 만들어냈다. 활성화를 읽는 데서는 도움이 되지 않았던 곳에서도, 반사실적 증거로부터 행동 설명을 학습할 수 있었던 것이다.
저자 구성이 중요한 이유
해석 가능성은 최전선 연구소들이 미래 시스템을 어떻게 감독할 것인지 묻는 질문에 대해 제시하는 핵심 기술적 해답이다. 네 명의 저자 중 두 명은 Anthropic의 정렬 팀에 속해 있다. 연구소가 자체적인 전략적 베팅에 맞서는 측정된 널 결과를, 구체적인 벤치마크와 함께 발표한 것은 또 다른 능력 시연보다 건강한 신호다. 또한 이 분야에 실제로 적용될 수 있는 성공의 정의를 제시한다. 즉, 대화록을 뛰어넘어야 한다.