20일 arXiv에 제출된 한 논문은 이런 주장들이 보통 생략하는 일을 직접 해 자기개선 주장을 점검합니다. 저자들은 Qwen3-8B에 대한 rank-32 LoRA 자기학습 3차례를 동일한 파이프라인을 그대로 거친 냉동 모델과 비교했으며, 대조군이 없을 경우 기존에 보고된 결과를 뒤집는 7가지 측정 실패를 확인했습니다. 저자들은 이 가운데 여러 항목이 통상적인 관행이라고 지적합니다.
핵심 수치
자기개선은 점점 평균 정확도보다 어떤 개별 문제에서 모델이 향상되고 악화됐는지를 기준으로 평가되고 있으며, 이는 잡음이 섞인 두 추정치를 차분해야 하는 프레임입니다. 단일 greedy decode에 기반한 장부는 훈련된 적이 없는 모델에서 능력 변화를 만들어내며, 이는 주로 추론 배치의 산물입니다. 또 진짜 습득과 단순한 정교화를 구분하는 데 쓰인 확장 통계치는 같은 훈련되지 않은 모델에 0.280의 비율을 부여합니다. 이 지표는 본래 존재하지 않았던 개선을 시스템에 실재하는 것처럼 보고합니다.
통상적 프레임이 놓치는 점
이 분야의 결과는 같은 모델에 대한 사전·사후 비교로 보고되며, 이는 모델 자체를 대조군처럼 읽히게 합니다. 그러나 실제로는 그렇지 않습니다. 두 측정 사이에는 표본추출 잡음, 비결정적 디코딩, 배치 효과가 끼어들며, 이 모든 것이 학습과 무관한 개별 문제의 전이를 만들어냅니다. 눈에 띄는 보정책인, 잡음을 배제할 만큼 임계치를 높게 잡는 방식은 복제 실험에서 살아남지 못했습니다. 이미 냉동 비교를 통해 추정된 설계에서는 영가설이 여전히 0이 아니었기 때문입니다. 저자들은 이를 대신해, 다중 비교 오류율 통제를 적용한 풀링 기준선에 대한 문제별 정확 검정을 사용합니다.
범위를 정직하게 밝히면
이는 하나의 규모에서 하나의 모델 계열과 하나의 적응 방법을 다룬 연구입니다. 자기개선이 환상이라는 뜻은 아닙니다. 다만 이를 탐지하는 데 흔히 쓰이는 도구들이, 원래는 그런 신호를 낼 수 없는 시스템에서 강한 신호를 기록한다는 점을 보여줍니다. 즉, 측정 바닥값은 애초에 측정되지 않았기 때문에, 발표된 효과 크기가 그 바닥보다 크다고 믿을 수 없습니다.