Crossref의 27일 8월까지 24시간 동안의 철회 기록을 훑어보면 101건의 고지가 나온다. 이 가운데 약 90건은 세 개의 학회 시리즈, 즉 Journal of Physics: Conference Series, IOP Conference Series: Materials Science and Engineering, IOP Conference Series: Earth and Environmental Science를 통해 단일 출판사인 IOP Publishing에서 나왔다. 나머지는 MDPI, Springer, Frontiers, Wiley 전반에 흩어져 있으며, Science Advances에서도 1건이 있다.
주제 집중도
101개 제목 중 약 60%는 머신러닝, 신경망, 딥러닝 또는 인공지능을 언급한다. 이는 주제 인기도의 우연한 결과가 아니다. 높은 게재량과 느슨한 심사를 특징으로 하는 학회 논문 시리즈는 수년간 페이퍼밀 산출물의 주요 행선지였으며, 응용 머신러닝 제목은 대량 생산이 가장 쉽다. 표준화된 아키텍처와 공개 데이터셋, 성능 지표 표, 그리고 도메인 단어 하나를 바꾸는 방식이면 충분하다.
흔한 프레이밍이 놓치는 것
각 철회는 각자의 DOI와 함께 개별 고지로 발행되며, 각기 다른 논문에 붙는다. 연구자나 인용 관리 도구, 자동 문헌 도구가 이를 접하는 방식인 것처럼 개별적으로 읽으면, 이들 모두는 결함이 있는 단일 논문에 대한 통상적인 편집 정정처럼 보인다. 어느 개별 고지에도 같은 기간에 같은 출판사에서 다른 89건이 함께 발행됐다는 사실은 적혀 있지 않다. 이 규모는 거의 아무도 하지 않는, 일정 기간 전체를 가로지르는 레지스트리 조회를 해야만 드러난다. 그 결과, 대규모 무결성 조치는 구조적으로 그것이 대규모 조치임을 숨기는 채 전달된다.
왜 이 문제를 과소보도하면 안 되는가
철회된 머신러닝 논문은 인용이 멈추지 않는다. 이들은 참고문헌 목록과 서베이 논문에 남아 있고, 점점 더 다음 세대 문헌고찰을 작성하는 데 쓰이는 모델들의 학습 코퍼스에도 들어간다. 특정 논문을 열어본 독자에게만 도달하는 철회 고지는 전파되지 않는 정정이다. 철회된 연구 자체가 머신러닝 방법론에 관한 것일 때, 전파 실패는 곧바로 모델들이 그 방법론에 대해 무엇을 단정할지로 되돌아간다.
가시성을 개선하려면 무엇이 필요한가
고지 자체에는 결함이 없다. Crossref에 등록돼 있고, 기계가 읽을 수 있으며, 형식도 올바르기 때문에 이번 대량 조회가 집계 가능한 것이다. 부족한 것은 요약된 조치다. 즉, 건수와 영향을 받은 시리즈, 이를 낳은 조사, 적용된 기준을 담은 출판사 단일 성명이 필요하다. 그것이 없다면, 한 번에 약 90편이 철회됐다는 사실을 알 수 있는 유일한 방법은 직접 조회를 실행하는 것이며, 이를 알아차려야 하는 부담은 출판사가 아니라 독자에게 있다.