월요일에 발표된 한 횡단 연구는 공개 기증 코퍼스에서 가져온 620,699개의 ChatGPT 대화에 하나의 분류기를 적용해, 정신건강 대화에 해당하는 범주를 서로 다른 두 정의로 나눠 분석했다. 보수적 정의 — 심리적 문제에 대한 명시적 도움 요청 — 에서는 1,317건, 0.21%(95% CI 0.20–0.22)로 나타났다. 확대 정의 — 정신건강 관련 주제가 조금이라도 포함된 경우 — 에서는 30,394건, 4.90%(95% CI 4.84–4.95)였다. 정의 선택만으로 23배의 차이가 난 것이다.
통상적 프레이밍이 놓치는 것
오독은 두 가지이며, 첫 번째는 출판사에 있다. 해당 학술지의 자체 색인 소개문은 이 연구를 청소년이 정신건강 우려를 논의하기 위해 AI 챗봇을 얼마나 자주 사용하는지에 관한 연구라고 설명한다. 그러나 사실이 아니다. 분석 단위는 연령 데이터가 전혀 없는 일반 이용자 공개 대화 코퍼스다. 이 메타데이터 한 줄을 근거로 청소년 안전 관련 헤드라인을 만든다면, 그 헤드라인은 메타데이터의 오류 위에 세워지는 셈이다. 두 번째는, 이 헤드라인 수치를 유병률로 읽게 될 것이지만, 사람의 유병률이 아니라 대화의 비율이라는 점이다. 이는 기증된 공개 코퍼스에서 분류기가 점수화한 결과이며, 이 분류기의 양성 예측도는 67%다. 즉 양성 판정의 약 3분의 1은 틀린다. 민감도는 87%, 특이도는 95%, 음성 예측도는 98%다.
격차 자체가 발견한 내용인 이유
"얼마나 많은 사람이 챗봇에 정신건강 문제를 가져가는가"는 현재 모델 제공업체와 규제 당국, 그리고 원고 측 변호사들이 모두 인용하고 있는 쟁점이며, 각자 원하는 답은 다르다. 이 논문은 그 수치가 측정으로 가장한 정책 선택임을 보여준다. 스트레스에 대한 스쳐가는 언급을 포함할지 말지만 정해도, 데이터를 전혀 건드리지 않고 23배까지 바뀔 수 있다는 뜻이다. 저자들의 대응은 건설적이다. 위기 및 고위험, 임상적 표현, 광범위한 정서적·대인관계적 범주로 나눈 단계적 분류 체계를 제안해, 숫자를 인용하는 사람이 어느 단계인지 밝혀야 하게 하자는 것이다.
명시된 한계
외부 검증이 없는 공개 코퍼스에 의존했다는 점, 애매한 고통 표현을 잘못 분류할 가능성, 그리고 분류 체계 기반 모니터링이 어떤 결과라도 개선하는지 검증하지 않았다는 점이다. 이 연구는 National Institute of Mental Health 보조금으로 지원됐다.
이 결과를 어떻게 봐야 하나
챗봇의 정신건강 사용에 대한 단일 비율은 그것의 정의, 분모, 분류기의 정밀도가 명시되지 않으면 불완전한 수치로 취급해야 한다. 현재 유통되는 수치의 대부분은 이 셋 중 어느 것도 밝히지 않는다.