Anthropic은 8월 26일 외부 학계 파트너들에게 Claude 사용 데이터에서 도출한 결과에 접근할 수 있게 한 시범사업을 소개하는 글을 공개했다. 여기에는 Stanford와 University of Oxford의 연구실도 포함됐다. 이는 실질적인 진전이다. 최첨단 어시스턴트를 사람들이 실제로 어떻게 사용하는지에 대해 알려진 내용의 상당 부분은 이를 운영하는 회사 밖에서는 나오지 않는다. 그러나 제시된 프레임보다 훨씬 더 제한적이기도 하다.
연구자들이 실제로 받은 것
대화가 아니다. Anthropic은 연구자들이 "원문 대화에는 접근하지 못했고, 내부 업무와 동일한 법적·개인정보 검토를 거친 뒤 집계된 결과만 보았다"고 밝힌다. 접근 단위는 연구자가 제시한 질문에 대해 Anthropic의 자체 분석 시스템이 생성한 검토된 집계값이다. 연구자가 질문을 지정하고, Anthropic의 पाइ프라인이 답을 생성하며, 그 사이에 검토 관문이 놓인다.
가장 중요한 제약
코퍼스에 대한 실증 연구는 반복적이다. 질문을 던지고, 답의 형태를 보고, 분류가 잘못됐음을 발견한 뒤, 이를 다시 정의해 재차 질문한다. Anthropic은 이것이 불가능했다고 분명히 밝힌다. "외부 파트너들은 그렇게 할 수 없었는데, 각 데이터셋을 공유하기 전에 반복적인 개인정보 검토가 필요했다면 연구가 불가능했을 것이기 때문"이라는 것이다. 우회책은 공개 대화 데이터셋인 WildChat을 상대로 질문을 개발하고 시험한 뒤, 확정된 버전을 Claude 데이터에 한 번만 적용하는 것이었다. 연구자들은 자신들이 연구하던 것과는 다른 코퍼스에서 측정 도구를 다듬었다.
흔한 해석이 놓치는 것
이번 연구에서 떠도는 수치 두 개가 있다. 하나는 대화의 절반 이상이 중요한 과제를 위임하는 내용을 담고 있다는 것이고, 다른 하나는 거의 4분의 3이 Claude가 보조하는 가운데 사람이 작업을 지휘한다는 점이다. 이 수치들은 서로 모순처럼 들린다. 대부분의 업무가 위임되고, 대부분이 인간 주도라니. 그러나 실제로는 그렇지 않다. 서로 다른 분모를 기준으로 계산됐기 때문이다. 위임 비율은 조사된 대화 전체를 기준으로 하고, 지휘 비율은 인간-AI 협업 역할을 검토한 하위 집합을 기준으로 한다. 마치 같은 모집단을 설명하는 것처럼 나란히 인용하면, 원문에는 존재하지 않는 역설을 만들어낸다. Anthropic은 또 각 연구에서 범주와 대화의 5% 미만이 삭제되거나 수정된 정책 위반 콘텐츠와 관련됐다고 밝히는데, 이는 검토된 집계값이 원자료에서 얼마나 벗어나는지를 제한하는 대목이다.
그럼에도 이 설계가 의미 있는 이유
제한된 접근의 대안은 아예 접근이 없는 것이며, 이 분야는 후자에 의존해 굴러왔다. 이번 시범사업으로는 인과적 연구나 탐색적 연구, 즉 연구자가 예상치 못한 결과를 따라가야 하는 모든 작업은 뒷받침할 수 없다. 그러나 사전에 지정한 질문에 대한 확인적 연구는 가능하다. 이는 분명 하나의 범주이며, 이 배치를 정확히 설명하는 일은 이 결과를 독립적인 발견으로 취급하는 것과, 독립적으로 지정되고 내부적으로 생성된 발견으로 취급하는 것의 차이다.