AI Observatory는 사용자의 동의를 받아 수집한 실제 AI 대화를 7개 데이터셋에 걸쳐 통합한 공개 플랫폼으로, Anthropic의 업무 중심 분류 방식을 자체 코퍼스에 적용했다. MIT Technology Review는 8월 18일 이 결과를 보도했다.
필터가 무엇을 제거하는가
대화의 거의 절반인 48%가 비업무 관련으로 분류돼 걸러질 것으로 나타났다. 제외된 부분은 무작위적인 잔여물이 아니었다. 공개된 분석과 비교하면, 제외된 대화에서는 건강 및 관계(44.2% 대 31.2%), 성인 및 불법 주제(7.9% 대 2.1%), 괴롭힘 및 혐오(27.5% 대 5.66%), 성적 콘텐츠(16.7% 대 2.4%)의 비율이 눈에 띄게 더 높았다.
통상적인 해석이 놓치는 점
이는 연구소가 무언가를 숨겼다는 뜻의 발견은 아니다. AI의 경제적 활용을 연구하도록 설계된 방법론은 비업무 대화를 제외하는 것이 목적이며, 그것이 명시된 취지다. 문제는 이런 수치가 방법론의 맥락을 벗어나 채팅봇을 사람들이 일반적으로 어떻게 사용하는지에 대한 설명처럼 인용될 때 생긴다. 제거되는 절반은 압도적으로 민감한 대화들이어서, 업무 분류 사용 통계에 기대는 공개 논의는 그 논의와 가장 관련이 클 가능성이 높은 상호작용을 체계적으로 배제한 표본에 근거해 주장하는 셈이 된다.
비교에는 분명한 한계도 있으며, 그 점은 이 결론에 불리하게 작용한다. 기부자들은 자기 선택적이다. 연구 프로젝트에 채팅 로그를 자원해 제공한 사람들은 사용자 전체의 무작위 표본이 아니며, 그들이 일반 인구와 같은 방식으로 치우쳐 있다고 가정할 뚜렷한 이유도 없다. 또한 이 코퍼스는 2023년부터 2025년까지의 자료를 담고 있어, 현재 출시되는 모델이 아니라 이전 세대의 채팅봇을 보여준다.
독립적 측정이 드문 이유
대중이 AI를 어떻게 쓰는지에 대해 아는 거의 모든 것은 이를 판매하는 회사들로부터 나오며, 그들 자신의 기준으로, 다른 누구도 볼 수 없는 데이터에 기반해 측정된다. 기부된 로그 코퍼스는 그에 비하면 취약한 도구지만, 연구소 밖의 누구라도 공개된 방법을 다시 실행해 그 방법이 무엇을 제외하는지 확인할 수 있게 해 주는 몇 안 되는 수단 가운데 하나다.