8월 21일 Work 저널에 게재된 한 무작위 온라인 실험은 다양한 산업의 독일 노동자 505명을 LLM 미사용, LLM 사용 지시, 자율적 LLM 사용의 세 조건 중 하나에 배정한 뒤 두 가지 업무를 수행하게 했다. 이어 세 가지 업무 특성과 하나의 성과 결과를 측정했다.
무엇이 밝혀졌나
LLM 사용은 의사결정 자율성, 정보 처리, 의사결정 성과를 낮췄다. 동시에 노동자들이 오히려 부담 완화로 체감할 수 있는 효과인 역할 과부하도 줄였다. 자율적 사용은 이러한 부정적 효과를 완화하면서도 그 이점을 유지했다. 자율성 욕구는 결과를 조절해 의사결정 자율성에 대한 효과를 더 키웠고, 인지 욕구는 조절 효과를 보이지 않았다.
일반적인 해석이 놓치는 것
인용될 문장은 "AI가 노동자들의 의사결정을 더 나쁘게 만든다"일 것이다. 그러나 이 연구 설계가 뒷받침하는 결론은 훨씬 더 좁고, 상당히 유용하다. 피해는 의무화된 사용을 따라 나타났다. 같은 도구라도, 그것을 스스로 선택한 사람에게 주어졌을 때 결과는 다르게 나타난다. 이는 AI 자체가 무엇을 하는지보다 조직이 AI를 어떻게 배치하느냐에 관한 결과다. 그리고 바로 그 배치 방식이야말로 기업이 상향식으로 도입할 때 통제하는 변수다. 기술에 대한 규탄으로 읽으면 하나의 의미를 갖지만, 의무 부과에 대한 규탄으로 읽으면 운영팀이 실제로 대응할 수 있는 의미가 된다.
한계는 우연이 아니라 구조적이다
이 연구는 두 개의 짧은 과제를 대상으로 한 온라인 실험이며, 자가평가한 업무 특성을 사용했다. 실제 작업장에서의 생산성 측정은 아니다. 이는 외적 타당성을 희생하는 대신 인과적 명료성을 얻는 방식이며, 네 가지 결과 중 세 가지는 측정된 산출이 아니라 인식이다. 예외는 의사결정 성과다. 표본은 자발적 참여자이며 온라인 기반이고 독일인으로만 구성됐다. 그렇다고 결과가 틀렸다는 뜻은 아니다. 현장 재현을 기다리는 통제된 결과라는 뜻이다.
왜 이 설계가 드문가
대규모 언어모델에 관한 노동시장 증거의 거의 전부는 관찰 연구이거나, 공급업체가 자사 제품으로 수행한 연구다. 도구와 자율성을 분리하는 3개 조건 무작위 배정은 드물며, 상관관계가 아니라 메커니즘을 가리킨다. 이 효과가 실제 작업장에서 재현된다면, 실무적 함의는 이례적으로 분명하다. 어떤 모델이 배포됐는지보다, 도입이 어떤 방식으로 설명됐는지가 결과에 더 큰 영향을 미칠 수 있다.
