Google은 8월 26일 17:00 UTC에 음성 인터페이스를 겨냥한 음성-텍스트 모델 Gemini 3.5 Transcribe를 발표했습니다. 해당 게시물에는 단어 오류율 수치가 네 개 담겼습니다. 그중 두 개가 자주 인용될 것이며, 나머지 두 개는 다국어 성능을 설명하는 수치입니다.
두 쌍의 수치
첫 번째 쌍은 외부 평가기관인 Artificial Analysis의 측정치입니다. 해당 모델은 "스트리밍에서는 평균 단어 오류율(WER) 4.0%, 비스트리밍 사용 사례에서는 2.6%를 기록한다"고 적시됐습니다. 두 번째 쌍은 Google이 FLEURS 다국어 벤치마크에서 상위 언어와 지역 전반을 대상으로 측정한 자체 수치로, "스트리밍 모드에서 5.50% WER, 비스트리밍 사용 사례에서 5.04% WER"입니다. 게시물 안의 가장 좋은 수치와 가장 나쁜 수치 사이의 격차는 2.1배입니다.
흔한 해석이 놓치는 부분
널리 퍼지는 수치는 2.6%이며, 이는 해당 모델이 85개 이상의 언어를 지원한다는 주장과 함께 붙고 있습니다. 그러나 두 수치는 서로 다른 측정값입니다. 2.6%는 게시물이 말하는 주요 사용 사례의 평균치이며, 표준 다국어 벤치마크에서의 다국어 수치는 5.04%로, 거의 두 배에 가깝습니다. 전사 모델의 오류율은 어떤 언어 집합과 오디오 조건에서 측정됐는지를 함께 봐야만 의미가 있으며, 이번 게시물은 두 수치를 모두 공개했다는 점에서 이례적으로 투명합니다. 왜곡은 그 다음 단계에서 발생합니다. 외부 평가 수치가 다국어 주장에 덧붙여지면서, 원문 어디에도 없는 사양처럼 보이게 되는 것입니다.
출시가 아닌 미리보기
상태는 공개 미리보기입니다. 이 표현이 중요한 역할을 합니다. 해당 모델은 Google AI Studio의 Gemini API와 Gemini Enterprise 에이전트 플랫폼을 통해 사용할 수 있으며, 일부 국가와 언어의 Android용 Rambler, macOS용 Gemini 앱, 그리고 Gboard와 Google Antigravity에도 포함됩니다. Chrome은 곧 제공될 예정으로 표시돼 있습니다. 공개 미리보기에는 서비스 수준 약속도, 가격 안정성 보장도, 현재 형태의 엔드포인트가 유지될 것이라는 보장도 없습니다.
헤드라인보다 중요한 스트리밍 격차
두 쌍 모두에서 스트리밍 수치가 비스트리밍보다 더 나쁩니다. 각각 4.0% 대 2.6%, 그리고 5.50% 대 5.04%입니다. 이는 예상 가능한 일입니다. 스트리밍 모델은 문장의 나머지를 듣기 전에 단어를 확정해야 하기 때문입니다. 그러나 실제로는 스트리밍 수치가 이 모델이 겨냥한 적용처인 실시간 음성 에이전트를 좌우합니다. 누군가 2.6%를 기준으로 음성 제품을 평가한다면, 이는 일부 조건에서의 배치 처리 수치를 기준으로 삼는 셈이며, 제품이 실제로 쓸 만한지 판단하게 될 수치는 다국어 스트리밍 수치인 5.50%입니다.