이탈리아의 공격적 보안 전문 업체가 Anthropic과 OpenAI의 frontier 모델을 오픈소스 내부고발 플랫폼인 GlobaLeaks의 소스 코드에 적용했으며, 그 결과 나온 내용을 공개했다. 확인된 취약점은 29건, 서비스 거부 문제는 12건, 하드닝 관찰 사항은 42건이었다. 이 플랫폼은 약 10년에 걸친 독립적인 인간 감사의 대상이 돼 왔다.
대상은 만만한 편이 아니었다
중요한 것은 개수보다 대상의 난이도다. GlobaLeaks는 언론사와 반부패 기관들이 사용하며, 이미 이를 깨뜨리기 위해 비용을 치른 사람들에 의해 반복적으로 검토돼 왔다. 검증되지 않은 코드베이스에서 버그를 찾는 것보다, 그곳에서 무엇이든 찾아내는 일이 더 강한 주장이다.
헤드라인이 숨긴 비율
모델들은 후보 발견 110건을 제시했다. 인간의 선별 검토 결과 29건이 확인됐다. 이는 대략 26%의 정밀도에 해당한다. 즉, 모델이 제시한 것의 약 4분의 3은 검토를 거치지 못했다. AI가 실제 소프트웨어 취약점을 식별할 수 있다는 보도 제목은 사실이지만, 그 대가를 생략하고 있다.
77달러가 가리는 것
이 연구는 총 3,140달러를 들여 12,000건의 요청과 12억4,000만 토큰을 처리했고, 확인된 발견 1건당 약 77달러가 들었다고 보고한다. 다만 해당 수치는 인간 검증 이전 기준이라고 원문에 적시돼 있다. 110개의 추정을 29건의 발견으로 바꾼 전문 검토는 바로 확인을 만들어낸 단계이지만, 그 비용은 이 숫자에 포함되지 않았다. 연구가 제시한 결론 역시 전문가의 결정적 역할을 인정한다.
총액보다 비용 분해를 읽어야 한다
나머지보다 더 멀리 퍼지는 수치가 하나 있다. 고급 추론 모델은 토큰의 7%를 처리하는 동안 예산의 62%를 소모했다. 이것이 검토 업무에서 추론 모델의 실제 경제성이다. 비용은 일의 얇은 일부에 집중된다. 출처에 관해 두 가지 유의점이 있다. 이는 정확히 이런 서비스를 판매하는 업체의 벤더 자체 보고다. 또한 29건이라는 수치에는 공개된 심각도 구분이 없으므로, 이를 29건의 치명적 취약점으로 읽어서는 안 된다. 나머지 54건은 서비스 거부와 하드닝 제안이며, 악용 가능한 구멍은 아니다.