Anthropic은 8월 18일 실험실 검증 결과를 공개했으며, 이 결과에서 Claude는 15개 표적을 상대로 de novo 단백질 바인더를 설계해 14개에 대해 검증된 바인더를 만들어냈습니다. 이 최상위 수치는 사실입니다. 그러나 논문에서 가장 정보가 적은 숫자이기도 합니다.
이번 실험이 만들어낸 결과
1,320개 설계에서 354개의 검증된 바인더가 나왔습니다. 15개 표적을 한 번에 48시간 세션으로 공략한 멀티 타깃 모드에서는 적중률이 22.6~26.7%였고, 표적별로 24시간 세션을 따로 진행한 싱글 타깃 모드에서는 Mythos Preview가 35.1%를 기록했습니다. Anthropic이 제시한 유사 캠페인의 현장 기준치는 10~15%입니다. 모델별 강점도 달랐습니다. Opus 4.8은 Mythos Preview가 실패한 TNFα에서 성공했습니다.
흔히 알려진 설명의 오류
세 가지입니다. 첫째, “14개 중 15개”는 성공률이 아닙니다. 적어도 하나의 설계가 결합한 표적의 개수일 뿐입니다. 이 작업을 설명하는 수치는 22.6~35.1%이며, 이는 대략 설계 4건 중 3건은 여전히 실패한다는 뜻입니다. 둘째, 이것은 신약 개발이 아닙니다. Anthropic의 자체 페이지는 minibinder가 “약물의 표준 치료 양식이 아니다”라고 밝힙니다. 유효성 데이터도, 동물 실험도, 후보물질도 없습니다. 셋째, 비용은 어떤 요약에도 빠져 있습니다. 멀티 타깃 세션은 최대 12,500 NVIDIA H100시간을 사용했고, 싱글 타깃 실행은 표적당 최대 2,500 H100시간이 들었습니다. 이는 채팅 프롬프트가 아니라 산업적 컴퓨팅 캠페인이었습니다.
중요한 실패
maltose-binding protein에 대해서는 Claude가 90개 설계를 만들었지만 90개 중 어느 것도 결합한 것으로 확인되지 않았습니다. 다만 하나는 약하게나마 재현 가능한 결합을 보였습니다. 14개 표적에서는 작동하고 15번째에서는 완전히 무너지는 방법은 아직 실패 양상이 이해되지 않았다는 뜻이며, Anthropic도 그 이유를 이해한다고 주장하지 않습니다.
최상위 모델에는 기능이 막혀 있습니다
성과는 Mythos Preview와 Opus 4.8에서 나왔습니다. 단백질 설계는 이중용도 우려를 이유로 Anthropic의 가장 강력한 모델인 Claude Fable 5의 일반 접근에서는 여전히 제공되지 않습니다. 어떤 능력을 공개하면서 동시에 판매는 거부하는 연구실이라는 점이 이번 발표의 이례적인 부분입니다.
반론
Martin Shkreli는 이 작업이 “인상적이지 않다”고 말하며, “affinity가 peptidic에 대해 꽤 낮다”고 주장했습니다. 또 “이들은 유용한 프로브 분자가 아니다. intracellular이 아니기 때문에, 결합체 중 어느 것도 세포 내에 있지 않다는 점에 주목하라”고 말하며, extracellular binder에 대해서는 이미 monoclonal antibody라는 확립된 대안이 있다고 주장했습니다.