Anthropic ha pubblicato il 18 agosto risultati validati in laboratorio in cui Claude ha progettato de novo binder proteici contro 15 target, ottenendo binder confermati per 14. Il dato principale è reale. È anche il numero meno informativo del paper.
Cosa ha prodotto l'esperimento
Da 1.320 progetti sono arrivati 354 binder confermati. In modalità multi-target, in cui tutti e quindici i target sono stati attaccati in un'unica sessione di 48 ore, i tassi di successo si sono attestati al 22,6–26,7%; in modalità single-target, con sessioni separate di 24 ore, Mythos Preview ha raggiunto il 35,1%. Il baseline di Anthropic per campagne comparabili sul campo è del 10–15%. Modelli diversi hanno mostrato punti di forza diversi: Opus 4.8 ha avuto successo contro TNFα dove Mythos Preview ha fallito.
Ciò che la narrazione comune sbaglia
Tre cose. Primo, "14 su 15" non è un tasso di successo — è il conteggio dei target per cui almeno un progetto si è legato. Il tasso che descrive il lavoro è 22,6–35,1%, il che significa che circa tre progetti su quattro falliscono ancora. Secondo, non si tratta di drug discovery: la stessa pagina di Anthropic afferma che i minibinder "non sono una modalità terapeutica standard per i farmaci". Non ci sono dati di efficacia, nessun lavoro sugli animali e nessun candidato. Terzo, il costo è assente da ogni riassunto. Una sessione multi-target ha consumato fino a 12.500 ore NVIDIA H100, e le esecuzioni single-target fino a 2.500 ore H100 per target. Si è trattato di una campagna di calcolo industriale, non di un prompt in chat.
Il fallimento che conta
Contro la maltose-binding protein, Claude ha generato 90 progetti e nessuno dei 90 è stato confermato come legato, anche se uno ha mostrato un debole legame riproducibile. Un metodo che funziona su quattordici target e crolla completamente sul quindicesimo è un metodo i cui modi di fallimento non sono ancora compresi — e Anthropic non sostiene di comprenderli.
La capacità è preclusa al modello migliore
I successi sono arrivati da Mythos Preview e Opus 4.8. La progettazione proteica resta non disponibile per l'accesso generale in Claude Fable 5, il modello più capace di Anthropic, per ragioni di dual use. Un laboratorio che pubblica una capacità che allo stesso tempo rifiuta di vendere è l'aspetto insolito di questo annuncio.
Il dissenso
Martin Shkreli ha definito il lavoro "non impressionante", sostenendo che "le affinità sono piuttosto basse per i peptidici" e che "questi non sono molecole sonda utili perché si noti che nessuna di esse è intracellulare" — i binder extracellulari, ha argomentato, hanno già un'alternativa consolidata negli anticorpi monoclonali.