Nature Medicine publicou dois documentos na manhã de 3 de setembro, registrados a poucos segundos de intervalo: um Matters Arising revisado por pares que contesta o artigo de junho de 2026 que afirmava que LLMs de fronteira de uso geral superam ferramentas especializadas de IA clínica, e a Reply dos autores originais. A revista os divulgou como um par deliberado.
O que a crítica argumenta
Que os benchmarks que produziram os maiores efeitos do estudo estão confundidos de maneiras que os próprios autores reconhecem, e que a avaliação restante é limitada em escopo, exagera sua precisão e se baseia em configurações de inferência que não são descritas ou controladas de forma adequada. A crítica inclui uma figura mostrando conteúdo recuperável do benchmark MedQA a partir de um modelo de fronteira — memorização do conjunto de teste, demonstrada e não apenas alegada.
O que os autores admitem
A Reply concorda que possível contaminação do MedQA e afinidade do avaliador do HealthBench podem limitar a generalização — sendo afinidade do avaliador a tendência de um juiz de LLM de preferir a saída de sua própria família de modelos — e afirma que o artigo trata esses dois benchmarks como suplementares. Os autores mantêm a conclusão principal sob as condições do estudo e da implementação. Essa conclusão principal se apoia no benchmark de consulta clínica real: 100 perguntas de médicos anonimizadas, revisadas às cegas por 12 clínicos dos EUA.
O que o enquadramento comum erra
O resultado de junho circulou como "ChatGPT supera as ferramentas de referência dos médicos" — um ranking geral de capacidade. Nunca foi isso e, depois de 3 de setembro, é ainda mais restrito: dois dos três pilares são admitidos como contaminados ou auto-favoráveis, e o pilar sobrevivente consiste em 100 perguntas em uma única instituição. A segunda correção importa para como isso é noticiado: um Matters Arising não é uma correção, uma retratação ou uma expressão de preocupação. O artigo original permanece. O que mudou é o escopo que seus próprios autores agora reivindicam para ele, no texto publicado.
Por que isso importa
Este é o artigo citado em argumentos de compras hospitalares contra o pagamento de assinaturas especializadas de IA clínica. A troca estabelece, na revista de referência, quanto peso esse argumento pode sustentar — e coloca contaminação de benchmark e vazamento de preferência do LLM como juiz no centro das decisões de compra médica, em vez de deixá-los como preocupações de metodologia de aprendizado de máquina.