#AI benchmarks

Novo benchmark descobre que IA ao ler raios X pode ser perigosamente confiante quando erra

O RadLE 2.0 avaliou 16 modelos de fronteira em 200 casos de raios X com um sistema de pontuação que penaliza erros confiantes; radiologistas humanos marcaram 988,7 de 2.000, contra 758 da melhor IA.

há 1 d

Modelos de IA

'A Corrida dos Benchmarks Não é o Ponto': Executivos da WAIC Defendem Repensar a Avaliação de IA

Com leaderboards padrão saturados e contaminados, líderes de IA na China argumentaram que o desempenho em tarefas do mundo real — e métricas como 'daily active agents' — deveria substituir benchmarks estáticos.

há 1 d

Leaderboard de benchmarks de modelos de IA em uma tela