#AI benchmarks

ИИ в здравоохранении

Новый бенчмарк показал: ИИ, читающий рентген, может опасно переоценивать себя, когда ошибается

RadLE 2.0 протестировал 16 передовых моделей на 200 рентгеновских случаях, используя систему оценки, которая штрафует уверенные ошибки; врачи-рентгенологи набрали 988,7 из 2 000 против 758 у лучшего ИИ.

1 дн назад

Модели ИИ

«Гонка бенчмарков — не главное»: руководители WAIC призывают переосмыслить оценку ИИ

Поскольку стандартные лидерборды переполнены и загрязнены, лидеры китайского ИИ заявили, что реальная эффективность в задачах — и такие метрики, как «ежедневно активные агенты», — должны заменить статичные бенчмарки.

1 дн назад