#interpretability

Anthropic

Des chercheurs d'Anthropic ont testé leurs outils d'interprétabilité et n'ont trouvé aucun gain

Des autoencodeurs parcimonieux, des autoencodeurs en langage naturel et des oracles d'activation ont été évalués face à une base de référence qui se contente de lire la transcription. Aucun n'a fait mieux.

il y a 2 h

Une carte d'aperçu alphaXiv montrant le titre de l'article « Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments » à côté de la première page de l'article

Sécurité de l’IA

Les fautes de frappe et les paraphrases s’additionnent : deux chercheurs ont orienté des modèles de pointe avec des indices invisibles

Des choix de prompt pris isolément et sans signification s’additionnent presque de manière additive. En accumuler suffisamment permet de contrôler la réponse — et le même prompt fonctionne sur des modèles pour lesquels il n’a jamais été ajusté.

il y a 2 h

Une carte d’aperçu alphaXiv montrant le titre de l’article « Model Hypnosis: Strong control of AI via additive subliminal effects » par Enric Boix-Adsera et Benedict Tessler, à côté de la première page de l’article