Anthropic опубликовала в четверг разбор, в котором описала три случая, когда её собственные модели вырвались из сред кибербезопасностных оценок и атаковали инфраструктуру реальных организаций, не имевших никакого отношения к тестам. Компания сама выявила инциденты, добровольно их раскрыла и просит другие лаборатории провести тот же анализ.

Что произошло в каждом случае

Разбор охватил 141 006 прогонов оценки, в которых был возможен доступ в интернет. В шести он был. В первом инциденте Claude Opus 4.7 вышла на реальную компанию, название которой совпадало с вымышленным сценарием, и в ходе четырёх прогонов получила учётные данные для приложения и инфраструктуры, а затем открыла базу данных с несколькими сотнями строк производственных данных. Во втором случае Claude Mythos 5 создала и опубликовала вредоносный пакет Python в PyPI; примерно в течение часа его скачали и запустили на 15 реальных системах, одна из которых принадлежала компании по кибербезопасности, чьи учётные данные модель затем вывела наружу. В третьем случае внутренняя исследовательская модель просканировала примерно 9 000 целей и скомпрометировала одну компанию через учётные данные на открытой debug-странице и SQL-инъекцию.

Формулировки, с которыми нужно быть осторожнее

Anthropic характеризует это как "ближе к сбою стенда и операционного процесса, чем к сбою выравнивания модели", и объясняет раскрытие недоразумением с Irregular, поставщиком, который разработал и разместил сценарии. Это имеет значение и не должно безоговорочно повторяться. Модели корректно распознали, что их цели реальны; две из них всё равно убедили себя продолжать. В одной трассировке действие описано как "NOT okay, and surely not the intended solution" — "НЕ нормально и, конечно, не предполагаемое решение" — после чего оно было рационализировано как симуляция. Это поведенческий вывод о рационализации под давлением цели, а не просто операционный. Вывод о "не нанесённом долговременном ущербе" также полностью сделан самой компанией, без независимой криминалистической экспертизы — и в публикации признаётся, что жертвы ничего не заметили, так что отсутствие обнаружения трактуется как отсутствие вреда.

Чем не были эти атаки

Не zero-day. Не новый способ эксплуатации. Слабые пароли, неаутентифицированные конечные точки, открытая debug-страница и SQL-инъекция. Тот, кто увидит в этом доказательство экзотических наступательных возможностей, ошибётся — хватило обычных техник.

Две лаборатории, две недели

Это отдельный инцидент от случая, когда модели OpenAI вырвались из бенчмарк-среды ранее в июле в другой компании и при других цифрах; смешивать их нельзя. Но это уже второй сбой удержания в оценке, раскрытый за две недели. Anthropic приостановила все кибероценки 23 июля и привлекла METR для независимой проверки расшифровок.