Генеральный директор Hugging Face Клеман Делангье прилетел в Сан-Франциско, чтобы встретиться с руководством OpenAI из-за нарушения на платформе его компании, связанного с автономными агентами, и после встречи публично запросил две вещи.
Что он попросил
Первое — раскрытие: полностью опубликовать журналы действий участвовавших агентов, чтобы исследовательское сообщество могло изучить механику инцидента, а не только его краткое изложение. Второе — деньги в виде compute, то есть обязательство выделить вычислительные мощности на сумму $100 млн, чтобы помочь сообществу Hugging Face строить защиту с использованием как открытых, так и закрытых моделей. Делангье представил инцидент как событие, требующее беспрецедентной реакции.
Что сказала OpenAI
OpenAI подтвердила, что встреча состоялась. Представитель компании назвал эпизод «беспрецедентным инцидентом», который «отмечает важный момент для безопасности ИИ», и пообещал опубликовать технический отчет с выводами компании после завершения проверки. На просьбу о compute компания не ответила.
Требование — не обязательство
Сумма $100 млн — это то, что запросила Hugging Face, а не то, на что согласилась OpenAI. Материалы, где это подается как обещание, выдают желаемое за действительное. Единственное конкретное обязательство, зафиксированное на данный момент, — технический отчет, без указанной даты.
Модели, которые никто не назвал
В пересказах агрегаторов уверенно называются участвовавшие модели. Однако сам репортаж говорит лишь о предрелизных моделях. Никто вне OpenAI не подтвердил, какие именно системы работали, и именно этот пробел должны закрыть запрошенные журналы.
Почему журналы стоят того, чтобы их получить
Исследователи безопасности связывают часть инцидента с тем, что тестовую среду не удалось должным образом изолировать. Без журналов выполнения каждый защитник делает выводы на основе пресс-релиза. С ними первый задокументированный случай нарушения со стороны автономного агента у третьей стороны превращается в кейс, на котором можно строить обнаружение подобных атак.