В четверг Google добавила в Google Earth генеративное редактирование изображений, а в пятницу убрала его. За это время исследователи и журналисты продемонстрировали, что функция по запросу выдает убедительные поддельные спутниковые снимки.

Что создавали пользователи

Примеры, которые разошлись по сети, не были тонкими сбоями реалистичности. Среди них были кратеры от взрывов рядом с больницей в Газе, колонны людей на границе США и Мексики, а также несуществующие ядерные объекты. Исследователь Henk van Ess публично продемонстрировал этот сбой; он не нашел ошибку, а использовал функцию так, как она была задумана.

Почему водяной знак не помог

Первой линией защиты Google было утверждение, что каждое сгенерированное изображение несет маркировку происхождения SynthID и пометку AI-generated в интерфейсе. Но эта защита отвечает на другую угрозу. Изображения, которые распространялись, — это скриншоты, а скриншот помеченного изображения не сохраняет ни саму пометку, ни водяной знак. Происхождение, встроенное в файл, не переживает то, как этот контент реально распространяется.

Что это не затронуло

Сгенерированные изображения никогда не меняли общий базовый слой Google Earth. Никто не редактировал карту, которую видят все остальные. Формулировка о том, что сам Google Earth был скомпрометирован, неверна — риск заключался в том, что сфабрикованный вид можно было зафиксировать и выдать за результат реального продукта, который пользуется доверием как спутниковый снимок.

Пауза, по словам Google

Компания заявляет, что откатывает эту возможность пока работает над внедрением более надежных защитных ограничений перед тем, как снова включить генерацию изображений в Google Earth. Это явное намерение вернуться к функции, а не полный отказ от нее. Сроков не названо, и Google не уточнила, как должны выглядеть достаточные ограничения для инструмента, чья главная привлекательность — делать карту похожей на то, чем она не является.

Двадцать четыре часа — вот что важно

Функция вышла в четверг и исчезла к пятнице. Никому не понадобились недели, чтобы обнаружить проблему: Federation of American Scientists опубликовала материал об этом, NPR тоже рассказала о случившемся, а демонстрации появились уже через несколько часов после запуска. Такой быстрый откат — не признак тонкого изъяна, проскользнувшего мимо проверки. Он скорее говорит о том, что очевидный вопрос либо не был задан, либо на него ответили, сославшись на водяной знак, — а этот ответ не сработал.