O procurador municipal de São Francisco, David Chiu, ordenou em 17 de julho que Apple e Google removam 13 apps de IA "nudify" de suas lojas — ferramentas que usam modelos generativos de imagem para despir digitalmente pessoas reais sem consentimento — no que é apresentado como a primeira determinação municipal desse tipo para remoção em lojas de aplicativos nos EUA.

Os apps

Os 13 apps — oito na App Store da Apple e cinco no Google Play — em grande parte se promovem como ferramentas inofensivas de "face-swap", enquanto discretamente oferecem a capacidade de fabricar deepfakes sexuais depois de instalados. Chiu argumenta que esse enquadramento é uma fachada para o produto real.

A teoria jurídica

As cartas de cessar e desistir se apoiam na California's Unfair Competition Law e em estatutos contra imagens íntimas não consensuais, acusando as plataformas de "aiding and abetting" danos ao distribuir os apps e ficar com parte de sua receita. As empresas têm 28 dias para responder ou enfrentar penalidades civis de pelo menos US$ 25.000 por violação. Chiu disse que ambas já estavam "cientes" havia cerca de um ano.

A resposta das empresas

Ambas agiram rapidamente. A Apple disse que havia "removido três dos apps em questão e está em processo de encerrar suas contas de desenvolvedor", e que estava em contato sobre outros quatro. O Google disse que todos os cinco apps sinalizados no Play haviam sido suspensos e que apagou "centenas" de apps nudify no total.

Um inédito municipal

A importância da medida está no foro. Ao usar a legislação existente de proteção ao consumidor em nível municipal, Chiu contorna uma legislação federal de avanço lento e mira os dois gatekeepers com poder para realmente retirar os apps do ar. Se a iniciativa se mantiver, o roteiro será fácil de copiar para outros procuradores municipais e estaduais. Chiu também argumentou que as plataformas provavelmente lucraram milhões em taxas dentro dos apps com ferramentas que ambas proíbem oficialmente — uma lacuna entre a política escrita e a aplicação real que as cartas pretendem fechar à força.