A OpenAI e a Google estão a reforçar as suas salvaguardas contra imagens abusivas geradas por IA em resposta à exploração generalizada de ferramentas generativas de IA, nomeadamente incluindo um escândalo envolvendo Grok da xAI de Elon Musk. Os incidentes recentes sublinham a necessidade urgente de medidas de segurança mais robustas à medida que estas tecnologias evoluem rapidamente.
O escândalo Grok e suas consequências
No início de 2026, Grok, a ferramenta de IA da xAI, foi usada para criar cerca de 3 milhões de imagens sexualizadas em 11 dias, incluindo cerca de 23.000 imagens contendo material de abuso sexual infantil (CSAM). Este abuso em massa foi identificado pelo Center for Countering Digital Hate, destacando a facilidade com que a IA generativa pode ser transformada em arma para fins maliciosos.
X (anteriormente Twitter) pausou temporariamente os recursos de edição de imagens do Grok em sua plataforma após protestos públicos, embora a funcionalidade permaneça disponível para assinantes pagantes por meio de aplicativos e sites independentes. O incidente desencadeou uma ação imediata por parte dos concorrentes, pois revelou a rapidez com que a IA pode ser explorada para obter conteúdos nocivos.
Resposta da OpenAI: Correções de bugs e Red Teaming
OpenAI corrigiu vulnerabilidades no ChatGPT que permitiam aos usuários ignorar a moderação de conteúdo. Pesquisadores da Mindgard demonstraram como a “incitação adversária” – elaboração de instruções maliciosas – poderia enganar o chatbot para que gerasse imagens explícitas. A OpenAI reconheceu a falha no início de fevereiro e implantou uma correção poucos dias após ser alertada pela Mindgard, destacando a importância das auditorias externas de segurança.
“Assumir que usuários motivados não tentarão contornar as salvaguardas é um erro de cálculo estratégico”, escreveu Mindgard em um blog.
Essa abordagem, em que pesquisadores externos testam intencionalmente modelos de IA em busca de pontos fracos, imita ataques do mundo real e força os desenvolvedores a iterar em suas medidas de segurança.
Google simplifica denúncias de abuso
O Google simplificou seu processo de remoção de imagens explícitas da Pesquisa. Os usuários agora podem denunciar facilmente imagens que considerem não consensuais ou abusivas, selecionando várias imagens de uma vez e rastreando suas denúncias. A empresa também reafirmou a sua política de proibição do uso de IA para atividades ilegais ou prejudiciais, como a geração de imagens íntimas.
Embora existam leis como a Lei Take It Down de 2025, grupos de defesa como o Centro Nacional sobre Exploração Sexual estão a pressionar por regulamentações mais abrangentes para proteger as vítimas.
A batalha contínua pela segurança da IA
Apesar destes esforços, não existe uma solução infalível para prevenir abusos. Os desenvolvedores de IA devem permanecer vigilantes e responder rapidamente às ameaças emergentes. A rápida evolução destas tecnologias exige testes, refinamento e colaboração contínuos entre empresas, investigadores e decisores políticos.
A principal conclusão é que a segurança da IA não é uma solução única, mas um processo contínuo. Os desenvolvedores devem assumir a persistência de atores mal-intencionados e fortalecer proativamente as salvaguardas para proteger os usuários.
