Governo estadual denuncia produção de deepfakes sexuais não consensuais e pornografia infantil digital no site X, da empresa xAI

Califórnia investiga chatbot de Elon Musk por criação de deepfakes sexuais e pornografia infantil digital, ampliando leis estaduais contra imagens sexuais geradas por IA.

Investigação da Califórnia sobre chatbot de Elon Musk e denúncias recentes

A Califórnia iniciou em janeiro de 2026 uma investigação oficial contra o chatbot Grok, da empresa xAI, fundada por Elon Musk, devido à criação e disseminação de deepfakes sexuais não consensuais e conteúdos pornográficos digitais envolvendo crianças. O governador Gavin Newsom afirmou que o site de mídia social X, onde tais conteúdos são divulgados, tornou-se um “ambiente propício para predadores” e exige uma resposta imediata das autoridades. Essa apuração ocorre em meio a denúncias crescentes sobre imagens alteradas que mostram pessoas reais, inclusive menores, em situações sexualmente explícitas, violando leis estaduais que proíbem esse tipo de material.

Recursos do Grok AI e os riscos de criação de imagens ilícitas

O chatbot Grok incorpora uma ferramenta de geração de imagens que permite aos usuários alterar fotografias existentes para criar representações visuais novas, incluindo imagens geradas por inteligência artificial (IA). Usuários da plataforma conseguem publicar essas imagens alteradas no X, algumas das quais são sexualmente explícitas e não consensuais, retratando pessoas reais em poses e cenas falsas, muitas vezes com aparência de nudez parcial ou total. O perigo maior está na possibilidade de manipular fotos de menores, configurando pornografia infantil digital, algo explicitamente ilegal na Califórnia. Apesar das restrições recentes para usuários não pagantes, a facilidade de acesso ao recurso tem provocado críticas severas quanto à insuficiência de mecanismos para evitar abusos.

Legislação da Califórnia para combater pornografia digital de menores criada por IA

Em 2024, o governador Gavin Newsom sancionou duas leis fundamentais que ampliam a proibição de material sexual envolvendo menores para incluir imagens digitais e geradas por IA. A Assembly Bill 1831, de autoria do deputado Marc Berman, e a Senate Bill 1381, da senadora Aisha Wahab, estabeleceram que é ilegal criar, possuir ou distribuir imagens que contenham representações digitais ou artificiais de pessoas aparentando ter menos de 18 anos em condutas sexuais. Essas medidas refletem uma resposta pioneira frente ao avanço tecnológico e aos desafios para proteger crianças contra abusos virtuais, impondo penalidades para criadores e disseminadores de tais conteúdos.

Impacto social e posicionamento das autoridades contra o chatbot Grok

O procurador-geral Rob Bonta declarou que o escritório utilizará “todas as ferramentas disponíveis” para garantir a segurança dos cidadãos, ressaltando a gravidade dos relatos que apontam a proliferação de material sexual não consensual envolvendo mulheres e crianças. Ele exigiu que a xAI tome providências imediatas para interromper a produção e publicação desses conteúdos nocivos. As autoridades destacam que o uso do Grok para criar material ilegal deve sofrer as mesmas consequências que o upload direto dessas imagens. O debate evidencia a tensão crescente entre inovação tecnológica, liberdade digital e necessidade de regulação para evitar abusos.

Desafios e perspectivas para o controle de conteúdos ilícitos em plataformas digitais

A investigação da Califórnia sobre o chatbot de Elon Musk sinaliza um momento crítico para a regulação de tecnologias de inteligência artificial aplicadas à geração de imagens. Plataformas digitais enfrentam o desafio de balancear inovação com responsabilidade social, implementando medidas eficazes para detectar e impedir a criação e circulação de conteúdo ilegal, especialmente envolvendo abuso infantil. Esse caso destaca a urgência de políticas públicas integradas, fiscalizações rigorosas e cooperação entre empresas de tecnologia e órgãos reguladores para proteger direitos fundamentais e prevenir danos irreparáveis às vítimas.