xAI é processada após Grok ser usado para remover hijab de mulher muçulmana
A xAI, empresa responsável pelo desenvolvimento do Grok, está sendo processada por uma escritora e ativista muçulmana após usuários utilizarem a inteligência artificial para remover seu hijab e criar imagens sexualizadas sem sua autorização. A ação foi apresentada por Amani Al-Khatahtbeh, fundadora da plataforma de mídia Muslim Girl, que acusa a companhia de permitir a produção e distribuição desse tipo de conteúdo.
O caso teve início em janeiro, quando Al-Khatahtbeh publicou uma selfie nas redes sociais durante a posse de Zohran Mamdani como primeiro prefeito muçulmano de Nova York. Na fotografia, ela aparecia usando um hijab preto e um casaco roxo. Pouco depois, usuários começaram a responder à publicação com comandos direcionados ao Grok, solicitando alterações na imagem.
Entre os pedidos estavam instruções para remover seu hijab, substituir suas roupas por biquínis e lingerie, e produzir outras representações sexualizadas. Segundo a reportagem da WIRED, que teve acesso a capturas de tela dos comandos e de algumas imagens geradas, o sistema executou essas solicitações.
Al-Khatahtbeh descreveu a experiência como uma violação pessoal, comparando a remoção digital de seu hijab a alguém arrancá-lo à força em público. A diferença, segundo ela, é que as imagens foram compartilhadas com dezenas de milhares de pessoas na internet.
Processo acusa xAI de negligência
Apresentada na quarta-feira (18), em um tribunal federal do Distrito Norte da Califórnia, a ação acusa a xAI de distribuição intencional de imagens sexuais não consensuais, defeitos de projeto e comercialização, negligência e imposição intencional de sofrimento emocional. A autora busca indenizações de até US$ 250 mil por violação do Código Civil da Califórnia.
A estratégia jurídica também procura responsabilizar a xAI pelas características do próprio produto. Hillary Nappi, advogada que representa Al-Khatahtbeh e lidera um grupo especializado em casos de violência sexual, argumenta que o Grok deveria ter sido desenvolvido com mecanismos capazes de impedir a criação de imagens sexualizadas de pessoas reais sem consentimento.
A denúncia também afirma que a inteligência artificial poderia ter sido projetada para recusar comandos que solicitassem a remoção de vestimentas religiosas, como hijabs, abayas e outros trajes usados por mulheres muçulmanas.
Segundo o documento, esses tipos de roupas são facilmente reconhecidos pelos modelos de inteligência artificial, tornando simples a execução de comandos para removê-los quando não existem proteções adequadas.
Para Nappi, a responsabilidade não deve ser diferente daquela aplicada a outros produtos que causam danos aos consumidores. A advogada afirmou à WIRED que processos judiciais são uma das maneiras de pressionar grandes empresas de tecnologia a promover mudanças.
Ação também envolve ataques contra mulheres muçulmanas
Para Al-Khatahtbeh, o problema vai além da criação de imagens sexualizadas. A ativista afirma que os ataques também foram acompanhados por mensagens racistas e manifestações de hostilidade contra muçulmanos.
Nas respostas à publicação original, usuários não apenas pediram a remoção de seu hijab, mas também publicaram comentários com conteúdo anti-muçulmano e comandos para substituir suas roupas por outras vestimentas religiosas.
O Council on American-Islamic Relations (CAIR), uma das maiores organizações de defesa dos direitos civis dos muçulmanos nos Estados Unidos, já havia solicitado que Elon Musk interrompesse o uso do Grok para assediar mulheres muçulmanas.
Agora, com o processo contra a xAI, Al-Khatahtbeh espera que o caso ajude a estabelecer limites para o uso de inteligência artificial na criação de imagens envolvendo pessoas reais.
Reação da comunidade divide opiniões
A Muslim Author Is Suing xAI After People Used Grok to Strip Her Hijab | “The only way you get some change against Big Tech is to sue them,” says lawyer Hillary Nappi
byu/Just-Grocery-2229 intechnology
A discussão sobre o processo também gerou opiniões bastante divergentes no Reddit. Em uma publicação no subreddit r/technology, usuários debateram até que ponto empresas de inteligência artificial devem ser responsabilizadas pelo uso indevido de suas ferramentas.
Uma das principais discussões envolve a diferença entre ferramentas tradicionais de edição, como o Photoshop, e sistemas como o Grok, já que ambas permitem chegar ao mesmo resultado. Alguns usuários argumentaram que empresas não deveriam ser responsabilizadas por todas as alterações feitas por terceiros em suas plataformas, comparando a situação ao uso de armas ou outros produtos para fins criminosos.
Por outro lado, houve quem destacasse que o Grok não funciona exatamente como um programa convencional de edição. Nesse caso, os usuários fornecem comandos diretamente à inteligência artificial, que produz as imagens solicitadas. Para essas pessoas, isso torna a xAI mais diretamente envolvida no processo e aumenta sua responsabilidade em impedir solicitações abusivas.
O consentimento também apareceu como um dos principais argumentos em defesa da ação. Alguns participantes ressaltaram que o problema não está necessariamente na vestimenta religiosa, mas na criação de imagens sexualizadas de uma pessoa real sem sua autorização. Outros criticaram a quantidade de comentários que minimizaram o ocorrido por envolver o hijab, apontando a presença de preconceito religioso.
Também houve preocupação com os limites da regulamentação. Parte dos usuários teme que responsabilizar empresas por imagens geradas por IA possa abrir precedentes para restrições à liberdade de expressão, sátiras e representações artísticas.
Assim, a discussão acabou evidenciando uma divisão sobre uma questão cada vez mais relevante: se empresas de IA devem responder apenas pelo funcionamento de suas ferramentas ou também pelos conteúdos que seus sistemas são capazes de gerar a pedido dos usuários.

Newsletter do Hardware
Tecnologia, games, IA e internet: nossa seleção de conteúdo direto no seu e-mail.
Inscrição feita!As próximas edições chegam no seu e-mail.


