Pular para o conteúdo
Editoria Dell

xAI é processada após Grok ser usado para remover hijab de mulher muçulmana

Escritora muçulmana acusa a empresa de negligência por permitir a criação de imagens falsas e pede indenização de até US$ 250 mil.

Prefira o Hardware no Google

A xAI, empresa responsável pelo desenvolvimento do Grok, está sendo processada por uma escritora e ativista muçulmana após usuários utilizarem a inteligência artificial para remover seu hijab e criar imagens sexualizadas sem sua autorização. A ação foi apresentada por Amani Al-Khatahtbeh, fundadora da plataforma de mídia Muslim Girl, que acusa a companhia de permitir a produção e distribuição desse tipo de conteúdo.

O caso teve início em janeiro, quando Al-Khatahtbeh publicou uma selfie nas redes sociais durante a posse de Zohran Mamdani como primeiro prefeito muçulmano de Nova York. Na fotografia, ela aparecia usando um hijab preto e um casaco roxo. Pouco depois, usuários começaram a responder à publicação com comandos direcionados ao Grok, solicitando alterações na imagem.

Entre os pedidos estavam instruções para remover seu hijab, substituir suas roupas por biquínis e lingerie, e produzir outras representações sexualizadas. Segundo a reportagem da WIRED, que teve acesso a capturas de tela dos comandos e de algumas imagens geradas, o sistema executou essas solicitações.

Al-Khatahtbeh descreveu a experiência como uma violação pessoal, comparando a remoção digital de seu hijab a alguém arrancá-lo à força em público. A diferença, segundo ela, é que as imagens foram compartilhadas com dezenas de milhares de pessoas na internet.

European Companies May Ban The Hijab At Workplaces Under Certain  Conditions, Top Court Rules

Processo acusa xAI de negligência

Apresentada na quarta-feira (18), em um tribunal federal do Distrito Norte da Califórnia, a ação acusa a xAI de distribuição intencional de imagens sexuais não consensuais, defeitos de projeto e comercialização, negligência e imposição intencional de sofrimento emocional. A autora busca indenizações de até US$ 250 mil por violação do Código Civil da Califórnia.

A estratégia jurídica também procura responsabilizar a xAI pelas características do próprio produto. Hillary Nappi, advogada que representa Al-Khatahtbeh e lidera um grupo especializado em casos de violência sexual, argumenta que o Grok deveria ter sido desenvolvido com mecanismos capazes de impedir a criação de imagens sexualizadas de pessoas reais sem consentimento.

A denúncia também afirma que a inteligência artificial poderia ter sido projetada para recusar comandos que solicitassem a remoção de vestimentas religiosas, como hijabs, abayas e outros trajes usados por mulheres muçulmanas.

Segundo o documento, esses tipos de roupas são facilmente reconhecidos pelos modelos de inteligência artificial, tornando simples a execução de comandos para removê-los quando não existem proteções adequadas.

Para Nappi, a responsabilidade não deve ser diferente daquela aplicada a outros produtos que causam danos aos consumidores. A advogada afirmou à WIRED que processos judiciais são uma das maneiras de pressionar grandes empresas de tecnologia a promover mudanças.

Ação também envolve ataques contra mulheres muçulmanas

Para Al-Khatahtbeh, o problema vai além da criação de imagens sexualizadas. A ativista afirma que os ataques também foram acompanhados por mensagens racistas e manifestações de hostilidade contra muçulmanos.

Nas respostas à publicação original, usuários não apenas pediram a remoção de seu hijab, mas também publicaram comentários com conteúdo anti-muçulmano e comandos para substituir suas roupas por outras vestimentas religiosas.

O Council on American-Islamic Relations (CAIR), uma das maiores organizações de defesa dos direitos civis dos muçulmanos nos Estados Unidos, já havia solicitado que Elon Musk interrompesse o uso do Grok para assediar mulheres muçulmanas.

Agora, com o processo contra a xAI, Al-Khatahtbeh espera que o caso ajude a estabelecer limites para o uso de inteligência artificial na criação de imagens envolvendo pessoas reais.

Reação da comunidade divide opiniões

A Muslim Author Is Suing xAI After People Used Grok to Strip Her Hijab | “The only way you get some change against Big Tech is to sue them,” says lawyer Hillary Nappi
byu/Just-Grocery-2229 intechnology

A discussão sobre o processo também gerou opiniões bastante divergentes no Reddit. Em uma publicação no subreddit r/technology, usuários debateram até que ponto empresas de inteligência artificial devem ser responsabilizadas pelo uso indevido de suas ferramentas.

Uma das principais discussões envolve a diferença entre ferramentas tradicionais de edição, como o Photoshop, e sistemas como o Grok, já que ambas permitem chegar ao mesmo resultado. Alguns usuários argumentaram que empresas não deveriam ser responsabilizadas por todas as alterações feitas por terceiros em suas plataformas, comparando a situação ao uso de armas ou outros produtos para fins criminosos.

Por outro lado, houve quem destacasse que o Grok não funciona exatamente como um programa convencional de edição. Nesse caso, os usuários fornecem comandos diretamente à inteligência artificial, que produz as imagens solicitadas. Para essas pessoas, isso torna a xAI mais diretamente envolvida no processo e aumenta sua responsabilidade em impedir solicitações abusivas.

O consentimento também apareceu como um dos principais argumentos em defesa da ação. Alguns participantes ressaltaram que o problema não está necessariamente na vestimenta religiosa, mas na criação de imagens sexualizadas de uma pessoa real sem sua autorização. Outros criticaram a quantidade de comentários que minimizaram o ocorrido por envolver o hijab, apontando a presença de preconceito religioso.

Também houve preocupação com os limites da regulamentação. Parte dos usuários teme que responsabilizar empresas por imagens geradas por IA possa abrir precedentes para restrições à liberdade de expressão, sátiras e representações artísticas.

Assim, a discussão acabou evidenciando uma divisão sobre uma questão cada vez mais relevante: se empresas de IA devem responder apenas pelo funcionamento de suas ferramentas ou também pelos conteúdos que seus sistemas são capazes de gerar a pedido dos usuários.

 
Prefira o Hardware no Google
Foto de Vinicius Dias
Postado porVinicius Dias
Siga em:
Compartilhe

Newsletter do Hardware

Tecnologia, games, IA e internet: nossa seleção de conteúdo direto no seu e-mail.

Sem spam. Cancele quando quiser. Política de privacidade.


Deixe seu comentário