As ferramentas de Inteligência Artificial (IA) estão se tornando cada vez mais variadas e, com isso, sua disponibilidade para o público também está aumentando. Porém isso traz alguns riscos de mau uso da tecnologia e um exemplo atual disso é o Prime Voice AI.
O Prime Voice AI é uma plataforma de IA criado pela empresa ElevenLabs que consegue criar áudios personalizados dublando vozes a partir de pequenas amostras. Ou seja, ao ouvir uma voz, ela consegue imitar essa voz falando o que o usuário quiser, podendo ser uma voz de uma pessoa comum, uma celebridade e até mesmo dubladores de desenhos animados. Porém, pessoas estão usando isso para praticar discursos criminosos em práticas ilegais.
Leia também:
Open AI anuncia ChatGPT Plus; versão paga da inteligência artificial do hype
IA dedo-duro: ferramenta consegue identificar textos escritos por Inteligência Artificial
Entendendo melhor o Prime Voice AI
O Prime Voice AI é uma plataforma que foi lançado pela ElevenLabs. Essa empresa foi fundada por ex funcionários do Google e tem como objetivo trazer soluções usando a IA para o segmento de áudio. Ou seja, eles pretendem trazer uma ferramenta que funcione mais ou menos como o ChatGPT ou o DALL-E, mas ao invés de criar textos ou imagens, ela será focada na criação de áudios personalizados e feitos com inteligência artificial.
O aplicativo tem a função principal de clonar vozes e para isso é preciso que ele tenha acesso a uma amostra dessa voz, que precisa ter no mínimo 60 segundos. Essa clonagem é feita com detalhes para trazer o maior nível de realismo possível, inclusive podendo detectar e reproduzir sotaques diferentes.
Criação de áudios indevidos com vozes conhecidas usando IA
Porém, a ferramenta acabou causando um problema. De acordo com a própria ElevenLabs, foram encontrados diversos áudios indevidos gerados a partir da plataforma usando clonagem de voz de pessoas conhecidas. Entre os áudios estão alguns discursos de ódio, comentários impróprios, falas machistas e até mesmo homofóbicas. Algumas pessoas ainda tentaram enganar outras para aplicar golpes fingindo ser alguém famoso.
Crazy weekend – thank you to everyone for trying out our Beta platform. While we see our tech being overwhelmingly applied to positive use, we also see an increasing number of voice cloning misuse cases. We want to reach out to Twitter community for thoughts and feedback!
— ElevenLabs (@elevenlabsio) January 30, 2023
No 4chan houve até mesmo tópicos estimulando essas criações, principalmente o de uso celebridades ou até mesmo vozes de desenho animado. É o caso da atriz Emma Watson, por exemplo, que se tornou bastante conhecida por interpretar Hermione Granger nos filmes de Harry Potter. Algumas pessoas clonaram a voz da atriz e fizeram uma montagem com ela lendo uma seção do livro Mein Kampf, do nazista alemão Adolf Hitler.
Esse tipo de vídeo pode ser usado para espalhar notícias falsas rapidamente por mensageiros como o WhatsApp, nesse caso mostrando que a obra teria algum tipo de conteúdo antissemita inserido. Outro exemplo foi usar a voz do personagem Rick Sanchez do desenho Rick e Morty. No áudio, o personagem dizia que iria bater na esposa até a morte.
Esse áudio teve como intuito fazer uma referência ao próprio dublador do personagem, Justin Roiland, que foi acusado de violência domésticas e inocentado em 2020.
Diante disso, há ainda o medo de que mais e mais pessoas possam usar esse tipo de ferramenta para cometer crimes e até mesmo dar golpes em outras. Ela pode ser usada como uma espécie de deepfake em diversos sentidos.
ElevenLabs promete solução
Diante do problema crescente, a ElevenLabs já confirmou que estão trabalhando em formas de impedir que isso continue acontecendo e para proteger sua ferramenta de uso indevido e deepfake. Atualmente ao entrar no site da plataforma, só existe opções de vozes já pre-definidas no sistema de forma gratuita. A ferramenta para adicionar novas vozes e fazer upload é paga.
A empresa deverá adicionar algumas barreiras de copywright para impedir que áudios de pessoas famosas sejam usados sem permissão ou até mesmo para que o usuário precise se identificar antes de usar algo desse tipo. No Twitter, eles postaram algumas medidas que virão em breve.
While we can trace back any generated audio back to the user, we’d like to address this by implementing additional safeguards.
— ElevenLabs (@elevenlabsio) January 30, 2023
De acordo com eles, a própria empresa pode rastrear qualquer áudio que seja gerado pela plataforma, então é possível identificar os autores dos áudios criminosos. Além disso, eles também prometem outras soluções.
Uma delas é adicionar verificações para liberar a ferramenta de clonagem de voz como informações de pagamento ou até mesmo de identidade. Eles também prometem verificar os direitos autorais da voz que será clonada a partir do envio de um texto solicitado. Por fim, eles disseram que vão eliminar o Voice Lab e toda checagem de solicitação de clonagem será feita manualmente.
Hoje em dia é preciso de fato proteger esses tipos de solução com IA de uso incorreto, e é um cuidado que muitas empresas que trabalham nesse segmento já têm. No caso das plataformas de geração de imagens e arte, como o DALL-E, já existe mecanismos de segurança que impedem que a tecnologia seja usada para criar imagens com nomes de pessoas conhecidas como artistas, políticos e celebridades.
Eles também não aceitam a inserção de palavras que tenham conotações sexuais, que sejam palavrões ou que sejam termos associados a machismo, xenofobia, homofobia, racismo, entre outros.
Veja também
Sobre o Autor
Deixe seu comentário