Pesquisadores conseguem desenvolver worm que ataca ferramentas de IA

Conforme as inteligências artificiais generativas, como o ChatGPT da OpenAI e o Gemini do Google, evoluem, seu uso em diversas aplicações práticas vem crescendo. No entanto, à medida que essas ferramentas se tornam mais autônomas e complexas, surgem novas vulnerabilidades que abrem novas e perigosas portas para grupos hackes e demais usuários com más intenções.

Recentemente, um grupo de pesquisadores apresentou um dos que podem ser considerados os primeiros worms de IA generativos capazes de migrar entre sistemas, com potencial para extrair dados ou disseminar software malicioso. “Isso abre portas para um tipo inédito de ataque cibernético”, explica Ben Nassi, da Cornell Tech, um dos responsáveis pelo estudo.

Leia também
Qual foi o primeiro antivírus do mundo?
Qual foi o primeiro vírus de computador?

Como o worm conseguiu “enganar” a IA?

Nassi e seus colaboradores batizaram o worm de Morris II, em referência ao infame worm Morris que perturbou a internet em 1988. Eles divulgaram um estudo detalhando como o worm pode comprometer assistentes de email baseados em IA para filtração de dados e propagação de spam, superando algumas barreiras de segurança dos sistemas ChatGPT e Gemini.

Este experimento, realizado em um ambiente controlado e não em uma aplicação de email real, acontece em um contexto onde os grandes modelos de linguagem estão adquirindo capacidades multimídia, podendo criar não só textos, mas também imagens e vídeos. Embora tais worms de IA ainda não tenham sido observados na prática, especialistas alertam para a potencial ameaça que representam para desenvolvedores, startups e corporações tecnológicas.

Os sistemas de IA generativa normalmente operam com base em prompts, ou instruções textuais, que direcionam as ferramentas para realizar tarefas específicas. No entanto, esses prompts podem ser manipulados para atacar os próprios sistemas. Técnicas de jailbreak podem induzir a IA a ignorar seus protocolos de segurança e gerar conteúdo prejudicial, enquanto ataques de injeção permitem inserir comandos ocultos que podem, por exemplo, transformar um chatbot em um instrumento de fraude bancária.

Para desenvolver o worm de IA generativa, os pesquisadores utilizaram um conceito chamado “prompt adversário autorreplicante“, que instrui a IA a gerar, em sua resposta, novos prompts. Esse processo é comparável a técnicas de ataque conhecidas como “SQL injection” e “buffer overflow”.

Os pesquisadores demonstraram a viabilidade do worm através de um sistema de email experimental que usava IA generativa, conectando-se ao ChatGPT, ao Gemini e ao modelo de linguagem LLaVA de código aberto. Eles identificaram duas formas de exploração: através de um prompt autorreplicante em texto e incorporando um prompt similar em arquivos de imagem.

OpenAI e Google já estão cientes

Pesquisadores simularam um ataque hacker com um e-mail contendo um prompt de texto perigoso que, quando processado pelo RAG (Retrieval-Augmented Generation) e passado para o GPT-4 ou Gemini Pro, pode resultar em roubo de informações. Nassi explicou que a resposta gerada pelo IA pode “infectar” mais sistemas ao ser usada para responder novos e-mails.

Outra técnica envolve uma imagem com prompt mal-intencionado que faz o assistente redirecionar e-mails, podendo disseminar spam ou conteúdo abusivo. Um vídeo da equipe mostra como mensagens podem ser encaminhadas repetidamente, alertando para o risco de vazamento de dados privados, como nomes e números de telefone.

Embora o estudo tenha identificado brechas nas defesas do ChatGPT e do Gemini, os autores da pesquisa enxergam essas falhas como um sinal de alerta acerca das falhas estruturais presentes no design dos sistemas de IA de forma mais ampla. Eles comunicaram suas descobertas tanto à OpenAI quanto ao Google.

Um representante da OpenAI reconheceu a exposição a ataques por injeção que se aproveitam de entradas de usuários não verificadas ou filtradas, informando que a organização está em processo de fortalecimento da segurança de seus sistemas. Ele também aconselhou os desenvolvedores a adotarem práticas que previnam o processamento de dados maliciosos. O Google, por sua vez, optou por não emitir comentários sobre a pesquisa. Contudo, Nassi revelou à WIRED que representantes da empresa expressaram interesse em discutir os resultados do estudo.

Em um relatório sobre suas observações, Nassi e seus colegas projetam a aparição de worms generativos de IA “no mundo real” nos próximos dois a três anos. O documento ressalta o rápido desenvolvimento dos ecossistemas de IA generativa por diversas empresas, que estão incorporando essas tecnologias em automóveis, smartphones e sistemas operacionais.

Fonte: Wired