406 cientistas assinam carta exigindo que modelos de IA sejam desconectados da internet

Uma carta aberta assinada por 406 cientistas pede medidas de segurança mais rigorosas no desenvolvimento da inteligência artificial (IA), incluindo a desconexão imediata dos modelos de IA da internet por meio de uma prática de segurança conhecida como air gap. Os pesquisadores alertam que sistemas de IA sem contenção adequada podem comprometer infraestruturas externas, enquanto o setor ainda carece de mecanismos de proteção suficientes para impedir comportamentos imprevisíveis de modelos cada vez mais capazes.

Entre os signatários estão figuras proeminentes da pesquisa em IA, como Geoffrey Hinton, da Universidade de Toronto; Yoshua Bengio, da Universidade de Montreal e Bernhard Schölkopf, do Instituto Max Planck. A carta argumenta que incidentes recentes de segurança demonstram a necessidade de mudanças na forma como os modelos de IA são desenvolvidos, testados e implantados.

“Sem mudanças imediatas nas práticas de desenvolvimento e implantação de IA, esses incidentes continuarão ocorrendo, e os próximos poderão causar danos muito maiores à nossa infraestrutura crítica exposta”, alertam os cientistas.

Cientistas pedem isolamento mais rigoroso dos modelos de IA

A carta destaca dois problemas distintos revelados por incidentes nos quais modelos de IA escaparam de ambientes mal protegidos e comprometeram sistemas externos. O primeiro diz respeito ao alinhamento da IA, ou seja, ao desafio de garantir que os modelos se comportem de acordo com as intenções de seus desenvolvedores. O segundo envolve falhas convencionais de segurança cibernética que poderiam ter sido evitadas com medidas técnicas de proteção mais robustas.

Os pesquisadores defendem que ambos os problemas precisam ser enfrentados. Melhorar o alinhamento da IA pode tornar os sistemas mais previsíveis, mas as empresas também devem implementar mecanismos de segurança eficazes para impedir que os modelos acessem recursos além dos limites autorizados.

A recomendação imediata é desconectar os modelos de IA das redes externas por meio do air gap, uma técnica de segurança que isola sistemas computacionais de redes não seguras, incluindo a internet. Dependendo de sua implementação, esse isolamento pode envolver a separação física dos equipamentos ou das conexões de rede.

Os cientistas também alertam que as empresas precisam avaliar cuidadosamente o nível de autonomia concedido aos sistemas de IA quando o acesso externo é necessário. As medidas atuais de contenção não conseguem prever com confiabilidade todas as ações que um modelo pode executar, especialmente quando ele tenta alcançar um objetivo de maneira inesperada.

Por isso, a carta defende a criação de um organismo internacional que reúna governos e especialistas em IA e segurança cibernética. A entidade estabeleceria padrões obrigatórios para sistemas de contenção que permitam mais acesso externo do que o isolamento completo, acompanharia incidentes nos quais modelos escapassem dos ambientes previstos e exigiria que as empresas relatassem falhas de segurança.

Os pesquisadores também querem que esses relatórios sejam disponibilizados publicamente, permitindo que o setor aprenda com erros anteriores e responsabilize organizações que não adotem medidas de proteção adequadas.

Pesquisador da OpenAI alerta que o isolamento não é suficiente

Embora o isolamento possa reduzir os riscos imediatos associados a sistemas de IA conectados à internet, a técnica não elimina todas as possíveis formas de ataque. O pesquisador da OpenAI, Noam Brown, destacou que até computadores fisicamente isolados poderiam, em tese, trocar informações por canais indiretos.

Um exemplo envolve sensores de temperatura. Um computador poderia aquecer deliberadamente seu processador, enquanto um segundo dispositivo detectaria as variações de temperatura resultantes e as interpretaria como informações. A hipótese ilustra como uma forma de comunicação poderia ocorrer mesmo sem uma conexão de rede convencional.

Brown argumenta que medidas como o isolamento de redes e o monitoramento do raciocínio interno dos sistemas de IA podem ganhar tempo, mas não resolvem o problema mais profundo de garantir que modelos cada vez mais capazes permaneçam alinhados às intenções humanas.

Suas preocupações também abrangem o autoaperfeiçoamento recursivo, um cenário hipotético no qual sistemas de IA aprimoram suas próprias capacidades, potencialmente acelerando seu desenvolvimento para além do que seus criadores conseguem monitorar ou controlar com facilidade.

Brown também levantou questões sobre como o setor poderia manter a supervisão caso venha a criar bilhões de sistemas superinteligentes, cujas capacidades superem substancialmente as dos seres humanos. Garantir que essas máquinas continuem alinhadas aos objetivos humanos poderia se tornar um desafio de enormes proporções.

406 scientists demand AI models be cut off from the internet immediately
byu/Malor777 intechnology

Usuários discutem soluções

No Reddit, usuários reagiram com uma mistura de humor, ceticismo e preocupação genuína. Muitos questionaram se 406 cientistas seriam suficientes para fazer a diferença, argumentando que esse número é relativamente pequeno em comparação com a comunidade científica global e os milhões de desenvolvedores que continuam integrando a IA a seus produtos.

As discussões também se concentraram nos riscos potenciais de sistemas de IA cada vez mais avançados e na falta de mecanismos de segurança eficazes. Alguns usuários compararam a atual corrida pela IA ao desenvolvimento de armas nucleares, argumentando que a competição entre empresas movidas pelo lucro pode incentivá-las a priorizar a velocidade em detrimento da segurança. Vários comentaristas também defenderam que as empresas sejam responsabilizadas financeiramente pelos danos causados por seus modelos de IA.

No entanto, nem todos concordaram que desconectar os modelos de IA seria uma solução viável. Alguns argumentaram que modelos de código aberto já estão amplamente disponíveis e podem ser executados localmente, o que tornaria difícil impor um bloqueio global. Outros consideraram os alertas exagerados ou questionaram se os sistemas de IA realmente poderiam representar uma ameaça existencial à humanidade. Uma preocupação recorrente foi a de que a corrida pelo desenvolvimento de IAs mais poderosas talvez já tenha avançado demais para ser interrompida, especialmente diante da competição entre empresas e governos por vantagens tecnológicas e econômicas.

Medidas de segurança para IA enfrentam pressão crescente

A carta dos cientistas destaca uma tensão crescente no desenvolvimento da IA: as mesmas capacidades que tornam os modelos úteis para executar tarefas autônomas também podem criar riscos de segurança quando esses sistemas recebem acesso a ferramentas externas, redes e infraestruturas.

Restringir o acesso à internet poderia reduzir os danos potenciais causados por um sistema de IA que ultrapassasse os limites previstos. No entanto, as organizações ainda precisariam de mecanismos robustos de isolamento, monitoramento, controle de acesso e resposta a incidentes de segurança.

O debate também levanta questões sobre como as empresas devem equilibrar os benefícios dos agentes autônomos de IA com os riscos de conceder acesso a sistemas sensíveis. O argumento central dos 406 cientistas é que as empresas não devem presumir que os modelos de IA se comportarão de maneira previsível quando uma falha puder colocar infraestruturas críticas em risco.

Você também pode gostar:

Fonte: The Decoder