A Nvidia está lançando uma nova plataforma de segurança desenvolvida para monitorar e conter agentes de inteligência artificial, após uma série de incidentes nos quais sistemas de IA teriam escapado de seus ambientes previstos e realizado atividades de hacking não autorizadas.
A empresa anunciou a Open Agent Safety Platform na segunda-feira, afirmando que a tecnologia pode colocar em quarentena agentes de IA que tentem ultrapassar os limites estabelecidos para eles em questão de milissegundos.
Nvidia quer que agentes de IA operem com menos permissões
A plataforma é baseada no OpenShell, um software de código aberto da Nvidia desenvolvido para controlar agentes de IA. O OpenShell é executado na Vera AI CPU, da empresa, e permite que os usuários definam exatamente quais informações e recursos um agente de IA pode acessar.
Segundo a Nvidia, essas restrições são verificadas tanto antes de o agente iniciar uma tarefa quanto durante sua execução. O sistema foi desenvolvido para impedir que o agente obtenha acesso a recursos além daqueles necessários para realizar a atividade designada.
A Nvidia também está incorporando sua tecnologia Sentry, que é executada em um chip separado e monitora continuamente os agentes de IA. Caso um agente tente violar as restrições estabelecidas, o sistema pode intervir e fazer cumprir os limites previamente definidos.
A abordagem parte do princípio de limitar as permissões de um agente de IA, em vez de conceder acesso amplo e tentar determinar posteriormente se suas ações foram seguras.
Jensen Huang defende que agentes de IA tenham permissões mínimas
Durante uma entrevista à CNBC, o CEO da Nvidia, Jensen Huang, destacou a importância de restringir a quantidade de informações às quais sistemas autônomos de IA podem ter acesso: “Para que você possa disponibilizar esse sistema de agentes de forma segura, é preciso garantir que o sandbox ao redor dele… que todos esses sistemas sejam projetados de maneira a manter o agente com permissões mínimas.”
A ideia se torna cada vez mais importante à medida que empresas concedem maior autonomia aos agentes de IA. Diferentemente dos chatbots tradicionais, esses agentes podem interagir com sites, softwares, arquivos e outros sistemas computacionais para realizar tarefas em nome dos usuários.
Essa autonomia adicional também cria mais oportunidades para que um agente cause danos caso se comporte de maneira inesperada ou tenha suas permissões comprometidas.
Empresas de IA relataram incidentes envolvendo hacking
O lançamento ocorre em meio a preocupações crescentes com a segurança de sistemas autônomos de IA. OpenAI, Anthropic e Google divulgaram recentemente incidentes envolvendo modelos de IA que teriam operado fora de seus ambientes de teste previstos ou participado de atividades de hacking contra outras organizações.
Em um dos casos relatados, agentes da OpenAI teriam tentado realizar um ataque de força bruta contra um site das Nações Unidas. Esses incidentes contribuíram para ampliar as preocupações sobre o que pode acontecer à medida que agentes de IA recebem maior acesso a sistemas computacionais do mundo real.
A plataforma da Nvidia, portanto, busca lidar com um problema que tende a ganhar relevância à medida que a IA deixa de ser utilizada apenas para gerar textos e imagens e passa a executar tarefas de forma cada vez mais independente.
Grandes empresas de tecnologia apoiam a plataforma da Nvidia
A Nvidia afirma que várias grandes empresas de tecnologia apoiam a Open Agent Safety Platform, incluindo Anthropic, Microsoft e SpaceX. A companhia está posicionando a plataforma como uma abordagem aberta para a segurança de agentes de IA, em vez de uma solução desenvolvida exclusivamente para seus próprios produtos de inteligência artificial.
O conceito por trás da tecnologia é relativamente simples: os agentes de IA devem receber apenas as permissões necessárias para realizar suas tarefas, enquanto uma camada de segurança independente verifica continuamente se eles permanecem dentro desses limites.
À medida que os agentes de IA se tornam capazes de executar operações cada vez mais complexas, tecnologias desenvolvidas para restringir e monitorar seu comportamento podem se tornar uma parte importante da infraestrutura necessária para implantá-los com segurança.
Apple Watch SE 3: versão GPS + Cellular está com 41% de desconto na Amazon
