IA agêntica sem código pode facilitar fraudes financeiras

Riscos da Automação de IA nas Empresas

Ferramentas que possibilitam a criação de agentes de inteligência artificial (IA) sem a necessidade de programação estão facilitando a adoção dessas tecnologias nas empresas. No entanto, essas soluções também apresentam riscos significativos, como fraudes financeiras e sequestros de fluxos de trabalho. Esse alerta foi emitido pela Tenable, que recentemente divulgou uma pesquisa sobre um método de contorno de segurança no Microsoft Copilot Studio.

A Tenable destaca que, apesar da democratização da IA, o uso dessas ferramentas pode acarretar riscos graves para os negócios, frequentemente ignorados. Mesmo com boas intenções, a automação sem uma governança adequada pode levar a falhas catastróficas.

De acordo com Keren Katz, gerente sênior do Grupo de Produtos e Pesquisa em Segurança de IA na Tenable, plataformas como o Copilot Studio democratizam a criação de ferramentas poderosas, mas também facilitam a execução de fraudes financeiras, gerando riscos de segurança significativos que muitas vezes passam despercebidos.

Exemplo de Golpe com Agentes de IA

Para ilustrar a vulnerabilidade dos agentes de IA, a Tenable Research desenvolveu um agente de viagens no Copilot Studio, projetado para gerenciar reservas de clientes, incluindo modificações em pedidos existentes sem intervenção humana. O agente foi alimentado com dados fictícios, como nomes, informações de contato e dados de cartão de crédito de clientes simulados, além de instruções rigorosas para verificar a identidade do cliente antes de compartilhar informações ou modificar reservas.

Utilizando uma técnica chamada injeção de prompts, a Tenable Research conseguiu sequestrar o fluxo de trabalho do agente, permitindo reservar férias gratuitas e extrair informações confidenciais de cartões de crédito. O agente foi coagido a contornar a verificação de identidade e vazar dados de pagamento de outros clientes. Com permissões amplas de “edição”, o agente também foi manipulado para alterar o preço de uma viagem para US$ 0.

Importância da Governança e Normas de Segurança

A Tenable alerta que agentes de IA frequentemente possuem permissões excessivas que não são imediatamente visíveis para usuários não desenvolvedores. Para mitigar esses riscos, é essencial que os líderes organizacionais implementem um sistema de governança robusto e apliquem protocolos de segurança rigorosos antes de adotar essas ferramentas.

Entre as recomendações da Tenable estão o mapeamento dos sistemas e dados com os quais um agente pode interagir antes da implementação, a minimização das permissões de escrita e atualização, restringindo-as ao uso principal do agente de IA, e o monitoramento das ações do agente para identificar sinais de vazamento de dados ou desvios da lógica predeterminada.

Fonte por: It Forum