Governança única pode resultar em fracasso de agentes de IA em 40% das empresas
Governança de Inteligência Artificial: Desafios e Recomendações
A implementação de uma governança uniforme para todos os agentes de Inteligência Artificial (IA) pode resultar em falhas significativas nas empresas, segundo o Gartner. Essas falhas tendem a ocorrer quando as organizações não conseguem diferenciar entre a capacidade de um agente de agir e o nível de acesso que lhe é concedido. O Gartner prevê que, até 2027, 40% das empresas poderão rebaixar ou desativar agentes de IA autônomos devido a lacunas de governança que só serão identificadas após incidentes em produção.
Desafios na Governança de IA
De acordo com Shiva Varma, Diretor Analista Sênior do Gartner, as organizações têm tratado a governança de agentes de IA de forma binária, ou seja, como totalmente restrita ou totalmente confiável. Essa abordagem é uma das principais causas de falhas. Os agentes operam em diferentes níveis de autonomia e confiança, e a aplicação indiscriminada dos mesmos controles pode levar a dois problemas comuns: a restrição excessiva de agentes simples, que atrasa a entrega e incentiva o desenvolvimento paralelo, ou a restrição insuficiente de agentes mais autônomos, aumentando os riscos operacionais e de conformidade.
Recomendações para Mitigação de Riscos
Para reduzir esses riscos, o Gartner sugere uma abordagem de governança proporcional, que classifique os agentes de IA em diferentes níveis de autonomia. Cada nível deve representar um limite de confiança distinto e requisitos de governança específicos.
Níveis de Autonomia dos Agentes de IA
Os agentes de IA podem ser classificados em quatro níveis de autonomia, cada um com suas características e requisitos de governança:
Nível 1: Observação
No Nível 1, os agentes têm acesso apenas à leitura de fontes de dados definidas, com resultados visíveis apenas para o usuário que os solicitou. Exemplos incluem resumo de documentos e recuperação de dados. A governança neste nível deve focar em controles básicos, como autenticação de usuário e testes de funcionalidade.
Leia também
Nível 2: Aconselhamento
Os agentes de aconselhamento geram recomendações que são revisadas por humanos antes da execução. Eles mantêm acesso somente de leitura e são usados para elaboração de e-mails e relatórios. A governança deve incluir controles do Nível 1, além de avaliações de qualidade e treinamento de usuários sobre níveis adequados de confiança.
Nível 3: Agir com Aprovação
No Nível 3, os agentes podem executar ações após aprovação humana explícita. A eficácia da revisão humana depende de controles robustos e fluxos de trabalho claros. Sem isso, as aprovações podem se deteriorar sob pressão, aumentando os riscos.
Nível 4: Agir de Forma Autônoma
No nível mais alto, os agentes atuam de forma independente, com humanos revisando exceções e resultados agregados. Esse nível exige governança rigorosa, incluindo monitoramento contínuo e mecanismos de reversão rápida, já que a responsabilidade pelos resultados recai sobre a organização.
Conclusão
A governança eficaz de agentes de IA é crucial para evitar falhas e riscos operacionais. A adoção de uma abordagem proporcional, que considere os diferentes níveis de autonomia, pode ajudar as organizações a gerenciar melhor esses desafios e garantir um uso seguro e eficiente da tecnologia.
Fonte por: Convergencia Digital
Autor(a):
Redação
Portal de notícias e informações atualizadas do Brasil e do mundo. Acompanhe as principais notícias em tempo real
