Gartner orienta CIOs a gerenciar efetivamente aplicações de IA generativa

Incidentes de Segurança em Aplicações de Inteligência Artificial Generativa

De acordo com o Gartner, até 2028, 25% das aplicações corporativas de Inteligência Artificial Generativa (GenAI) enfrentarão pelo menos cinco incidentes de segurança menores anualmente. Este número representa um aumento significativo em relação aos 9% previstos para 2025. O crescimento no desenvolvimento e na integração de tecnologias, como o Model Context Protocol (MCP), juntamente com novos vetores de ataque e práticas de segurança ainda imaturas, aumentará consideravelmente a exposição a riscos.

Desafios de Segurança e Interoperabilidade

O MCP foi projetado com foco na interoperabilidade e na facilidade de uso, o que pode resultar em falhas de segurança se não houver supervisão contínua. Aaron Lord, Diretor Analista Sênior do Gartner, alerta que a taxa de incidentes de segurança menores em aplicações de GenAI deve aumentar rapidamente. Até 2029, estima-se que 15% das aplicações corporativas de GenAI sofrerão pelo menos um grande incidente de segurança por ano, comparado a apenas 3% em 2025.

Preparação para Riscos Emergentes

Com o aumento do interesse em estruturas como o MCP, os líderes de engenharia de software precisam estar cientes das realidades de segurança que surgem, incluindo a exposição de dados e vulnerabilidades em componentes de terceiros. Para mitigar esses riscos, é essencial estabelecer processos rigorosos de revisão de segurança e priorizar casos de uso de baixo risco, além de capacitar especialistas para implementar proteções eficazes.

Zona Proibida e Práticas de Segurança

O design do MCP prioriza a interoperabilidade e a velocidade, mas não a segurança, o que pode resultar em erros durante o uso. Casos de uso que envolvem acesso a dados sensíveis, consumo de conteúdo não confiável ou comunicação externa devem ser considerados zonas proibidas devido ao alto risco de exfiltração. Os líderes de engenharia devem colaborar com equipes de dados e segurança para criar revisões formais de segurança e reforçar práticas de autenticação adaptadas para agentes de IA.

Mitigações e Propriedade Orientada por Domínio

Para garantir a segurança do MCP, é crucial que os líderes de engenharia de software identifiquem e mitiguem vulnerabilidades, focando em padrões de ameaças conhecidos, como ataques de injeção de conteúdo e ameaças à cadeia de suprimentos. A implementação de barreiras de segurança orientadas por domínio é essencial para gerenciar a complexidade crescente da IA Agêntica e garantir a conformidade.

O Gartner recomenda que os líderes colaborem com especialistas do domínio para estabelecer interações seguras por padrão. É fundamental que esses especialistas definam as proteções necessárias antes de permitir que clientes MCP acessem dados e recursos, garantindo que os domínios sejam responsáveis pela segurança dos servidores MCP e pela proteção do uso da IA Agêntica.

Fonte por: Convergencia Digital