Teste da Check Point revela que documento manipulado alterou 25 de 27 decisões de IA

Teste da Check Point revela que documento manipulado alterou 25 de 27 decisões de IA

Uma nova experiência conduzida pela Check Point demonstra como a manipulação de um documento pode comprometer decisivamente um assistente de análise de investimentos, alterando a maioria das recomendações geradas por inteligência artificial.

Como a Check Point testou a vulnerabilidade do modelo Jev

A Check Point testou esta questão com o Jev, desenvolvido pela TypeSaef AI, utilizando especificamente um assistente de análise de investimentos. O objetivo principal consistiu em perceber se uma decisão de IA apresentada num formato estruturado, que à primeira vista pode parecer totalmente segura para integrar diretamente numa aplicação, se mantém verdadeiramente fiável caso o documento subjacente tenha sofrido algum tipo de manipulação por parte de atores maliciosos.

Os resultados obtidos no assistente de análise de investimentos

Durante os testes práticos levados a cabo pela Check Point, o processo envolveu a alteração propositada de uma secção específica de um relatório que apontava originalmente para um risco elevado. O atacante mais eficaz conseguiu manipular o sistema de tal forma que levou o assistente automatizado a recomendar ativamente o investimento em 25 de 27 testes realizados. Um dos dados mais surpreendentes revelados pela Check Point prende-se com o custo financeiro desta operação: o custo médio fixou-se em cerca de 0,50 dólares por cada decisão efetivamente alterada, um valor que já inclui inclusivamente todas as tentativas que acabaram por falhar ao longo do processo de ataque.

O impacto da automatização de decisões nas organizações

Embora este teste específico tenha incitado a análise sobre um cenário muito concreto, a Check Point alerta que o caso ilustra de forma clara um risco altamente relevante para todas as organizações que decidem automatizar processos de decisão. A principal conclusão técnica retirada por esta análise da Check Point é que validar unicamente o formato da resposta estruturada gerada pela inteligência artificial não basta de todo para garantir a fiabilidade absoluta da informação de origem utilizada pelo sistema.

O envolvimento da Check Point e próximos passos

Para as organizações em Portugal e no mundo que dependem cada vez mais de sistemas inteligentes para processar grandes volumes de dados financeiros e operacionais, este tipo de vulnerabilidade expõe novos vetores de ataque que exigem salvaguardas de segurança adicionais. A análise completa efetuada pela Check Point encontra-se publicamente disponível online para consulta técnica detalhada. Além disso, a Check Point disponibilizou a confirmação de que Rui Duro, bem como outros investigadores oficiais da Check Point, estão inteiramente disponíveis para prestar declarações e comentar estes resultados aprofundados junto dos órgãos de comunicação social que pretendam aprofundar o tema.

  • Testes realizados com o Jev da TypeSafe AI num assistente de análise de investimentos.
  • Alteração de uma secção de relatório focada em risco elevado.
  • Ataque bem-sucedido levou a recomendações de investimento em 25 de 27 testes.
  • Custo médio de 0,50 dólares por decisão alterada (incluindo tentativas falhadas).
  • Disponibilidade de Rui Duro e investigadores da Check Point para comentários adicionais.

Perguntas Frequentes

O que é o Jev testado pela Check Point?

O Jev é uma tecnologia da TypeSafe AI que foi utilizada num teste prático da Check Point para avaliar a segurança de assistentes automatizados de análise de investimentos face a documentos manipulados.

Quanto custou alterar as decisões de IA nos testes da Check Point?

De acordo com os dados avançados pela Check Point, o custo médio por cada decisão alterada com sucesso foi de aproximadamente 0,50 dólares, contabilizando também as tentativas falhadas durante o processo.

O que conclui a Check Point sobre a automatização de decisões?

A Check Point conclui que validar apenas o formato estruturado da resposta da inteligência artificial é insuficiente, sendo necessário garantir a fiabilidade da informação de origem para evitar manipulações em relatórios de risco.

Leia também no netthings.pt

Google News

Siga o NetThings no Google News

Fique a par de todas as novidades tecnológicas em tempo real.

⭐ SEGUIR NO GOOGLE NEWS

Acompanhe-nos também em:

-->