No início deste ano, durante a guerra contra o Irã, um navio chinês foi quase alvo de uma operação militar dos Estados Unidos devido a uma falha de inteligência gerada por uma IA.

A inteligência falsa partiu de um analista do Comando de Operações Especiais que consultou uma IA para sintetizar dados abertos com informações sigilosas. A IA mal interpretou o manifesto do navio e o analista, sem questionar, formatou os erros em um resumo oficial que circulou nas cadeias de comando.

Integração de IA no Exército

O incidente ocorre enquanto o Exército dos EUA acelera a integração de IA para acelerar decisões e manter sua vantagem sobre a China.

“É importante que os servidores militares entendam a incerteza intrínseca às LLMs,” afirmou Jake Steckler, pesquisador da GovAI e ex-oficial do Exército dos EUA. “Mas isso é especialmente crítico para decisões que possam levar ao uso de força, como o alvoamento, análise de inteligência ou planejamento operacional.”

Steckler defende a necessidade de mais proteções para a IA, mas não a sua evasão. “Essas ferramentas podem ser úteis em contextos corretos e com as devidas proteções,” ele disse. “Mas priorizar a velocidade de adoção acima de tudo pode levar a incidentes que só vão fazer os servidores perderem confiança nessas sistemas, o que acaba retardando a adoção.”