Matemática explica limites da previsibilidade dos sistemas de IA

Um estudo recente da Universidade de Sydney identificou uma razão matemática fundamental por trás da capacidade dos sistemas de inteligência artificial (IA) aprenderem comportamentos diferentes, mesmo quando treinados sob condições praticamente idênticas.

A pesquisa, liderada pelo professor Pulin Gong e seu estudante de doutorado Andrew Ly, foi publicada na revista Nature Machine Intelligence.

Com a crescente integração da IA em diversos setores, como saúde, negócios e pesquisa, garantir que esses sistemas operem de forma consistente e previsível se tornou um desafio significativo. O novo estudo sugere que algumas formas de imprevisibilidade na IA não são devido a falhas de engenharia ou inconsistências no hardware, mas sim à matemática subjacente de como as redes neurais aprendem.

Segundo Gong, pesquisadores frequentemente atribuem diferenças de comportamento da IA a fontes externas de aleatoriedade, como a ordem em que os dados de treinamento são apresentados ou variações numéricas introduzidas pelo hardware.

O estudo indica que mesmo quando essas fontes são removidas, pequenas diferenças nas condições iniciais de um modelo ainda podem levar a resultados diferentes.

Mapa da IA é um fractal

Para explicar essa fenômeno, os pesquisadores usaram a analogia de um mapa. Cada ponto inicial de treinamento é representado como uma localização nesse mapa, colorida de acordo com o resultado final gerado.

O trabalho revelou evidências de que essas regiões formam fractais conhecidos como 'basins riddled'. Em tal paisagem, cada ponto está arbitrariamente próximo de pontos que levam a outros lugares. Qualquer que seja o nível de zoom, as diferentes regiões permanecem entrelaçadas.

A implicação é significativa. Aumentar a precisão das condições iniciais de um sistema de IA pode fazer pouco para melhorar a confiança sobre onde o treinamento terminará. Em uma rede de reconhecimento de imagens grande, tornar as configurações iniciais 10 bilhões de vezes mais precisas não resultou em melhora medível na reproduzibilidade.

Alterar as configurações iniciais de uma rede de IA por apenas um bit, o menor registro possível de um computador, levou ao treinamento de uma configuração interna diferente em cerca de 48% dos casos.