IA com excesso de confiança não consegue identificar os próprios erros

Cientistas da Universidade de Cambridge, na Inglaterra, e da Universidade de Oslo, na Noruega, afirmam que um paradoxo matemático pode provar as limitações de sistemas de inteligência artificial (IA). Segundo eles, assim como algumas pessoas, os dispositivos de IA são incapazes de reconhecer quando estão cometendo erros.

O novo estudo mostra que as redes neurais podem imitar as ligações entre os neurônios e o cérebro, mas nenhum algoritmo conhecido pode reproduzir tal rede, a ponto de identificar se o sistema possui um excesso de confiança que ultrapassa suas habilidades reais no cumprimento de uma tarefa.

“Muitos sistemas de IA são instáveis e estão se tornando um grande perigo, especialmente porque são cada vez mais usados em áreas de alto risco, como diagnóstico de doenças ou veículos autônomos. Se esses sistemas são usados em áreas onde podem causar danos reais se derem errado, a confiança neles deve ser a principal prioridade”, explica o professor de matemática aplicada Anders Hansen.

Paradoxo centenário.

O paradoxo identificado pelos pesquisadores é baseado nas descobertas de dois grandes matemáticos: Alan Turing e Kurt Gödel. No início do século XX, eles demonstraram que é impossível provar se certas afirmações matemáticas são verdadeiras ou falsas, e que alguns problemas computacionais não podem ser resolvidos com algoritmos.

Décadas depois, o matemático estadunidense Steve Smale propôs uma lista contendo 18 problemas matemáticos não resolvidos para o século XXI. O décimo oitavo item falava justamente a respeito dos limites da inteligência tanto para humanos quanto para máquinas.

“O paradoxo identificado por Turing e Gödel agora foi trazido para o mundo da IA. Isso prova que existem limites fundamentais inerentes à matemática e, da mesma forma, algoritmos de inteligência artificial que não podem resolver certos problemas. Não importa quão precisos sejam os dados, nunca será possível obter as informações perfeitas para construir a rede neural necessária”, acrescenta o professor de física teórica Matthew Colbrook.

Limites para IA.

Segundo os pesquisadores, a impossibilidade de computar uma rede neural ocorre independentemente da quantidade de dados de treinamento. Nem toda IA está propensa a falhas, mas ela só pode ser confiável em áreas específicas, utilizando métodos previamente carregados em seu sistema.

Os estudos mostram que em algumas situações não há problemas quando uma IA comete erros, mais sim se ela é suficientemente capaz de identificar o equívoco e ser honesta sobre isso, já que não há como saber previamente se o sistema está mais ou menos confiante sobre uma tomada de decisão.

“Atualmente, os sistemas de IA podem ter um toque de adivinhação. Você tenta algo e, se não funcionar, adiciona mais coisas, esperando que funcione. Em algum momento, você se cansará de não conseguir o que deseja e tentará um método diferente. Precisamos desenvolver novos sistemas para resolver problemas de maneira confiável e transparente, entendendo suas limitações”, encerra o professor Colbrook.

Fonte: Canaltech/University of Cambridge