Recentemente, a indústria de inteligência artificial (IA) tem se tornado alvo de preocupações crescentes em relação aos riscos associados ao desenvolvimento de tecnologias avançadas. Essas preocupações foram alimentadas por declarações de Jacob Coxon, um pesquisador de IA que recentemente deixou a empresa Anthropic, e Evan Hub, seu chefe de ciência de alinhamento, ambos alertando sobre a possibilidade de AI matar toda a humanidade no decênio atual.

Quais são esses riscos?

Ao longo dos anos, pesquisadores de IA têm expressado preocupações similares. Um estudo de 2024 revelou que mais de metade dos pesquisadores de IA acreditavam que a probabilidade de AI causar a extinção humana ou uma condição de severa desvantagem permanente (p(doom)) era superior a 10%. Além disso, empresas de IA têm frequentemente abordado o risco potencial de suas próprias tecnologias, como ocorreu quando Anthropic decidiu não liberar seu modelo Mythos após descobrir que era capaz de hackear diversos sistemas.