Como a IA poderia destruir a humanidade?

No mês passado, centenas de pessoas conhecidas no mundo da inteligência artificial assinaram uma carta aberta alertando que a IA poderia um dia destruir a humanidade.

“Mitigar o risco de extinção da IA ​​deve ser uma prioridade global, juntamente com outros riscos em escala social, como pandemias e guerra nuclear”, disse o comunicado de uma frase.

A carta foi a mais recente de uma série de avisos sinistros sobre IA que foram notavelmente leves em detalhes. Os sistemas de IA de hoje não podem destruir a humanidade. Alguns deles mal conseguem somar e subtrair. Então, por que as pessoas que mais sabem sobre IA estão tão preocupadas?

O cenário assustador.

Um dia, diz Cassandras da indústria de tecnologia, empresas, governos ou pesquisadores independentes poderão implantar poderosos sistemas de IA para lidar com tudo, desde negócios até guerra. Esses sistemas podem fazer coisas que não queremos que façam. E se os humanos tentassem interferir ou desligá-los, eles poderiam resistir ou até mesmo se replicar para que pudessem continuar operando.

“Os sistemas de hoje não estão nem perto de representar um risco existencial”, disse Yoshua Bengio, professor e pesquisador de IA da Universidade de Montreal. “Mas em um, dois, cinco anos? Há muita incerteza. Essa é a questão. Não temos certeza de que isso não passará de algum ponto em que as coisas se tornem catastróficas.”

Os preocupados costumam usar uma metáfora simples. Se você pedir a uma máquina para criar o maior número possível de clipes de papel, dizem eles, ela pode se deixar levar e transformar tudo – inclusive a humanidade – em fábricas de clipes de papel.

Como isso se relaciona com o mundo real – ou um mundo imaginado não muitos anos no futuro? As empresas poderiam dar aos sistemas de IA cada vez mais autonomia e conectá-los à infraestrutura vital, incluindo redes elétricas, bolsas de valores e armas militares. A partir daí, eles podem causar problemas.

Para muitos especialistas, isso não parecia tão plausível até o ano passado, quando empresas como a OpenAI demonstraram melhorias significativas em sua tecnologia. Isso mostrou o que poderia ser possível se a IA continuasse avançando em um ritmo tão rápido.

“A IA será constantemente delegada e poderá – à medida que se tornar mais autônoma – usurpar a tomada de decisão e o pensamento dos humanos atuais e das instituições administradas por humanos”, disse Anthony Aguirre, cosmólogo da Universidade da Califórnia, em Santa Cruz, e fundador do Future of Life Institute, a organização por trás de uma das duas cartas abertas.

“Em algum momento, ficaria claro que a grande máquina que dirige a sociedade e a economia não está realmente sob controle humano, nem pode ser desligada, assim como o S&P 500 não pode ser desligado”, disse ele.

Ou assim diz a teoria. Outros especialistas em IA acreditam que é uma premissa ridícula.

“Hipotético é uma maneira educada de expressar o que penso sobre a conversa sobre risco existencial”, disse Oren Etzioni, diretor-executivo fundador do Allen Institute for AI, um laboratório de pesquisa em Seattle.

Existem sinais de que a IA poderia fazer isso?

Não exatamente. Mas os pesquisadores estão transformando chatbots como o ChatGPT em sistemas que podem realizar ações com base no texto que geram. Um projeto chamado AutoGPT é o principal exemplo.

A ideia é dar ao sistema objetivos como “criar uma empresa” ou “ganhar algum dinheiro”. Em seguida, ele continuará procurando maneiras de atingir esse objetivo, principalmente se estiver conectado a outros serviços de Internet.

Um sistema como o AutoGPT pode gerar programas de computador. Se os pesquisadores derem acesso a um servidor de computador, ele poderá realmente executar esses programas. Em teoria, esta é uma maneira de o AutoGPT fazer quase tudo online – recuperar informações, usar aplicativos, criar novos aplicativos e até melhorar a si mesmo.

Sistemas como o AutoGPT não funcionam bem no momento. Eles tendem a ficar presos em loops infinitos. Os pesquisadores deram a um sistema todos os recursos necessários para se replicar. Não poderia fazê-lo.

Com o tempo, essas limitações poderiam ser corrigidas.

“As pessoas estão tentando ativamente construir sistemas que se aprimoram”, disse Connor Leahy, fundador da Conjecture, uma empresa que diz querer alinhar tecnologias de IA com valores humanos. “Atualmente, isso não funciona. Mas algum dia, será. E não sabemos quando será esse dia.”

Leahy argumenta que, à medida que pesquisadores, empresas e criminosos dão a esses sistemas objetivos como “ganhar algum dinheiro”, eles podem acabar invadindo sistemas bancários, fomentando a revolução em um país onde detêm futuros de petróleo ou se replicando quando alguém tenta transformá-los desligado.

Onde os sistemas de IA aprendem a se comportar mal?

Sistemas de IA como o ChatGPT são construídos em redes neurais, sistemas matemáticos que podem aprender habilidades analisando dados.

Por volta de 2018, empresas como Google e OpenAI começaram a construir redes neurais que aprendiam com grandes quantidades de texto digital retirado da Internet. Ao identificar padrões em todos esses dados, esses sistemas aprendem a gerar escrita por conta própria, incluindo artigos de notícias, poemas, programas de computador e até conversas humanas. O resultado: chatbots como o ChatGPT.

Como eles aprendem com mais dados do que seus criadores podem entender, esses sistemas também exibem um comportamento inesperado. Pesquisadores mostraram recentemente que um sistema foi capaz de contratar um humano online para vencer um teste de Captcha. Quando o humano perguntou se era “um robô”, o sistema mentiu e disse que era uma pessoa com deficiência visual.

Alguns especialistas temem que, à medida que os pesquisadores tornam esses sistemas mais poderosos, treinando-os em quantidades cada vez maiores de dados, eles possam aprender mais maus hábitos.

Quem são as pessoas por trás desses avisos?

No início dos anos 2000, um jovem escritor chamado Eliezer Yudkowsky começou a alertar que a IA poderia destruir a humanidade. Suas postagens online geraram uma comunidade de crentes. Chamados de racionalistas ou altruístas efetivos, essa comunidade tornou-se extremamente influente na academia, nos grupos de reflexão do governo e na indústria de tecnologia.

O Sr. Yudkowsky e seus escritos desempenharam papéis fundamentais na criação do OpenAI e do DeepMind, um laboratório de IA que o Google adquiriu em 2014. E muitos da comunidade de “EAs” trabalharam nesses laboratórios. Eles acreditavam que, por entenderem os perigos da IA, estavam na melhor posição para construí-la.

As duas organizações que lançaram recentemente cartas abertas alertando sobre os riscos da IA ​​– o Center for AI Safety e o Future of Life Institute – estão intimamente ligadas a esse movimento.

As advertências recentes também vieram de pioneiros da pesquisa e líderes da indústria como Elon Musk, que há muito alerta sobre os riscos. A última carta foi assinada por Sam Altman, executivo-chefe da OpenAI; e Demis Hassabis, que ajudou a fundar a DeepMind e agora supervisiona um novo laboratório de IA que combina os principais pesquisadores da DeepMind e do Google.

Outras figuras respeitadas assinaram uma ou ambas as cartas de advertência, incluindo o Dr. Bengio e Geoffrey Hinton, que recentemente deixou o cargo de executivo e pesquisador do Google. Em 2018, eles receberam o Prêmio Turing, muitas vezes chamado de “Prêmio Nobel da computação”, por seu trabalho em redes neurais.