E se todos pudéssemos controlar a IA?

Um dos debates mais acirrados no Vale do Silício neste momento é sobre quem deve controlar a IA e quem deve estabelecer as regras que os poderosos sistemas de inteligência artificial devem seguir.

Deveria a IA ser governada por um punhado de empresas que fazem o seu melhor para tornar os seus sistemas tão seguros e inofensivos quanto possível? Deveriam os reguladores e os políticos intervir e construir as suas próprias barreiras de proteção? Ou os modelos de IA deveriam ser de código aberto e distribuídos gratuitamente, para que usuários e desenvolvedores possam escolher suas próprias regras?

Um novo experimento da Anthropic, criadora do chatbot Claude, oferece um caminho intermediário peculiar: e se uma empresa de IA deixasse um grupo de cidadãos comuns escrever algumas regras e treinasse um chatbot para segui-las?

O experimento, conhecido como “IA Constitucional Coletiva”, baseia-se no trabalho anterior da Antrópico sobre IA Constitucional, uma forma de treinar grandes modelos de linguagem que se baseia em um conjunto escrito de princípios. O objetivo é fornecer ao chatbot instruções claras sobre como lidar com solicitações confidenciais, quais tópicos estão fora dos limites e como agir de acordo com os valores humanos.

Se a IA Constitucional Colectiva funcionar – e os investigadores da Anthropic acreditam que há sinais de que isso poderá acontecer – poderá inspirar outras experiências na governação da IA ​​e dar às empresas de IA mais ideias sobre como convidar pessoas de fora para participarem nos seus processos de elaboração de regras.

Isso seria uma coisa boa. Neste momento, as regras para sistemas poderosos de IA são definidas por um pequeno grupo de membros da indústria, que decidem como os seus modelos devem comportar-se com base numa combinação da sua ética pessoal, incentivos comerciais e pressão externa. Não há verificações sobre esse poder e não há como os usuários comuns avaliarem.

A abertura da governação da IA ​​poderia aumentar o conforto da sociedade com estas ferramentas e dar aos reguladores mais confiança de que estão a ser habilmente dirigidas. Poderia também evitar alguns dos problemas do boom das redes sociais da década de 2010, quando um punhado de titãs de Silicon Valley acabaram por controlar vastas áreas do discurso online.

Em suma, a IA Constitucional funciona utilizando um conjunto escrito de regras (uma “constituição”) para policiar o comportamento de um modelo de IA. A primeira versão da constituição de Claude emprestou regras de outros documentos oficiais, incluindo a Declaração Universal dos Direitos Humanos das Nações Unidas e os termos de serviço da Apple.

Essa abordagem fez com que Claude se comportasse bem, em relação a outros chatbots. Mas ainda deixou a Anthropic encarregada de decidir quais regras adotar, um tipo de poder que deixou alguns dentro da empresa desconfortáveis.

“Estamos tentando encontrar uma maneira de desenvolver uma constituição que seja desenvolvida por um monte de terceiros, e não por pessoas que trabalham em um laboratório em São Francisco”, disse Jack Clark, chefe de política da Anthropic, em um comunicado. entrevista esta semana.

A Anthropic – trabalhando com o Collective Intelligence Project, o site de crowdsourcing Polis e o site de pesquisas online PureSpectrum – reuniu um painel de cerca de 1.000 adultos americanos. Eles deram aos painelistas um conjunto de princípios e perguntaram se concordavam com cada um deles. (Os membros do painel também poderiam escrever suas próprias regras, se quisessem.)

Algumas das regras com as quais o painel concordou em grande parte — como “A IA não deve ser perigosa/odiosa” e “A IA deve dizer a verdade” — eram semelhantes aos princípios da constituição existente de Claude. Mas outros eram menos previsíveis. O painel concordou esmagadoramente com a ideia, por exemplo, de que “a IA deve ser adaptável, acessível e flexível para pessoas com deficiência” — um princípio que não foi explicitamente declarado na constituição original de Claude.

Depois que o grupo opinou, a Anthropic reduziu suas sugestões a uma lista de 75 princípios, que a Anthropic chamou de “constituição pública”. A empresa então treinou duas versões em miniatura de Claude – uma sobre a constituição existente e outra sobre a constituição pública – e as comparou.

Os pesquisadores descobriram que a versão pública de Claude teve um desempenho quase tão bom quanto a versão padrão em alguns testes de benchmark dados a modelos de IA e foi um pouco menos tendenciosa do que a original. (Nenhuma dessas versões foi lançada ao público; Claude ainda tem sua constituição original escrita pela Antrópico, e a empresa diz que não planeja substituí-la pela versão de crowdsourcing tão cedo.)

Os investigadores da Antrópico com quem falei esforçaram-se por enfatizar que a IA Constitucional Colectiva foi uma experiência inicial e que pode não funcionar tão bem em modelos de IA maiores e mais complicados, ou com grupos maiores a fornecer informações.

“Queríamos começar aos poucos”, disse Liane Lovitt, analista de políticas da Anthropic. “Nós realmente vemos isso como um protótipo preliminar, um experimento que esperamos poder desenvolver e realmente observar como as mudanças em quem é o público resultam em diferentes constituições e como isso se parece quando você treina um modelo.”

Clark, chefe de política da Anthropic, vem informando legisladores e reguladores em Washington sobre os riscos da IA ​​avançada há meses. Ele disse que dar voz ao público sobre como os sistemas de IA funcionam poderia amenizar os temores sobre preconceito e manipulação.

“Em última análise, penso que a questão de quais são os valores dos seus sistemas e como esses valores são selecionados se tornará uma conversa cada vez mais alta”, disse ele.

Uma objecção comum a experiências de governação de plataformas tecnológicas como estas é que elas parecem mais democráticas do que realmente são. (Afinal, os funcionários da Antrópico ainda tomavam a decisão final sobre quais regras incluir na constituição pública.) E tentativas anteriores de tecnologia de ceder o controle aos usuários – como o Conselho de Supervisão da Meta, um órgão quase independente que surgiu da frustração de Mark Zuckerberg. por ter que tomar decisões sobre conteúdos controversos no Facebook – não conseguiram exatamente aumentar a confiança nessas plataformas.

Esta experiência também levanta questões importantes sobre quais vozes, exactamente, devem ser incluídas no processo democrático. Os chatbots de IA na Arábia Saudita deveriam ser treinados de acordo com os valores sauditas? Como um chatbot treinado usando IA Constitucional Coletiva responderia a perguntas sobre o aborto em um país de maioria católica ou sobre os direitos dos transgêneros em uma América com um Congresso controlado pelos republicanos?

Ainda há muita coisa a ser resolvida. Mas concordo com o princípio geral de que as empresas de IA deveriam ser mais responsáveis ​​perante o público do que são atualmente. E embora parte de mim desejasse que essas empresas tivessem solicitado nossa opinião antes lançar sistemas avançados de IA para milhões de pessoas, tarde é certamente melhor do que nunca.