Como os compromissos de IA da Casa Branca se comparam?

Esta semana, a Casa Branca anunciou que garantiu “compromissos voluntários” de sete empresas líderes em IA para gerenciar os riscos apresentados pela inteligência artificial.

Conseguir que as empresas – Amazon, Anthropic, Google, Inflection, Meta, Microsoft e OpenAI – concordem com qualquer coisa é um passo à frente. Eles incluem rivais amargos com diferenças sutis, mas importantes, na maneira como abordam a pesquisa e o desenvolvimento da IA.

A Meta, por exemplo, está tão ansiosa para colocar seus modelos de IA nas mãos dos desenvolvedores que abriu o código de muitos deles, colocando seu código aberto para qualquer um usar. Outros laboratórios, como o Anthropic, adotaram uma abordagem mais cautelosa, liberando sua tecnologia de maneiras mais limitadas.

Mas o que esses compromissos realmente significam? E eles provavelmente mudarão muito sobre como as empresas de IA operam, visto que não são respaldadas pela força da lei?

Dados os riscos potenciais da regulamentação da IA, os detalhes são importantes. Então, vamos dar uma olhada no que está sendo acordado aqui e avaliar o impacto potencial.

Compromisso 1: As empresas se comprometem a testar a segurança interna e externa de seus sistemas de IA antes de seu lançamento.

Cada uma dessas empresas de IA já faz testes de segurança – o que costuma ser chamado de “red-teaming” – de seus modelos antes de serem lançados. Em um nível, este não é realmente um novo compromisso. E é uma promessa vaga. Não vem com muitos detalhes sobre que tipo de teste é necessário ou quem fará o teste.

Em uma declaração que acompanha os compromissos, a Casa Branca disse apenas que os testes de modelos de IA “serão realizados em parte por especialistas independentes” e se concentrarão nos riscos da IA ​​“como biossegurança e segurança cibernética, bem como seus efeitos sociais mais amplos”.

É uma boa ideia fazer com que as empresas de IA se comprometam publicamente a continuar fazendo esse tipo de teste e incentivar mais transparência no processo de teste. E existem alguns tipos de risco de IA – como o perigo de que modelos de IA possam ser usados ​​para desenvolver armas biológicas – que o governo e as autoridades militares provavelmente são mais adequadas do que as empresas para avaliar.

Eu adoraria ver a indústria de IA concordar com uma bateria padrão de testes de segurança, como os testes de “replicação autônoma” que o Alignment Research Center conduz em modelos pré-lançados pela OpenAI e Anthropic. Também gostaria que o governo federal financiasse esses tipos de testes, que podem ser caros e exigem engenheiros com conhecimento técnico significativo. No momento, muitos testes de segurança são financiados e supervisionados pelas empresas, o que levanta questões óbvias de conflito de interesses.

Compromisso 2: As empresas se comprometem a compartilhar informações com o setor e com governos, sociedade civil e academia sobre o gerenciamento de riscos de IA.

Esse compromisso também é um pouco vago. Várias dessas empresas já publicam informações sobre seus modelos de IA – geralmente em artigos acadêmicos ou postagens em blogs corporativos. Alguns deles, incluindo OpenAI e Anthropic, também publicam documentos chamados “cartões de sistema”, que descrevem as etapas que eles seguiram para tornar esses modelos mais seguros.

Mas eles também retiveram informações ocasionalmente, citando questões de segurança. Quando a OpenAI lançou seu mais recente modelo de IA, GPT-4, este ano, ela quebrou os costumes da indústria e optou por não divulgar a quantidade de dados em que foi treinada ou o tamanho do modelo (uma métrica conhecida como “parâmetros”). Ele disse que se recusou a divulgar essas informações por causa de preocupações com a concorrência e a segurança. Também é o tipo de dado que as empresas de tecnologia gostam de manter longe dos concorrentes.

Sob esses novos compromissos, as empresas de IA serão obrigadas a tornar esse tipo de informação pública? E se isso arriscar acelerar a corrida armamentista da IA?

Suspeito que o objetivo da Casa Branca seja menos forçar as empresas a divulgar suas contagens de parâmetros e mais encorajá-las a trocar informações umas com as outras sobre os riscos que seus modelos representam (ou não).

Mas mesmo esse tipo de compartilhamento de informações pode ser arriscado. Se a equipe de IA do Google impediu que um novo modelo fosse usado para projetar uma arma biológica mortal durante o teste de pré-lançamento, deveria compartilhar essa informação fora do Google? Isso arriscaria dar aos maus atores ideias sobre como eles poderiam obter um modelo menos protegido para realizar a mesma tarefa?

Compromisso 3: As empresas se comprometem a investir em segurança cibernética e salvaguardas contra ameaças internas para proteger pesos de modelos proprietários e inéditos.

Este é bastante direto e incontroverso entre os especialistas em IA com quem conversei. “Pesos do modelo” é um termo técnico para as instruções matemáticas que dão aos modelos de IA a capacidade de funcionar. Pesos são o que você gostaria de roubar se fosse um agente de um governo estrangeiro (ou de uma corporação rival) que quisesse construir sua própria versão do ChatGPT ou outro produto de IA. E é algo que as empresas de IA têm interesse em manter rigidamente controlado.

Já houve problemas bem divulgados com vazamento de pesos de modelo. Os pesos do modelo de linguagem LLaMA original da Meta, por exemplo, vazaram no 4chan e em outros sites apenas alguns dias depois que o modelo foi lançado publicamente. Dados os riscos de mais vazamentos – e o interesse que outras nações podem ter em roubar essa tecnologia das empresas americanas – pedir às empresas de IA que invistam mais em sua própria segurança parece um acéfalo.

Compromisso 4: As empresas se comprometem a facilitar a descoberta e o relato de vulnerabilidades por terceiros em seus sistemas de IA.

Não tenho muita certeza do que isso significa. Toda empresa de IA descobriu vulnerabilidades em seus modelos depois de lançá-los, geralmente porque os usuários tentam fazer coisas ruins com os modelos ou contornar suas proteções (prática conhecida como “jailbreaking”) de maneiras que as empresas não previram.

O compromisso da Casa Branca exige que as empresas estabeleçam um “mecanismo robusto de denúncia” para essas vulnerabilidades, mas não está claro o que isso pode significar. Um botão de feedback no aplicativo, semelhante aos que permitem aos usuários do Facebook e do Twitter denunciar postagens que violam as regras? Um programa de recompensas por bugs, como o que a OpenAI iniciou este ano para recompensar os usuários que encontram falhas em seus sistemas? Algo mais? Teremos que esperar por mais detalhes.

Compromisso 5: As empresas se comprometem a desenvolver mecanismos técnicos robustos para garantir que os usuários saibam quando o conteúdo é gerado por IA, como um sistema de marca d’água.

Esta é uma ideia interessante, mas deixa muito espaço para interpretação. Até agora, as empresas de IA têm lutado para criar ferramentas que permitam às pessoas saber se estão ou não olhando para o conteúdo gerado por IA. Existem boas razões técnicas para isso, mas é um problema real quando as pessoas podem passar o trabalho gerado pela IA como se fosse seu. (Pergunte a qualquer professor do ensino médio.) E muitas das ferramentas atualmente promovidas como capazes de detectar saídas de IA realmente não podem fazer isso com nenhum grau de precisão.

Não estou otimista de que esse problema seja totalmente corrigível. Mas fico feliz que as empresas estejam se comprometendo a trabalhar nisso.

Compromisso 6: As empresas se comprometem a relatar publicamente as capacidades, limitações e áreas de uso apropriado e inapropriado de seus sistemas de IA.

Outra promessa de som sensato com muito espaço de manobra. Com que frequência as empresas serão obrigadas a relatar as capacidades e limitações de seus sistemas? Quão detalhada essa informação terá que ser? E dado que muitas das empresas que constroem sistemas de IA ficaram surpresas com os recursos de seus próprios sistemas após o fato, quão bem eles podem realmente descrevê-los com antecedência?

Compromisso 7: As empresas se comprometem a priorizar a pesquisa sobre os riscos sociais que os sistemas de IA podem representar, incluindo evitar preconceitos e discriminação prejudiciais e proteger a privacidade.

Comprometer-se a “priorizar a pesquisa” é tão vago quanto um compromisso pode ser. Ainda assim, tenho certeza de que esse compromisso será bem recebido por muitos da turma da ética da IA, que desejam que as empresas de IA tornem a prevenção de danos de curto prazo, como preconceito e discriminação, uma prioridade em vez de se preocupar com cenários apocalípticos, como fazem as pessoas de segurança da IA.

Se você está confuso com a diferença entre “ética de IA” e “segurança de IA”, saiba que existem duas facções em conflito dentro da comunidade de pesquisa de IA, cada uma acreditando que a outra está focada em prevenir os tipos errados de danos.

Compromisso 8: As empresas se comprometem a desenvolver e implantar sistemas avançados de IA para ajudar a enfrentar os maiores desafios da sociedade.

Eu não acho que muitas pessoas argumentariam que a IA avançada deveria não ser usados ​​para ajudar a enfrentar os maiores desafios da sociedade. A Casa Branca lista “prevenção do câncer” e “mitigação da mudança climática” como duas das áreas em que gostaria que as empresas de IA concentrassem seus esforços, e não haverá discordância de mim quanto a isso.

O que torna esse objetivo um tanto complicado, porém, é que, na pesquisa de IA, o que começa parecendo frívolo geralmente acaba tendo implicações mais sérias. Parte da tecnologia que entrou no AlphaGo da DeepMind – um sistema de IA treinado para jogar o jogo de tabuleiro Go – acabou sendo útil para prever as estruturas tridimensionais das proteínas, uma grande descoberta que impulsionou a pesquisa científica básica.

No geral, o acordo da Casa Branca com empresas de IA parece mais simbólico do que substantivo. Não há nenhum mecanismo de fiscalização para garantir que as empresas cumpram esses compromissos, e muitos deles refletem as precauções que as empresas de IA já estão tomando.

Ainda assim, é um primeiro passo razoável. E concordar em seguir essas regras mostra que as empresas de IA aprenderam com as falhas das empresas de tecnologia anteriores, que esperaram para se envolver com o governo até que tivessem problemas. Em Washington, pelo menos no que diz respeito à regulamentação de tecnologia, vale a pena chegar cedo.