Uma das propostas mais esperançosas envolvendo a vigilância policial surgiu recentemente de uma fonte surpreendente – o Escritório Federal de Gestão e Orçamento. O gabinete, que supervisiona a execução das políticas do presidente, recomendou restrições extremamente necessárias ao uso de inteligência artificial por agências federais, incluindo as autoridades policiais.
O trabalho do gabinete é louvável, mas as deficiências nas orientações propostas às agências ainda podem deixar as pessoas vulneráveis a danos. A principal delas é uma disposição que permitiria aos altos funcionários procurar isenções, argumentando que as restrições prejudicariam a aplicação da lei. Em vez disso, essas agências de aplicação da lei deveriam ser obrigadas a fornecer provas verificáveis de que as ferramentas de IA que elas ou os seus fornecedores utilizam não causarão danos, agravarão a discriminação ou violarão os direitos das pessoas.
Como estudiosos das ferramentas algorítmicas, do policiamento e do direito constitucional, testemunhamos os danos previsíveis e evitáveis decorrentes do uso de tecnologias emergentes pelas autoridades policiais. Estas incluem detenções falsas e apreensões policiais, incluindo uma família sob a mira de uma arma, depois de pessoas terem sido injustamente acusadas de crimes devido ao uso irresponsável de tecnologias baseadas em IA, incluindo reconhecimento facial e leitores automatizados de matrículas.
Consideremos os casos de Porcha Woodruff, Michael Oliver e Robert Julian-Borchak Williams. Todos foram presos entre 2019 e 2023 após serem identificados incorretamente pela tecnologia de reconhecimento facial. Estas detenções tiveram consequências indeléveis: a Sra. Woodruff estava grávida de oito meses quando foi falsamente acusada de furto de carro e roubo; Williams foi preso na frente de sua esposa e duas filhas quando chegava do trabalho em sua garagem. Como resultado, o Sr. Oliver perdeu o emprego.
Todos são negros. Isto não deveria ser uma surpresa. Um estudo de 2018 co-escrito por um de nós (Dr. Buolamwini) descobriu que três programas comerciais de análise facial de grandes empresas de tecnologia mostraram preconceitos tanto de tipo de pele quanto de gênero. Quanto mais escura a pele, mais frequentemente surgiam erros. Persistem questões de justiça e preconceito sobre o uso deste tipo de tecnologias.
Os erros acontecem porque a aplicação da lei implementa tecnologias emergentes sem transparência ou acordo comunitário de que deveriam ser utilizadas, com pouca ou nenhuma consideração das consequências, formação insuficiente e barreiras de protecção inadequadas. Muitas vezes, os conjuntos de dados que impulsionam as tecnologias estão infectados com erros e preconceitos raciais. Normalmente, os agentes ou agências não enfrentam consequências por falsas detenções, aumentando a probabilidade de que continuem.
As orientações do Gabinete de Gestão e Orçamento, que estão agora a ser finalizadas após um período de comentários públicos, aplicar-se-iam a tecnologias de aplicação da lei, tais como reconhecimento facial, leitores de matrículas, ferramentas de policiamento preditivo, detecção de tiros, monitorização de redes sociais e muito mais. Estabelece critérios para tecnologias de IA que, sem salvaguardas, podem colocar em risco a segurança ou o bem-estar das pessoas ou violar os seus direitos. Se estas “práticas mínimas” propostas não forem cumpridas, as tecnologias que não sejam cumpridas serão proibidas após o próximo dia 1 de agosto.
Aqui estão os destaques da proposta: As agências devem ser transparentes e fornecer um inventário público dos casos em que a IA foi utilizada. O custo e o benefício destas tecnologias devem ser avaliados, uma consideração que tem estado totalmente ausente. Mesmo que a tecnologia proporcione benefícios reais, os riscos para os indivíduos — especialmente nas comunidades marginalizadas — devem ser identificados e reduzidos. Se os riscos forem demasiado elevados, a tecnologia não poderá ser utilizada. O impacto das tecnologias baseadas na IA deve ser testado no mundo real e monitorizado continuamente. As agências teriam de solicitar comentários públicos antes de utilizar as tecnologias, inclusive das comunidades afetadas.
Os requisitos propostos são sérios. Deveriam ter existido antes de a aplicação da lei começar a utilizar estas tecnologias emergentes. Dada a rápida adoção destas ferramentas, sem provas de equidade ou eficácia e com atenção insuficiente à prevenção de erros, prevemos plenamente que algumas tecnologias de IA não cumprirão as normas propostas e a sua utilização será proibida por incumprimento.
O objectivo geral da iniciativa federal de IA é impulsionar a utilização rápida de tecnologias não testadas pelas autoridades policiais, uma abordagem que muitas vezes falha e causa danos. Por essa razão, o Gabinete de Gestão e Orçamento deve desempenhar um papel sério de supervisão.
De longe, o elemento mais preocupante da proposta são as disposições que criam oportunidades para lacunas. Por exemplo, o diretor de IA de cada agência federal poderia renunciar às proteções propostas com nada mais do que uma justificativa enviada ao OMB. Pior ainda, a justificativa precisa apenas alegar “um impedimento inaceitável às operações críticas da agência” – o tipo de alegação que as autoridades fazem regularmente para evitar a regulamentação.
Esta disposição de isenção tem o potencial de eliminar tudo o que a proposta promete. Nenhuma renúncia deve ser permitida sem provas claras de que é essencial – prova que, na nossa experiência, as autoridades normalmente não conseguem reunir. Nenhuma pessoa deveria ter o poder de emitir tal renúncia. Deve haver uma análise cuidadosa para garantir que as isenções sejam legítimas. A menos que as recomendações sejam aplicadas rigorosamente, veremos mais vigilância, mais pessoas forçadas a encontros injustificados com as autoridades e mais danos às comunidades de cor. Não devem ser utilizadas tecnologias que se demonstrem claramente discriminatórias.
Há também uma vaga excepção para a “segurança nacional”, uma expressão frequentemente utilizada para isentar o policiamento das protecções legais dos direitos civis e contra a discriminação. “Segurança nacional” requer uma definição mais precisa para evitar que a isenção seja invocada sem causa válida ou supervisão.
Finalmente, nada nesta proposta se aplica além das agências do governo federal. O FBI, a Administração de Segurança dos Transportes e outras agências federais estão a adoptar agressivamente o reconhecimento facial e outras tecnologias biométricas que podem reconhecer indivíduos pelas suas características físicas únicas. Mas o mesmo acontece com as agências estaduais e locais, que não se enquadram nessas diretrizes. O governo federal oferece regularmente financiamento federal como uma cenoura para obter conformidade das agências estaduais e locais com as regras federais. Deveria fazer o mesmo aqui.
Esperamos que o Escritório de Gestão e Orçamento estabeleça um padrão mais elevado em nível federal para o uso de tecnologias emergentes pela aplicação da lei, um padrão que os governos estaduais e locais também deveriam seguir. Seria uma pena alcançar os progressos previstos nesta proposta e vê-los minados por excepções clandestinas.
Joy Buolamwini é fundadora da Algorithmic Justice League, que busca aumentar a conscientização sobre os danos potenciais da inteligência artificial, e autora de “Unmasking AI: My Mission to Protect What Is Human in a World of Machines”. Barry Friedman é professor da Faculdade de Direito da Universidade de Nova York e diretor docente do Projeto de Policiamento. Ele é o autor de “Injustificado: Policiamento Sem Permissão”.
THE NAIS IS OFFICIAL EDITOR ON NAIS NEWS