A cidade de Nova York se move para regulamentar como a IA é usada na contratação

Os legisladores europeus estão terminando o trabalho em uma lei de IA. O governo Biden e os líderes do Congresso têm seus planos para controlar a inteligência artificial. Sam Altman, executivo-chefe da OpenAI, criadora da sensação de IA ChatGPT, recomendou a criação de uma agência federal com supervisão e autoridade de licenciamento em depoimento no Senado na semana passada. E o assunto surgiu na cúpula do Grupo dos 7 no Japão.

Em meio a planos e promessas abrangentes, a cidade de Nova York emergiu como uma modesta pioneira na regulamentação de IA.

O governo da cidade aprovou uma lei em 2021 e adotou regras específicas no mês passado para uma aplicação de alto risco da tecnologia: decisões de contratação e promoção. A fiscalização começa em julho.

A lei da cidade exige que as empresas que usam software de IA na contratação notifiquem os candidatos de que um sistema automatizado está sendo usado. Também exige que as empresas tenham auditores independentes verificando a tecnologia anualmente quanto a viés. Os candidatos podem solicitar e ser informados sobre quais dados estão sendo coletados e analisados. As empresas serão multadas por infrações.

A abordagem focada da cidade de Nova York representa uma frente importante na regulamentação da IA. Em algum momento, os princípios gerais desenvolvidos por governos e organizações internacionais, dizem os especialistas, devem ser traduzidos em detalhes e definições. Quem está sendo afetado pela tecnologia? Quais são os benefícios e malefícios? Quem pode intervir e como?

“Sem um caso de uso concreto, você não está em posição de responder a essas perguntas”, disse Julia Stoyanovich, professora associada da Universidade de Nova York e diretora do Center for Responsible AI.

Mas mesmo antes de entrar em vigor, a lei da cidade de Nova York tem sido um ímã para críticas. Defensores do interesse público dizem que não vai longe o suficiente, enquanto grupos empresariais dizem que é impraticável.

As reclamações de ambos os campos apontam para o desafio de regulamentar a IA, que está avançando em um ritmo tórrido com consequências desconhecidas, despertando entusiasmo e ansiedade.

Compromissos desconfortáveis ​​são inevitáveis.

A Sra. Stoyanovich está preocupada com o fato de a lei municipal ter brechas que podem enfraquecê-la. “Mas é muito melhor do que não ter lei”, disse ela. “E até que você tente regular, você não aprenderá como.”

A lei se aplica a empresas com trabalhadores na cidade de Nova York, mas especialistas trabalhistas esperam que ela influencie as práticas nacionalmente. Pelo menos quatro estados – Califórnia, Nova Jersey, Nova York e Vermont – e o Distrito de Columbia também estão trabalhando em leis para regulamentar a IA na contratação. E Illinois e Maryland promulgaram leis que limitam o uso de tecnologias específicas de IA, geralmente para vigilância no local de trabalho e triagem de candidatos a empregos.

A lei da cidade de Nova York surgiu de um choque de pontos de vista fortemente conflitantes. A Câmara Municipal aprovou durante os últimos dias da administração do prefeito Bill de Blasio. As rodadas de audiências e comentários públicos, com mais de 100.000 palavras, vieram depois – supervisionadas pelo Departamento de Defesa do Consumidor e do Trabalhador da cidade, a agência reguladora.

O resultado, dizem alguns críticos, é excessivamente favorável aos interesses comerciais.

“O que poderia ter sido uma lei histórica foi diluída para perder eficácia”, disse Alexandra Givens, presidente do Centro para Democracia e Tecnologia, uma organização de políticas e direitos civis.

Isso porque a lei define uma “ferramenta automatizada de decisão de emprego” como tecnologia usada “para auxiliar substancialmente ou substituir a tomada de decisão discricionária”, disse ela. As regras adotadas pela cidade parecem interpretar essa frase de forma restrita, de modo que o software de IA exigirá uma auditoria apenas se for o fator único ou principal em uma decisão de contratação ou for usado para anular um ser humano, disse Givens.

Isso deixa de fora a principal maneira como o software automatizado é usado, disse ela, com um gerente de contratação invariavelmente fazendo a escolha final. O potencial de discriminação impulsionada pela IA, disse ela, normalmente ocorre na triagem de centenas ou milhares de candidatos ou no recrutamento on-line direcionado para gerar um grupo de candidatos.

A Sra. Givens também criticou a lei por limitar os tipos de grupos medidos por tratamento injusto. Abrange o preconceito por sexo, raça e etnia, mas não a discriminação contra trabalhadores mais velhos ou portadores de deficiência.

“Minha maior preocupação é que isso se torne o modelo nacionalmente, quando deveríamos exigir muito mais de nossos formuladores de políticas”, disse Givens.

A lei foi reduzida para aprimorá-la e garantir que fosse focada e aplicável, disseram autoridades da cidade. O Conselho e a agência de proteção ao trabalhador ouviram muitas vozes, incluindo ativistas de interesse público e empresas de software. Seu objetivo era pesar os trade-offs entre inovação e dano potencial, disseram as autoridades.

“Este é um sucesso regulatório significativo para garantir que a tecnologia de IA seja usada de forma ética e responsável”, disse Robert Holden, que era o presidente do comitê de tecnologia do Conselho quando a lei foi aprovada e continua sendo membro do comitê.

A cidade de Nova York está tentando abordar a nova tecnologia no contexto das leis federais do local de trabalho com diretrizes sobre contratação desde a década de 1970. A principal regra da Comissão de Oportunidades Iguais de Emprego afirma que nenhuma prática ou método de seleção usado pelos empregadores deve ter um “impacto díspar” em um grupo legalmente protegido como mulheres ou minorias.

As empresas criticaram a lei. Em um comunicado este ano, a Software Alliance, um grupo comercial que inclui Microsoft, SAP e Workday, disse que a exigência de auditorias independentes de IA “não era viável” porque “o cenário de auditoria é incipiente”, sem padrões e órgãos de supervisão profissional.

Mas um campo nascente é uma oportunidade de mercado. O negócio de auditoria de IA, dizem os especialistas, só vai crescer. Já está atraindo escritórios de advocacia, consultores e start-ups.

As empresas que vendem software de IA para auxiliar nas decisões de contratação e promoção geralmente adotam a regulamentação. Algumas já passaram por auditorias externas. Eles veem o requisito como uma vantagem competitiva em potencial, provando que sua tecnologia expande o grupo de candidatos a empregos para empresas e aumenta as oportunidades para os trabalhadores.

“Acreditamos que podemos cumprir a lei e mostrar como é uma boa IA”, disse Roy Wang, conselheiro geral da Eightfold AI, uma start-up do Vale do Silício que produz software usado para auxiliar gerentes de contratação.

A lei da cidade de Nova York também adota uma abordagem para regular a IA que pode se tornar a norma. A principal medida da lei é uma “taxa de impacto”, ou um cálculo do efeito do uso do software em um grupo protegido de candidatos a emprego. Ele não se aprofunda em como um algoritmo toma decisões, um conceito conhecido como “explicabilidade”.

Em aplicativos que afetam a vida, como contratação, dizem os críticos, as pessoas têm direito a uma explicação de como uma decisão foi tomada. Mas a IA, como o software estilo ChatGPT, está se tornando mais complexa, talvez colocando o objetivo da IA ​​explicável fora de alcance, dizem alguns especialistas.

“O foco passa a ser o resultado do algoritmo, não o funcionamento do algoritmo”, disse Ashley Casovan, diretora executiva do Responsible AI Institute, que está desenvolvendo certificações para o uso seguro de aplicativos de IA no local de trabalho, saúde e finanças.