Um mistério no pronto-socorro? Peça um diagnóstico ao Dr. Chatbot.

A paciente era uma mulher de 39 anos que havia chegado ao departamento de emergência do Beth Israel Deaconess Medical Center, em Boston. Seu joelho esquerdo estava doendo há vários dias. No dia anterior, ela teve uma febre de 102 graus. Ele tinha ido embora agora, mas ela ainda tinha calafrios. E seu joelho estava vermelho e inchado.

Qual foi o diagnóstico?

Em uma recente e quente sexta-feira, a Dra. Megan Landon, uma médica residente, apresentou este caso real a uma sala cheia de estudantes de medicina e residentes. Eles foram reunidos para aprender uma habilidade que pode ser terrivelmente complicada de ensinar – como pensar como um médico.

“Os médicos são péssimos em ensinar a outros médicos como pensamos”, disse o Dr. Adam Rodman, internista, historiador da medicina e organizador do evento no Beth Israel Deaconess.

Mas, desta vez, eles poderiam pedir ajuda a um especialista para chegar a um diagnóstico – GPT-4, a última versão de um chatbot lançado pela empresa OpenAI.

A inteligência artificial está transformando muitos aspectos da prática da medicina, e alguns profissionais médicos estão usando essas ferramentas para ajudá-los no diagnóstico. Os médicos do Beth Israel Deaconess, um hospital universitário afiliado à Harvard Medical School, decidiram explorar como os chatbots poderiam ser usados ​​– e mal utilizados – no treinamento de futuros médicos.

Instrutores como o Dr. Rodman esperam que os estudantes de medicina possam recorrer ao GPT-4 e outros chatbots para algo semelhante ao que os médicos chamam de consulta na calçada – quando eles puxam um colega de lado e pedem uma opinião sobre um caso difícil. A ideia é usar um chatbot da mesma forma que os médicos pedem sugestões e insights.

Por mais de um século, médicos foram retratados como detetives que reúnem pistas e as usam para encontrar o culpado. Mas médicos experientes realmente usam um método diferente – reconhecimento de padrões – para descobrir o que está errado. Na medicina, isso é chamado de roteiro da doença: sinais, sintomas e resultados de exames que os médicos reúnem para contar uma história coerente com base em casos semelhantes que eles próprios conhecem ou já viram.

Se o roteiro da doença não ajudar, disse o Dr. Rodman, os médicos recorrem a outras estratégias, como atribuir probabilidades a vários diagnósticos que possam se encaixar.

Os pesquisadores tentaram por mais de meio século projetar programas de computador para fazer diagnósticos médicos, mas nada realmente conseguiu.

Os médicos dizem que GPT-4 é diferente. “Isso criará algo notavelmente semelhante a um roteiro de doença”, disse o Dr. Rodman. Dessa forma, acrescentou, “é fundamentalmente diferente de um mecanismo de busca”.

O Dr. Rodman e outros médicos do Beth Israel Deaconess solicitaram ao GPT-4 possíveis diagnósticos em casos difíceis. Em um estudo divulgado no mês passado na revista médica JAMA, eles descobriram que ele se saiu melhor do que a maioria dos médicos em desafios de diagnóstico semanais publicados no New England Journal of Medicine.

Mas, eles aprenderam, usar o programa é uma arte e existem armadilhas.

O Dr. Christopher Smith, diretor do programa de residência em medicina interna do centro médico, disse que os estudantes de medicina e residentes “estão definitivamente usando-o”. Mas, acrescentou, “se eles estão aprendendo alguma coisa é uma questão em aberto”.

A preocupação é que eles possam confiar na IA para fazer diagnósticos da mesma forma que confiariam em uma calculadora em seus telefones para resolver um problema de matemática. Isso, disse o Dr. Smith, é perigoso.

Aprender, disse ele, envolve tentar descobrir as coisas: “É assim que retemos as coisas. Parte do aprendizado é a luta. Se você terceirizar o aprendizado para a GPT, essa luta acaba.”

Na reunião, alunos e residentes se dividiram em grupos e tentaram descobrir o que havia de errado com o paciente com o joelho inchado. Eles então se voltaram para GPT-4.

Os grupos tentaram abordagens diferentes.

Um deles usou o GPT-4 para fazer uma pesquisa na Internet, semelhante à maneira como alguém usaria o Google. O chatbot cuspiu uma lista de possíveis diagnósticos, incluindo trauma. Mas quando os membros do grupo pediram que explicasse seu raciocínio, o bot foi decepcionante, explicando sua escolha afirmando: “Trauma é uma causa comum de lesão no joelho”.

Outro grupo pensou em possíveis hipóteses e pediu ao GPT-4 para checá-las. A lista do chatbot alinhada com a do grupo: infecções, incluindo a doença de Lyme; artrite, incluindo gota, um tipo de artrite que envolve cristais nas articulações; e traumas.

O GPT-4 acrescentou a artrite reumatóide às principais possibilidades, embora não estivesse no topo da lista do grupo. A gota, os instrutores disseram mais tarde ao grupo, era improvável para essa paciente porque ela era jovem e do sexo feminino. E a artrite reumatóide provavelmente poderia ser descartada porque apenas uma articulação estava inflamada e por apenas alguns dias.

Como uma consulta na calçada, o GPT-4 parecia passar no teste ou, pelo menos, concordar com os alunos e residentes. Mas neste exercício, não ofereceu nenhum insight e nenhum roteiro de doença.

Um motivo pode ser que os alunos e residentes usaram o bot mais como um mecanismo de pesquisa do que como uma consulta na calçada.

Para usar o bot corretamente, disseram os instrutores, eles precisariam começar dizendo ao GPT-4 algo como: “Você é um médico atendendo uma mulher de 39 anos com dor no joelho”. Em seguida, eles precisariam listar seus sintomas antes de pedir um diagnóstico e seguir com perguntas sobre o raciocínio do bot, da mesma forma que fariam com um colega médico.

Isso, disseram os instrutores, é uma maneira de explorar o poder do GPT-4. Mas também é crucial reconhecer que os chatbots podem cometer erros e “alucinar” – fornecer respostas sem base em fatos. Usá-lo requer saber quando está incorreto.

“Não é errado usar essas ferramentas”, disse o Dr. Byron Crowe, médico de medicina interna do hospital. “Você só precisa usá-los da maneira certa.”

Ele deu ao grupo uma analogia.

“Pilotos usam GPS”, disse Crowe. Mas, acrescentou, as companhias aéreas “têm um padrão muito alto de confiabilidade”. Na medicina, disse ele, usar chatbots “é muito tentador”, mas os mesmos padrões elevados devem ser aplicados.

“É um grande parceiro de pensamento, mas não substitui o profundo conhecimento mental”, disse ele.

Ao final da sessão, os instrutores revelaram o verdadeiro motivo do joelho inchado do paciente.

Acabou sendo uma possibilidade que todos os grupos haviam considerado e que o GPT-4 havia proposto.

Ela tinha a doença de Lyme.

Olivia Allison contribuiu com reportagem.