Centenas de milhares de médicos nos Estados Unidos utilizam modelos de linguagem clínica, promovidos por empresas como OpenEvidence, Doximity e UpToDate, como uma alternativa aos riscos associados a modelos gerais de IA, que podem apresentar alucinações. Entretanto, poucos estudos compararam diretamente esses modelos, até que um teste recente trouxe resultados impactantes.

Resultados de pesquisa levantam questões sobre confiabilidade

Pesquisadores da NYU Langone Health realizaram um estudo que avaliou tanto modelos gerais quanto clínicos, incluindo o OpenEvidence e o UpToDate Expert AI, em três conjuntos de questões clínicas. Os resultados, publicados na revista Nature Medicine em junho, indicaram que a performance da IA clínica foi inferior à dos modelos gerais.

As conclusões do estudo provocaram reações intensas dentro da comunidade de IA na saúde. Em um post no LinkedIn, o vice-presidente de IA e tecnologias emergentes da Kaiser Permanente comentou: “Nunca vi um único artigo gerar reações como este na comunidade de saúde da IA.” A pesquisa, como qualquer estudo científico, está sujeita a interpretações e debates, mas muitos comentários na internet a interpretaram como uma vitória clara para os modelos gerais.

Implicações para a prática médica

O desempenho inferior dos modelos clínicos em relação aos gerais levanta preocupações sobre a confiança que os médicos podem depositar nesses sistemas. A utilização de IA na medicina, embora promissora, deve ser acompanhada de uma análise crítica de sua eficácia e segurança. A dependência de tecnologias que não se mostram superiores pode comprometer a qualidade do atendimento ao paciente.

À medida que a adoção de chatbots clínicos cresce, é essencial que a comunidade médica avalie com rigor a precisão e a confiabilidade dessas ferramentas. A discussão sobre a eficácia dos modelos de IA é crucial, especialmente em um campo tão delicado quanto a saúde, onde erros podem ter consequências graves.

O estudo da NYU Langone Health não apenas desafia a narrativa predominante sobre a superioridade da IA clínica, mas também destaca a necessidade de mais pesquisas comparativas nesse campo. A confiança dos profissionais de saúde em novas tecnologias deve ser fundamentada em evidências sólidas, e não apenas em promessas de inovação.