Dados do Trabalho

Título

DIAGNOSTICO EM BYTES: COMPARAÇAO DA ACURACIA ENTRE GOOGLE E CHATGPT 3.5 COMO FERRAMENTAS DE AUXILIO DIAGNOSTICO

Introdução e Objetivo

A incorporação de tecnologias digitais como ferramentas de auxílio diagnóstico na medicina é um fato inegável. A despeito do amplo uso, a precisão na sugestão de diagnósticos é controversa e pouco estudada. Nosso objetivo foi avaliar e comparar a acurácia diagnóstica de duas das principais e mais acessíveis ferramentas de pesquisa na internet: Google e ChatGPT 3.5.

Método

Neste estudo, foram utilizados 60 casos clínicos relacionados a patologias urológicas para avaliar as ferramentas de busca Google e ChatGPT 3.5. Os casos foram divididos igualmente em dois grupos: um grupo de afecções comuns - casos clínicos construídos a partir dos sintomas mais comuns descrito nas diretrizes da EAU e no UpToDate; e outro grupo de afecções raras - baseado em relatos de caso publicados entre 2022 e 2023 no “Urology Case Reports”. Cada caso clínico foi inserido na Pesquisa Google e no ChatGPT 3.5, e os resultados foram categorizados como "diagnóstico correto", "diagnóstico diferencial provável" ou "diagnóstico incorreto". Um conjunto de pesquisadores de maneira cega e randômica julgou adequação das respostas. 

Resultados

No grupo dos casos usuais, o Google acertou 53,3% dos diagnósticos, fornecendo diagnóstico diferencial provável em 23,3% dos casos e errando os demais. O ChatGPT 3.5 apresentou desempenho superior, acertando 86,6% dos diagnósticos, também fornecendo diagnóstico diferencial provável em 13,3% dos casos, sem cometer erros. Nos casos raros, o Google não acertou os diagnósticos, fornecendo diagnóstico diferencial provável em 20% dos casos e errando os demais. O ChatGPT 3.5 acertou 16,6% dos diagnósticos, fornecendo diagnóstico diferencial provável em 50% dos casos e errando os restantes. 

Conclusão

Os resultados indicaram que o ChatGPT 3.5 apresentou uma acurácia diagnóstica superior ao Google nos dois cenários. O ChatGPT 3.5 apresentou uma precisão bastante aceitável nos casos comuns, mas ainda bastante limitada nos casos raros. Tais achados permitem vislumbrarmos algum uso destas ferramentas nos processos educacionais e formativos. O acesso destas ferramentas às bases de dados médicas e o desenvolvimento continuado podem trazer avanços consideráveis, possibilitando aplicações ainda mais robustas, inovadoras e seguras e possivelmente nos auxiliando no cuidado às pessoas.

Área

Transplante Renal / Miscelânea