Um estudo publicado no Journal of Pediatrics of the American Medical Association mostrou que o GPT-4 foi apenas 17% preciso no diagnóstico de casos médicos pediátricos, abaixo dos 39% dos casos médicos gerais no ano passado, conforme relatado pela Webmaster's House em 5 de janeiro. No estudo, conduzido pelo Cohen Children's Medical Center, em Nova York, o ChatGPT-4 foi usado para analisar 100 casos pediátricos publicados pelo JAMA Pediatrics e NEJM entre 2013 e 2023. Os pesquisadores colaram o texto dos casos relevantes nos prompts do ChatGPT, e as respostas geradas por IA foram pontuadas por dois pesquisadores médicos qualificados. O ChatGPT teve apenas 17 diagnósticos corretos em 100 casos, 72 diagnósticos falsos e 11 casos em que o diagnóstico não foi totalmente capturado. Destes, 57% dos diagnósticos errados estão concentrados no mesmo sistema de órgãos. Esta baixa taxa de sucesso mostra a realidade de que é improvável que os pediatras humanos percam os seus empregos num curto período de tempo, e o estudo destaca a natureza insubstituível da experiência clínica na área médica. Os pesquisadores apontaram que a alta taxa de erro do ChatGPT se deveu principalmente à sua falta de identificação de relações de doenças, e sugeriram que a precisão do modelo poderia ser melhorada treinando seletivamente em literatura médica precisa e confiável, bem como fornecendo mais dados médicos em tempo real.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
Um estudo publicado no Journal of Pediatrics of the American Medical Association mostrou que o GPT-4 foi apenas 17% preciso no diagnóstico de casos médicos pediátricos, abaixo dos 39% dos casos médicos gerais no ano passado, conforme relatado pela Webmaster's House em 5 de janeiro. No estudo, conduzido pelo Cohen Children's Medical Center, em Nova York, o ChatGPT-4 foi usado para analisar 100 casos pediátricos publicados pelo JAMA Pediatrics e NEJM entre 2013 e 2023. Os pesquisadores colaram o texto dos casos relevantes nos prompts do ChatGPT, e as respostas geradas por IA foram pontuadas por dois pesquisadores médicos qualificados. O ChatGPT teve apenas 17 diagnósticos corretos em 100 casos, 72 diagnósticos falsos e 11 casos em que o diagnóstico não foi totalmente capturado. Destes, 57% dos diagnósticos errados estão concentrados no mesmo sistema de órgãos. Esta baixa taxa de sucesso mostra a realidade de que é improvável que os pediatras humanos percam os seus empregos num curto período de tempo, e o estudo destaca a natureza insubstituível da experiência clínica na área médica. Os pesquisadores apontaram que a alta taxa de erro do ChatGPT se deveu principalmente à sua falta de identificação de relações de doenças, e sugeriram que a precisão do modelo poderia ser melhorada treinando seletivamente em literatura médica precisa e confiável, bem como fornecendo mais dados médicos em tempo real.