Journal of Pediatrics of the American Medical Associationに掲載された研究によると、GPT-4は小児医療症例の診断精度が17%にとどまり、昨年の一般医療症例の39%から低下したと、Webmaster's Houseが1月5日に報告しました。 ニューヨークのCohen Children's Medical Centerが実施した研究では、ChatGPT-4を使用して、2013年から2023年の間にJAMA PediatricsとNEJMが発表した100件の小児症例を分析しました。 研究者は関連する症例のテキストをChatGPTのプロンプトに貼り付け、AIが生成した回答は2人の資格のある医学研究者によって採点されました。 ChatGPTは、100例中17例の正しい診断、72例の誤診、11例の診断が完全に捕捉されなかったケースしかありませんでした。 これらのうち、誤診の57%は同じ臓器系に集中しています。 この成功率の低さは、人間の小児科医が短期間で職を失う可能性が低いという現実を示しており、この研究は、医療分野における臨床経験のかけがえのない性質を浮き彫りにしています。 研究者らは、ChatGPTの高いエラー率は、主に疾患関係の特定の欠如によるものであると指摘し、正確で信頼できる医学文献を選択的にトレーニングし、よりリアルタイムの医療データを提供することで、モデルの精度を向上させることができることを示唆しました。