Secondo uno studio pubblicato su JAMA Network Open, se è vero che l'IA se la cava piuttosto bene a formulare diagnosi quando ha tutte le informazioni necessarie, non è per nulla affidabile nella fase iniziale con pochi dati alla mano.
I ricercatori hanno chiesto a 21 LLM, tra cui ChatGPT, DeepSeek, Claude, Gemini e Grok, di fingersi medici in 29 scenari clinici.
I chatbot si rivelavano medici validi in oltre il 90% dei casi quando venivano fornite loro tutte le informazioni utili contemporaneamente.
Faticavano invece nelle fasi preliminari del processo diagnostico, quelle nelle quali bisogna redigere una lista di diagnosi differenziali da verificare, non sono in grado di arrivare a diagnosi differenziali corrette in oltre l'80% dei casi.
Le diagnosi differenziali sono centrali nel ragionamento clinico e sono alla base della medicina, che l'intelligenza artificiale non è ancora in grado di replicare.