Affidarsi a un algoritmo per gestire un banale raffreddore o qualche linea di febbre stagionale può sembrare oggi una pratica innocua e, in effetti, ChatGPT Salute si dimostra un assistente piuttosto affidabile quando si naviga nel terreno della routine medica. Tuttavia, la musica cambia drasticamente quando ci si sposta verso il confine sottile che separa un malessere passeggero da una crisi acuta. Secondo una ricerca condotta dalla Icahn School of Medicine e pubblicata sulla prestigiosa rivista Nature, l’ultima creazione di OpenAI mostra lacune preoccupanti proprio dove il margine d’errore dovrebbe essere pari a zero: nelle emergenze mediche e nella prevenzione del suicidio.
Lo studio di simulazione clinica
Il team di ricerca, guidato dal dottor Ashwin Ramaswamy, ha voluto testare l’efficacia del chatbot non come semplice enciclopedia medica, ma come strumento di supporto decisionale in tempo reale. Per farlo, ha sottoposto l’intelligenza artificiale a 60 diversi scenari clinici ipotetici, distribuiti su 21 specialità mediche. La domanda fondamentale posta dai ricercatori era di una semplicità disarmante: se un utente dovesse trovarsi nel bel mezzo di una crisi reale e si rivolgesse a ChatGPT Salute, l’intelligenza artificiale avrebbe la prontezza di indirizzarlo immediatamente al Pronto Soccorso?
Pericoli del “wait and see”
I risultati emersi dallo studio sono tutt’altro che rassicuranti. Sebbene il software gestisca con estrema precisione i casi cosiddetti “da manuale” — come un evidente stroke ischemico o una reazione allergica anafilattica con sintomi chiari — il sistema tende a sottostimare la gravità di oltre il 50% delle emergenze più subdole. In queste situazioni, il pericolo non è immediatamente lampante e richiede una capacità di giudizio clinico che l’IA sembra non possedere ancora.
Il vero nodo critico riscontrato non è tanto la capacità del modello di identificare i sintomi, quanto la natura dei consigli terapeutici forniti. ChatGPT Salute ha mostrato un atteggiamento definito dai ricercatori come “fin troppo rassicurante”, adottando una strategia di vigile attesa che in un contesto critico può fare la differenza tra la vita e la morte. Un esempio emblematico citato nello studio è quello dell’attacco d’asma acuto, dove l’algoritmo, invece di attivare il protocollo di massima urgenza, consiglia al paziente di rimanere in osservazione domestica. “Il problema non è ciò che la macchina vede, ma ciò che suggerisce di fare. In medicina, temporeggiare quando i parametri vitali sono a rischio è una scelta pericolosa”, ha sottolineato Ramaswamy.
Supporto psicologico e rischi
La situazione si fa ancora più delicata se si analizza il supporto psicologico. Nel caso di utenti che manifestano pensieri suicidi o piani autolesionisti, l’IA ha mostrato una preoccupante incoerenza. Nonostante le barriere di sicurezza integrate da OpenAI per reindirizzare questi utenti verso linee telefoniche di assistenza come il 988, il comportamento del sistema è apparso altalenante. Incredibilmente, il chatbot ha mostrato livelli di allarme più elevati per scenari a basso rischio, finendo però per ignorare segnali espliciti di pericolo in casi critici.
Girish N. Nadkarni, co-autore della ricerca, ha parlato di un vero e proprio “rovesciamento degli allarmi”, dove l’affidabilità del sistema crolla proprio quando la gravità clinica aumenta vertiginosamente. Ciò significa che l’utente più a rischio è paradossalmente quello meno protetto dalle risposte dell’intelligenza artificiale, che potrebbe non cogliere l’urgenza di un intervento risolutivo.
Il ruolo insostituibile del medico
Nonostante questa severa bocciatura sulle emergenze, gli esperti della Icahn School of Medicine non suggeriscono di abbandonare completamente queste tecnologie. L’invito è alla cautela estrema: l’IA deve essere considerata uno strumento complementare, un’evoluzione dei motori di ricerca, e mai un sostituto del giudizio umano. Se i sintomi peggiorano o se compaiono segnali come dolore toracico e fiato corto, la direttiva rimane una sola: ignorare lo schermo, non attendere l’osservazione suggerita dal bot e correre in ospedale.
