Verificabilità prima della spiegabilità: come governare l'AI nella generazione di evidenza
La domanda utile per l'AI clinica non è come il modello ha imparato, ma se i suoi output possono essere verificati, messi sotto stress e riprodotti. Una posizione di governance in linea con quanto oggi chiedono l'EU AI Act e la FDA.
Insight · · 4 min
Gran parte del dibattito sull'AI nella ricerca clinica si fissa sulla spiegabilità: aprire il modello, tracciare i pesi, narrare come si è arrivati a un output. È un istinto comprensibile e, per i sistemi che oggi entrano nella generazione di evidenza, in gran parte l'enfasi sbagliata. Non chiediamo a un radiologo di narrare i percorsi neurali dietro una lettura. Verifichiamo la lettura rispetto a uno standard di riferimento, mettiamo alla prova il lettore con casi vari e avversariali, e registriamo le condizioni in cui il suo giudizio regge. La stessa logica dovrebbe governare l'AI nella generazione di evidenza, e i testi regolatori pubblicati dal 2024 si sono mossi decisamente in quella direzione.
Due di questi testi definiscono la cornice. L'EU Artificial Intelligence Act, Regulation (EU) 2024/1689, è entrato in vigore il 1° agosto 2024, con obblighi introdotti progressivamente negli anni successivi e la maggior parte del regime ad alto rischio applicabile da agosto 2026. Leggendolo con attenzione, ciò che richiede a un sistema ad alto rischio non è un resoconto meccanicistico dell'apprendimento: è gestione del rischio, governance dei dati, documentazione tecnica, logging, supervisione umana, e accuratezza e robustezza dimostrate. Ognuno di questi è un obbligo di verifica. Nel gennaio 2025 la FDA ha pubblicato una draft guidance sull'uso dell'intelligenza artificiale a supporto delle decisioni regolatorie per prodotti farmaceutici e biologici, costruita attorno a un framework di valutazione della credibilità basato sul rischio e ancorato a un contesto d'uso definito. Anche qui: non come funziona il modello, ma se è credibile per questa specifica decisione.
Il contesto d'uso è il concetto portante, ed è quello che gli sponsor più spesso saltano. Un modello non è mai semplicemente validato. È validato per uno scopo dichiarato, su una popolazione dichiarata, e produce un output dichiarato con un peso dichiarato in una decisione dichiarata. Lo stesso modello usato e per aggiudicare un endpoint comporta un rischio del tutto diverso, e quindi requisiti probatori del tutto diversi. Un argomento di credibilità che non nomina la decisione a cui l'output è destinato non è un argomento di credibilità.
Da qui derivano quattro requisiti pratici, che si allineano a obblighi già esistenti in questo settore piuttosto che inventarne di nuovi.
Primo, la provenienza dei dati di addestramento e valutazione. Quali fonti, quale periodo, quale popolazione, quali esclusioni, e come il set di valutazione è stato tenuto separato. Senza questo, nessuna affermazione sulla generalizzazione può essere valutata, e la deriva non può essere rilevata in seguito perché non esiste una baseline con cui confrontarsi.
Secondo, il test avversariale e per sottogruppi. L'accuratezza aggregata nasconde gli errori che contano. Le prestazioni vanno riportate per i sottogruppi effettivamente presenti nello studio, inclusi quelli piccoli, e su casi deliberatamente difficili anziché su un campione di comodo. Un modello che si comporta bene sul partecipante mediano e male sui partecipanti per cui uno studio è stato progettato ha fallito esattamente nel punto di interesse.
Terzo, una supervisione umana reale e non nominale. L'ICH E6(R3), adottata allo Step 4 nel gennaio 2025, è deliberatamente neutrale rispetto alla tecnologia e mette al centro della conduzione una gestione della qualità proporzionata al rischio. Applicato all'AI, questo significa una persona nominata responsabile dell'output, con l'autorità e le informazioni per ribaltarlo, e una registrazione di quando lo ha fatto. Una supervisione che non può essere esercitata non è supervisione; è una firma.
Quarto, una traccia di audit che ricostruisca la decisione. Quale versione del modello, quali input, quale output, quale persona lo ha revisionato e quando. Non è una richiesta nuova: il 21 CFR Part 11 e le aspettative sui sistemi computerizzati nell'E6(R3) lo richiedono già a qualsiasi sistema che tocchi dati regolati. L'AI non ottiene un'esenzione solo perché i suoi meccanismi interni sono più difficili da descrivere.
Niente di tutto questo esclude il lavoro sulla spiegabilità, ed esistono ambiti in cui si guadagna il proprio posto, in particolare nello sviluppo del modello e nel debug degli errori. L'obiezione riguarda il trattarla come la risposta di governance. Una spiegazione post-hoc convincente di un output sbagliato è peggio di nessuna spiegazione, perché fabbrica fiducia. La verifica fa l'opposto: stabilisce le condizioni in cui l'output può essere considerato affidabile, e segna il confine oltre il quale non lo è.
È questa la posizione dietro la governance AI di Evidilya. Ogni passaggio assistito da AI nella generazione di evidenza è definito rispetto a un contesto d'uso dichiarato, registrato, revisionato da una persona e verificabile rispetto ad aspettative pre-specificate. È un resoconto più onesto di ciò che i metodi attuali possono dimostrare, e più utile per un revisore, che non valuta l'architettura ma decide se l'output regge.
Fonti. Regulation (EU) 2024/1689 (Artificial Intelligence Act), in vigore dal 1° agosto 2024. FDA, Considerations for the Use of Artificial Intelligence to Support Regulatory Decision-Making for Drug and Biological Products, draft guidance, gennaio 2025. ICH E6(R3) Good Clinical Practice, Step 4, 6 gennaio 2025. 21 CFR Part 11.
Scritto dal team scientifico di Evidilya. Per interviste, riferimenti bibliografici o l'elenco completo delle pubblicazioni, usa la pagina contatti.
Parlate con il nostro team.
Portateci la domanda di evidenza su cui state lavorando: vi indichiamo il percorso più breve e difendibile.