Nel settembre 2023 la Suprema Corte di Albany ha respinto la richiesta di accedere a formule e soglie di COMPAS, lo strumento di risk assessment usato dal DOCCS per le decisioni sulla libertà condizionale. Il motivo decisivo non è stato il diritto alla sicurezza né la privacy: è stato che, con il codice pubblico, un altro fornitore potrebbe replicare il sistema a costo molto inferiore. Nei tribunali veri e propri, intanto, New York ha già una legge che impone la trasparenza degli strumenti pre-dibattimentali.
Il 14 settembre 2023, la Suprema Corte dello Stato di New York nella contea di Albany ha deciso che i cittadini dello Stato non hanno diritto di vedere come funziona il software che contribuisce a stabilire chi esce di prigione e chi no. Il caso si chiama Matter of Rayner v. DOCCS & Equivant, Index No. 908549-22. La ricorrente, Martha Rayner, è una clinical law professor della Fordham Law School, assistita dalla Media Freedom & Information Access Clinic della Yale Law School. Aveva chiesto, con una domanda di accesso agli atti ai sensi del FOIL — il Freedom of Information Law dello Stato, l’equivalente locale della nostra richiesta di accesso civico — le formule, i coefficienti, le soglie dei decili e il “Norm Core data group” di COMPAS. Non il codice sorgente come oggetto feticcio: i numeri che trasformano un questionario in un punteggio.
COMPAS è uno strumento statistico di risk and needs assessment, sviluppato nel 1998 dall’azienda allora chiamata Northpointe e ridenominata equivant nel gennaio 2017. Appartiene alla famiglia di sistemi che l’industria vende sotto l’etichetta di intelligenza artificiale applicata alla giustizia penale: un modello costruito su dati storici di popolazione detenuta, che prende in ingresso le risposte a un questionario strutturato — storia penale, situazione abitativa, lavoro, relazioni, atteggiamenti dichiarati — e produce in uscita un punteggio di rischio espresso in decili, cioè una posizione relativa rispetto a un gruppo di riferimento. Non “prevede” nulla del singolo individuo: stima quanto quella combinazione di risposte assomigli a profili che, nel campione di addestramento, hanno avuto certi esiti. La versione in uso a New York si chiama COMPAS Re-entry. Il Department of Corrections and Community Supervision (DOCCS) la usa dal 1998, dopo l’aggiudicazione di una gara competitiva a equivant, e serve alla Commissione per la libertà condizionale.
Dove sta davvero il software, e dove non sta
Qui va sgombrato il campo da un equivoco che circola spesso quando si parla di algoritmi e tribunali americani. COMPAS, in New York, non è nelle aule di giustizia. La legge statale — Executive Law §259-c(4) e il regolamento 9 NYCRR 8002.2(a) — obbliga la Commissione parole a servirsi di uno strumento di valutazione del rischio e dei bisogni periodicamente validato, e la Commissione ha adottato COMPAS Re-entry. È una fase amministrativa successiva alla condanna, non un momento processuale. Il giudice che pronuncia una pena non riceve un decile di COMPAS; lo riceve, in forma di supporto alla decisione, chi deve stabilire se un detenuto torna in libertà vigilata.
La distinzione conta perché nella fase precedente — quella in cui si decide se una persona attende il processo in carcere o fuori — New York ha fatto, da tempo, l’opposto del segreto. La riforma della cauzione del 2019 ha introdotto il CPL §510.45, in vigore dal 10 gennaio 2020. Prevede che qualunque questionario o strumento usato per decidere sul rilascio sia messo a disposizione dell’imputato e del suo difensore su richiesta scritta, e che il modulo in bianco sia consegnato a chiunque lo chieda. Prevede, al comma 3(b)(ii), che lo strumento sia empiricamente validato e rivalidato, con gli studi e i dati sottostanti pubblicamente disponibili su richiesta. E prevede, al comma 2, che Stato, contee e comuni non possano affidare il monitoraggio pre-dibattimentale a soggetti privati a scopo di lucro. A New York City, poi, lo strumento in uso è la CJA Release Assessment, gestita dalla Criminal Justice Agency, aggiornata nel 2020 con la University of Chicago Crime Lab, il MOCJ e Luminosity: metodologia e rapporti sono pubblicati.
Il paradosso è netto. Sul pre-dibattimento, dove la posta in gioco è la libertà di un presunto innocente, lo Stato ha scelto la trasparenza per legge e ha escluso il fornitore a scopo di lucro. Sulla libertà condizionale, dove la posta è l’uscita anticipata di un condannato, resta un prodotto proprietario comprato ventisette anni fa e mai aperto.
La motivazione che nessuno si aspettava
La richiesta FOIL di Rayner è del 4 gennaio 2022, negata il 13 giugno 2022, con appello amministrativo respinto il 21 luglio. Nel ricorso in sede giurisdizionale equivant è intervenuta in giudizio — ordinanza del 27 aprile 2023 — per difendere i propri segreti commerciali. Il giudice ha qualificato la tecnologia “COMPAS-NY” come bona fide trade secret, quindi esente da divulgazione ai sensi del Public Officers Law §87(2)(d), aggiungendo che un eventuale cambio di regola “deve venire dal legislatore statale”.
Fin qui, routine. La parte interessante è il ragionamento economico con cui la segretezza viene giustificata. Il giudice osserva che, se le formule fossero rese pubbliche, un altro fornitore informatico dello Stato potrebbe replicare le funzionalità del sistema a costo molto inferiore. E cita lo State Finance Law §163(1)(h), che impone all’amministrazione di documentare la ragionevolezza del costo degli affidamenti: in quello scenario, nota, sarebbe dubbio che il DOCCS possa continuare a rinnovare il rapporto con equivant senza riaprire la concorrenza.
Il danno concorrenziale che giustifica il segreto, letto al contrario, è la prova che lo Stato sta pagando un sovrapprezzo. Se la pubblicazione delle formule permettesse a un concorrente di fare la stessa cosa per molto meno, allora la differenza tra i due prezzi è esattamente ciò che il segreto sta proteggendo.
È una logica che vale per i brevetti farmaceutici e per molto software commerciale, ed è difendibile in astratto: chi investe nella ricerca ha diritto a un ritorno. Ma qui si applica a un prodotto in servizio dal 1998 presso lo stesso committente pubblico, dove la “ricerca” da remunerare non è più un investimento a rischio ma una rendita di posizione consolidata. E si applica a un modello che, secondo il ricorso (paragrafo 29), non ha studi pubblicati di validazione predittiva per la versione Re-entry in uso a New York, mentre ne esistono per altri strumenti della stessa famiglia.
Il conto economico vero
Quanto paghi New York per COMPAS non è noto: la sentenza menziona il contratto senza indicarne il valore, e non risultano cifre pubbliche. Questo è già un dato. Ma la contabilità rilevante non è il prezzo della licenza, è un’altra:
- Il costo della non-contendibilità. Un modello statistico di questo tipo non è una rete neurale da miliardi di parametri: è un insieme di coefficienti applicati alle risposte di un questionario. La barriera all’ingresso per un concorrente non è tecnica, è informativa — e il segreto commerciale la produce artificialmente.
- Il costo della non-validazione. Senza studi pubblicati sulla popolazione a cui il modello viene applicato, non c’è modo di sapere se il punteggio funzioni meglio o peggio di un criterio più semplice. Nessuno può sapere se lo Stato stia comprando informazione o rumore.
- Il costo dell’inversione dell’onere. La legge newyorkese sul pre-dibattimento mette la validazione a carico di chi fornisce lo strumento. Sulla parole, chi contesta deve dimostrare il proprio diritto a vedere — e in sede FOIL perde contro un’eccezione di segreto commerciale.
Un precedente, non un’ondata
Si legge spesso che gli Stati americani starebbero smantellando il segreto industriale sui modelli di rischio. La prova documentata è molto più sottile: l’Idaho, con lo House Bill 118 del 2019, promosso dal rappresentante Greg Chaney, impone la trasparenza degli strumenti di rischio pre-dibattimentale e vieta tanto ai costruttori quanto agli utilizzatori di invocare il segreto commerciale per sottrarsi. Una fonte accademica la data al 28 marzo 2019 e la indica come prima legge statale a rimuovere del tutto quella protezione in materia. Nel passaggio in commissione Giustizia della Camera dell’Idaho, però, fu stralciata la clausola che imponeva di dimostrare l’assenza di bias.
Un singolo Stato, una legge limitata al pre-dibattimento, e la parte più scomoda tolta per strada. Non è un’ondata: è un precedente isolato che, oltretutto, affronta lo stesso segmento in cui New York era già arrivata per conto proprio. Il segmento scoperto — le decisioni su chi ha già una condanna alle spalle — resta quello dove il segreto commerciale regge meglio, probabilmente perché lì la politica trova meno convenienza a intervenire.
C’è un ultimo dettaglio che vale più di molte argomentazioni sull’equità algoritmica. Il giudice di Albany non ha scritto che COMPAS è accurato, né che è equo: non è stato chiamato a deciderlo e non l’ha fatto. Ha deciso soltanto che le formule rientrano nell’eccezione FOIL per i segreti commerciali. Il che significa, letteralmente, che lo Stato di New York affida parte della valutazione sulla libertà di una persona a un modello la cui qualità nessun giudice ha mai esaminato — e che quel riesame, per come stanno le cose, non può iniziare finché i numeri restano un asset aziendale.