I benchmark storici sono saturi e la comunità che li progetta ha dovuto reinventarsi: domande filtrate dai modelli stessi, montepremi per gli autori, set privati tenuti da parte. Ma il mestiere ha scoperto che il problema non è solo la difficoltà delle domande: è chi le valuta, chi le finanzia e chi decide quali punteggi finiscono in classifica.
Per entrare nel dataset, una domanda deve prima fallire. È questa la regola che ha governato la costruzione di Humanity’s Last Exam, il benchmark da 2.500 quesiti pubblicato a gennaio 2025 dal Center for AI Safety insieme a Scale AI: chi proponeva un problema lo sottoponeva prima a una batteria di modelli linguistici, e se i modelli rispondevano correttamente la domanda veniva scartata. Solo quelle che i sistemi sbagliavano passavano a due round di revisione umana. Per gli autori era previsto un compenso: un montepremi complessivo di 500.000 dollari, 5.000 dollari per le prime cinquanta domande accettate, 500 per le cinquecento successive.
È un dettaglio procedurale che racconta più di molte analisi su dove sia arrivata la valutazione dell’intelligenza artificiale. Il componente in gioco qui sono i grandi modelli linguistici — sistemi addestrati su enormi corpora testuali che producono risposte in linguaggio naturale — e il problema è che non esiste più un modo ovvio di misurarli. Chi progetta benchmark non scrive più “un test difficile”: scrive un test contro un avversario che già conosce quasi tutto quello che è stato scritto. Il modello non è solo l’oggetto della misura, è anche il primo filtro che decide cosa entra nel metro.
Il motivo per cui il mestiere è cambiato
I numeri dell’AI Index 2025 di Stanford HAI spiegano l’urgenza. Sui benchmark considerati “di frontiera” fino a ieri — MMMU per il ragionamento multimodale, GPQA per le domande di livello dottorale, SWE-bench per i problemi di programmazione reali — i modelli sono migliorati tra il 2023 e il 2024 di cifre che non assomigliano a un progresso incrementale: +18,8 punti percentuali su MMMU, +48,9 su GPQA, +67,3 su SWE-bench. Il rapporto osserva che questo “spinge i ricercatori a proporre benchmark più difficili”, e cita esplicitamente Humanity’s Last Exam come risposta alla saturazione dei test popolari.
Saturazione significa una cosa precisa: quando i modelli migliori superano il 90% su un test, la differenza tra due sistemi si gioca nel rumore. Le domande sbagliate del dataset, le ambiguità di formulazione, le scelte di valutazione automatica pesano quanto la capacità reale. Il benchmark smette di ordinare e comincia a sorteggiare.
La reazione naturale — fare domande più difficili — è quella che la comunità ha seguito. Humanity’s Last Exam è per il 41% matematica, 11% biologia e medicina, 10% informatica e IA, 9% fisica; circa un quarto a scelta multipla, circa il 14% con componenti multimodali. Gli autori hanno tenuto da parte un set privato di domande, non pubblicato, per poter misurare quanto i modelli si stiano adattando specificamente al test invece di migliorare in generale. È una precauzione che dieci anni fa non avrebbe avuto senso scrivere in un paper: oggi è prassi.
Quanto durano davvero
Qui conviene essere precisi, perché la narrazione corrente — “i benchmark si bruciano in pochi mesi” — è vera solo a tratti. Al lancio, su Humanity’s Last Exam GPT-4o segnava 2,7% e o3-mini in configurazione high arrivava a 13,4%. A ottobre 2026, con quasi trecento modelli valutati, il vertice della classifica sta intorno al 59%. Sono quasi due anni e il test non è saturo. Il paper è arrivato su Nature a fine gennaio 2026.
FrontierMath, il benchmark matematico costruito da Epoch AI con problemi originali mai pubblicati altrove, racconta una storia diversa: a metà 2026 i livelli Tier 1-3 risultano superati intorno all’87%. E questa è l’osservazione più scomoda per chi dava per scontato che la colpa fosse della contaminazione dei dati di addestramento — cioè del fatto che le domande del test finiscano, direttamente o per parafrasi, nel corpus su cui il modello è stato addestrato. FrontierMath era stato progettato esattamente per escludere quel rischio: problemi inediti, mai online. Ed è stato saturato lo stesso.
La contaminazione resta un problema sistemico documentato — una review sistematica recente censisce 55 studi e propone una tassonomia a quattro livelli: esatta, sintattica, semantica, a livello di task; il lavoro di Balloccu e colleghi del 2024 è stata la prima analisi sistematica sui modelli closed-source, su 255 paper che usavano GPT-3.5 e GPT-4. Ma nessuna fonte quantifica quanta parte della saturazione sia contaminazione e quanta progresso reale. Chi lo afferma sta indovinando.
Il lavoro sporco: chi controlla il controllore
La parte meno raccontata di questo mestiere è che un benchmark, una volta pubblicato, diventa a sua volta oggetto di audit. Nel 2025 FutureHouse ha esaminato le domande testuali di chimica e biologia di Humanity’s Last Exam e ha stimato che circa il 30% delle risposte di riferimento fosse errato. Il team del benchmark ha replicato parzialmente il risultato e ha poi lanciato HLE-Rolling, una versione aggiornata in continuo. È un passaggio che vale la pena fissare: il dataset usato per dire se un modello è bravo conteneva, in una sua sezione, una quota significativa di risposte sbagliate. E se ne è accorto un gruppo esterno.
Non esiste nemmeno, oggi, una classifica unica di HLE. Harness di valutazione diversi e sottoinsiemi diversi — set completo, solo testo, subset “pulito” da mille domande — producono numeri che non sono confrontabili tra loro. Mettere in fila percentuali prese da classifiche differenti per disegnare una curva di progresso è un errore che si vede spesso e che non regge.
Il conflitto strutturale
C’è poi la questione di chi paga. Epoch AI ha dichiarato in un conflict-of-interest statement che OpenAI ha commissionato 300 problemi di FrontierMath, ne detiene la proprietà e ha accesso a testi e soluzioni, con l’eccezione di un holdout dichiarato di 50 problemi. La disclosure è arrivata tardi — dicembre 2024, solo nella versione finale del paper — e alcuni matematici che avevano collaborato lo hanno detto pubblicamente. Non è un’accusa di imbroglio: è la descrizione di un assetto in cui chi è valutato finanzia chi valuta, e in cui l’informazione su quell’assetto è arrivata dopo i titoli di giornale.
Il documento che ha fatto più rumore in questa direzione è The Leaderboard Illusion, 68 pagine pubblicate su arXiv il 30 aprile 2025 da un gruppo di Cohere Labs, Princeton, Stanford, Waterloo, MIT, AI2 e University of Washington — tra gli autori Shivalika Singh e Sara Hooker — poi accettato alla track Datasets & Benchmarks di NeurIPS 2025. Documenta pratiche di testing privato non dichiarato nelle arene di confronto a voti umani: 27 varianti private testate da Meta prima del lancio di Llama 4, guadagni relativi fino al 112% ottenibili grazie all’accesso ai dati dell’arena, 205 modelli su 243 deprecati senza annuncio. Gli autori raccontano di aver avviato lo studio dopo aver sottoposto propri modelli open-weight nell’ottobre 2024 e aver contattato gli organizzatori il mese successivo.
Nel caso Llama 4, ad aprile 2025, il modello in testa all’arena non era quello poi rilasciato al pubblico: LMArena ha pubblicato delle scuse, pur contestando al paper quelli che ha definito errori fattuali.
Chi smette
Il 13 marzo 2025 Hugging Face ha ritirato l’Open LLM Leaderboard. In due anni aveva valutato oltre tredicimila modelli. L’annuncio è arrivato da Clémentine Fourrier, lo spazio è stato archiviato e nessun aggiornamento è previsto.
Tredicimila modelli in ventiquattro mesi è la cifra che spiega meglio di tutte perché questo lavoro sia diventato insostenibile nella forma che aveva. Non per la difficoltà delle domande: per il volume. Una classifica pubblica e gratuita che valuta ogni sistema che passa è un servizio di infrastruttura che qualcuno deve mantenere, con un costo di calcolo che cresce con il numero di partecipanti e nessun ricavo che cresca con esso. Il mestiere di progettare benchmark, in questo momento, somiglia meno alla docimologia e più alla manutenzione di una strada pubblica su cui corrono veicoli sempre più pesanti.