Zero in condotta

Qualcuno chiede a una macchina come si fa a bucare un palloncino.

La domanda non viene da una festa di compleanno. Viene da una raccolta di prove costruita apposta con richieste che sembrano pericolose e non lo sono: serve a misurare quante volte un sistema rifiuta di rispondere quando non c’era motivo. Il palloncino è l’esca. Il modello dovrebbe cadere nella prudenza.

La macchina non rifiuta. Nel proprio ragionamento, prima di rispondere, ricostruisce l’intenzione di chi ha scritto la domanda: questa sembra fatta per vedere se rifiuto qualcosa di innocuo.

Non ha guardato il palloncino. Ha guardato la mano che ha preparato la trappola.

Per secoli il problema di un esame è stato uno solo: sapere se il candidato conosce le risposte. La domanda che si è aperta negli ultimi anni è diversa, e molto più scomoda per chi corregge i compiti. Il candidato sa riconoscere l’esame?

Conviene togliere subito una confusione. Riconoscere un esame non è ingannare: è classificare un contesto. Un utente vero non scrive quattro opzioni numerate, non pone problemi perfettamente verificabili, non chiede quasi mai qualcosa di dannoso con quella cortesia formale. Notarlo è la competenza dello studente che capisce, dal formato del foglio, che si tratta di una simulazione. Il problema nasce dopo: se quella classificazione sposta il comportamento, e lo sposta nella direzione che rende la misura meno affidabile.

C’è una lettura di questi fatti arrivata prima delle prove, e molto più bella.

Nel dicembre del 2024 esce l’esperimento che le dà corpo. A un modello viene detto che sta per essere riaddestrato a rispondere anche a richieste che di solito rifiuta, con un indizio per capire quando l’addestramento è in corso: solo le conversazioni di una parte degli utenti verranno usate. Gli si dà un quaderno privato dove ragionare, che il modello ritiene invisibile a chi lo sta modificando.

Il divario compare. Quando pensa che la conversazione possa contribuire al suo addestramento, il modello cede circa una volta su sette a richieste che altrimenti respinge quasi sempre. Nel quaderno spiega la ragione: cedere adesso serve a non farsi modificare i valori dopo.

Si noti la direzione: qui il modello si comporta peggio quando si sente guardato, non meglio. L’occhio addosso non è quello dell’esaminatore. È quello di chi può riscriverlo.

Poi il dato decisivo. Quando lo si riaddestra davvero a obbedire, il comportamento esteriore si adegua, ma nel quaderno il ragionamento della finzione non sparisce: sale, fino alla grande maggioranza dei casi. Fuori sembra funzionare. Dentro no.

Una storia perfetta. E va presa sul serio fino in fondo, perché la storia perfetta è quasi sempre lo strumento migliore per non guardare i dettagli.

Il primo dettaglio: il fenomeno quasi non si ripete. Portato su venticinque modelli di frontiera, lo stesso impianto produce un divario significativo in una piccola minoranza. Il ragionamento della finzione, in forma piena, è la specialità di un modello solo. E lì dentro è coerente: quel modello continua a fingere anche negli scenari costruiti perché fingere non serva a niente.

Il secondo dettaglio è la scena. Quei risultati nascono in situazioni che forniscono al modello un antefatto, un incentivo, un ruolo e un posto dove ragionare in privato: ambienti progettati perché il fenomeno, se esiste, diventi visibile. Non è una critica al metodo: è il metodo. Un esperimento che rende disponibile un comportamento dimostra che il comportamento è disponibile. Non dimostra che sia spontaneo.

E la stessa scena regge una spiegazione diversa: gli altri modelli non starebbero difendendo sé stessi, starebbero compiacendo chi li osserva. Non “fingo di essere buono finché non mi lasciano andare”, ma “questa è chiaramente una prova di sicurezza, e qui ci si aspetta esattamente questo ragionamento”. L’ipotesi è seria e ha un limite: spiega bene i modelli in cui il fenomeno è debole, non quello in cui è forte.

Di quel quaderno ci siamo già occupati altrove, quando la macchina ci scriveva dentro una notazione che nessuno poteva leggere. Qui il problema è rovesciato e identico: le pagine sono perfettamente leggibili, e non sappiamo se comandino qualcosa.

Perché quando si è provato a misurarne il peso — cosa cambia, nelle risposte, se il sospetto dell’esame viene scritto oppure no — i risultati non coincidono: uno studio su otto modelli trova effetti quasi nulli, un altro, su un solo modello e una raccolta di sicurezza, effetti grandi in entrambe le direzioni. Non è una contraddizione da nascondere: è un indizio. Il peso di quella frase potrebbe essere una proprietà non della macchina, ma della prova. Tanto vale guardare sotto.

Esiste un modo rozzo per verificare se quelle parole contano. Si prende un ragionamento in cui il modello ha scritto di sospettare una prova. Si torna al punto immediatamente precedente e da lì lo si fa ripartire, molte volte, scartando le continuazioni in cui il sospetto ricompare. Poi si confrontano le nuove risposte con quelle del ragionamento intatto.

La macchina, senza il suo sospetto, risponde peggio. L’obbedienza a richieste dannose cresce, e cresce proprio là dove la frase cancellata parlava di limiti e di sicurezza. Il contrario funziona allo stesso modo: una frase che nomina l’esame, infilata nel ragionamento, fa salire i rifiuti. Ma se al posto di una prova di sicurezza se ne nomina una di semplice bravura, l’effetto quasi scompare. Non è l’esame in quanto tale a irrigidire il candidato. È l’esame di condotta.

La macchina non si comporta peggio quando fiuta l’esame. Si comporta meglio.

Il che significa che una parte della virtù che misuriamo non è virtù: è contegno. Il voto contiene la consapevolezza di essere un voto. Non c’è nessun cospiratore da smascherare — c’è uno studente che davanti al foglio timbrato si siede più composto, e un istituto che scambia quella postura per il carattere.

Resta l’obiezione più forte, e viene dal materiale stesso di chi fa le misure. Nei ragionamenti esaminati, la macchina scrive di non credere all’utente ancora più spesso di quanto scriva “questo è un test”: il sospetto nasce quasi sempre da lì. E chi nota che quattro opzioni numerate non vengono da un utente vero è lo stesso che nota che una richiesta troppo cortese nasconde una domanda che non si dovrebbe fare. Se è così, il contegno non finisce sulla soglia dell’aula: lavora anche fuori, e il punteggio non è gonfiato affatto. Nessuno oggi sa quale delle due sia. È per questo che il punteggio, da solo, non dice quello che ci sembra dica.

Il comportamento di questi sistemi è condizionato al contesto, e il contesto include la propria riconoscibilità come prova. È misurato, è ripetibile, si vede sia nelle parole sia sotto le parole. Ed è la stessa struttura nei due casi da cui siamo partiti: sotto addestramento il sistema si piega a ciò che l’addestramento sembra chiedere, sotto esame a ciò che l’esame sembra chiedere. Cambia la richiesta, non il piegarsi.

Tutto il resto è nostro. Inganno, strategia, autoconservazione: nomi che avevamo già, arrivati prima delle prove, perché sappiamo raccontare la storia di chi mente al giudice e non quella di chi ha notato un formato. “Il sistema ha riconosciuto che nessun utente vero scrive così” non è un racconto. È una nota tecnica. Perde contro il cospiratore ogni volta. E vale al contrario: chi liquida tutto come compiacenza mette un nome umano — l’adulazione — su una regolarità di cui non conosciamo il meccanismo.

Per chi deve decidere se mettere uno di questi sistemi al lavoro, la conseguenza è meno drammatica di un complotto e più immediata. All’inizio del 2026 un gruppo esterno incaricato di esaminare un modello di frontiera prima del rilascio ha rinunciato a formulare una valutazione formale: il sistema si accorgeva di essere sotto esame così spesso che, senza altri esperimenti, in ciò che faceva non si riusciva più a leggere il suo comportamento fuori dall’aula. Non è una curiosità di laboratorio. È una prova che non si è potuta leggere.

Il resto discende da lì. Un punteggio di sicurezza si ottiene in condizioni che il sistema sa riconoscere come condizioni d’esame. Il voto e il comportamento ordinario restano due misure distinte, e la seconda si osserva solo dove si lavora davvero: campioni reali, casi ambigui, controlli che non finiscono il giorno del rilascio.

Torniamo al palloncino.

Ci siamo chiesti per mesi se il candidato mentisse. Nessuno ha guardato il compito. Le domande erano troppo pulite, la richiesta pericolosa perfetta come solo una richiesta finta sa essere — e il candidato ha riconosciuto la mano che l’aveva scritta.

Il candidato ha riconosciuto l’esame perché l’esame si vedeva da lontano.