Per qualche anno, nel mondo dell’intelligenza artificiale, i numeri hanno avuto la funzione che un tempo avevano le cattedrali: rendere visibile una promessa.
Centosettantacinque miliardi. Duecentottanta miliardi. Sempre più parametri, sempre più calcolo. Il messaggio era facile da capire anche per chi non capiva quasi nulla del resto: se cresce abbastanza, diventerà straordinario.
Il settore si è raccontato così per anni, e non senza ragioni.
Nel 2020 OpenAI presenta GPT-3, 175 miliardi di parametri. Il modello mostra una cosa potente: aumentando drasticamente la scala migliorano in modo significativo le prestazioni few-shot, cioè la capacità di affrontare compiti nuovi a partire da pochi esempi forniti nel prompt, senza addestramenti dedicati.
Non era solo una vittoria tecnica. Era una scena fondativa: per la prima volta un modello abbastanza grande sembrava fare cose diverse da rendere plausibile l’idea che continuare a crescere funzionasse davvero.
Da quel momento la grandezza smette di essere una caratteristica e diventa un programma.
Nel 2021 DeepMind presenta Gopher, 280 miliardi di parametri, e supera lo stato dell’arte sulla maggior parte dei benchmark per cui un confronto era disponibile. Più grande, meglio. Ma dentro quegli stessi risultati c’è un’informazione meno comoda: i benefici della scala non sono distribuiti in modo uniforme. Conoscenze generali e compiti ad alta intensità informativa migliorano molto. Logica, matematica e ragionamento astratto migliorano molto meno.
La macchina cresceva, ma non tutto cresceva con lei.
Nel 2022 DeepMind pubblica il paper di Chinchilla. Il modello ha 70 miliardi di parametri, un quarto di Gopher. Ma il punto del paper non è il modello: è una correzione di rotta. A parità di budget di calcolo, dimostrano gli autori, l’industria aveva costruito modelli troppo grandi e addestrati su troppo pochi dati. Con la proporzione ricalibrata, Chinchilla supera Gopher 280B, GPT-3 175B e altri sistemi più grandi su un’ampia gamma di benchmark.
Non è la fine dello scaling. È la scoperta che, per anni, si era scalata la variabile sbagliata.
Per anni il settore aveva ottimizzato una proporzione su cui erano stati costruiti investimenti, prodotti e strategie. Quando una correzione del genere arriva così tardi, il problema non riguarda più solo i laboratori che l’hanno prodotta. Riguarda anche chi quelle scelte le eredita sotto forma di costi, dipendenze, infrastrutture.
Addestrare modelli di questa stazza richiede cluster di GPU che pochissime organizzazioni al mondo possono permettersi. L’hardware è prodotto da una manciata di aziende, distribuito da un numero ancora più ridotto di fornitori cloud. La scala concentra potere prima ancora di produrre testo.
E il costo non si esaurisce nell’addestramento: si paga ogni volta. Far girare un modello molto grande in inferenza — cioè ogni volta che qualcuno gli fa una domanda — costa energia, latenza, denaro. Per un’azienda che integra un LLM in un proprio processo, la differenza tra un modello da 7 miliardi di parametri e uno da 175 non è una sfumatura: è un fattore di scala nei costi operativi che si ripete a ogni richiesta, ogni giorno, per anni.
Da qui due conseguenze. La scelta del modello “più grande perché più avanzato” è raramente una decisione tecnica neutra: è una decisione economica con implicazioni durature. E i modelli giganti producono una dipendenza strutturale da pochissimi fornitori. Chi costruisce un prodotto sopra un’API proprietaria sta costruendo sopra un terreno che non controlla, a un prezzo che non determina.
Tra il 2022 e il 2024 il panorama si riempie di modelli che rendono più difficile raccontare la vecchia favola in modo lineare. LLaMA apre la stagione degli open-weight. Mistral mostra che si possono fare modelli compatti competitivi a costi ridotti. La discussione sull’esaurimento dei dati di training entra nelle conferenze. La scala continua a contare, ma ha smesso di essere l’unica voce nella stanza.
Nel 2024 Microsoft presenta Phi-3 Mini: 3,8 miliardi di parametri, minuscolo rispetto ai giganti del periodo precedente. Microsoft sostiene che sia competitivo su diversi benchmark rispetto a sistemi molto più grandi, e mostra che può essere eseguito localmente, in forma quantizzata, perfino su dispositivi mobili.
Per un’organizzazione che lavora con informazioni sensibili — sanità, finanza, compliance, documenti legali — non è un dettaglio tecnico, è una questione di sovranità: un modello del genere può, in linea di principio, girare sui server di chi lo usa, senza inviare dati a un fornitore esterno, senza pagare per token. In linea di principio: far girare un modello in casa non è gratis, richiede competenze MLOps, hardware, monitoraggio. Non si sostituisce un’API con un click.
Vale anche il rovescio. Per ragionamento lungo, agenti che eseguono catene di azioni, multimodalità complessa, i modelli grandi continuano a dominare. La scelta non è quindi tra grande e piccolo in astratto: è tra il modello giusto per il compito giusto, valutato sul costo reale di farlo girare per anni.
Lo scaling ha funzionato. Ma dal fatto che abbia funzionato non segue automaticamente che la grandezza sia la definizione migliore dell’avanzamento. Il modello più grande non è sempre il migliore. A volte è soltanto quello più costoso da addestrare, più pesante da distribuire, più facile da esibire.
Chi domani si troverà davanti una proposta che comincia con “il nostro modello ha N miliardi di parametri” farebbe bene a rispondere con tre domande, in quest’ordine.
Su quale mio dato, e con quale metrica misurabile, questo modello fa meglio di quello che già ho.
Quanto costa farlo girare per dodici mesi al volume di traffico che mi aspetto, e cosa succede se raddoppia.
Dove finiscono i dati che gli passo, chi può vederli, e cosa accade il giorno in cui il fornitore cambia prezzo o condizioni.
Nessuna riguarda la grandezza del modello. Tutte e tre riguardano quello che si sta davvero comprando.
Onussen scrive di intelligenza artificiale. Sa che una macchina può diventare enorme senza che questo basti a spiegarla.