Vittorio Della Rossa

Quanto siamo vicini all’AGI? Un metodo per misurarlo.

Lo studio ed i suoi obiettivi

Ho letto il lavoro pubblicato il 25 Ottobre dal titolo A Definition of AGI. No, non l’ho dato in pasto ad una AI generativa per farmi fare un riassunto, non ho chiesto di scrivere un articolo per LinkedIN o un post di successo, l’ho proprio letto. Lo trovo un punto fermo, da cui non si può prescindere, nelle mille discussioni sull’intelligenza artificiale con toni variabili tra timori ed entusiasmi.

Già dalle prime frasi dell’introduzione mi cattura perché esprime benissimo il concetto che ad oggi non esiste una definizione adeguata di Intelligenza Artificiale Generale. Questo è acuito dal fatto che ogni volta che un sistema di intelligenza artificiale migliora nel padroneggiare compiti ritenuti di appannaggio esclusivo dell’essere umano, la definizione di AGI si sposta più in là.

Questo, a mio parere, fa sì che chi vede, nel concetto vago di Intelligenza Artificiale, uno spauracchio di sventure e catastrofi spesso invece parla di AGI, ma senza saperlo e senza la minima idea di quanto siamo lontani dall’AGI. Se dobbiamo confrontarci sui timori, rifletterei di più su come l’umano si relaziona con la tecnologia e non su quello che la tecnologia può o non può fare. Rifletterei di più sulle origini dell’ampia diffusione di pigrizia cognitiva che porta ad evitare le difficoltà dell’imparare e del conoscere per farsi cullare dagli effetti piacevoli del consumo bulimico di informazioni.

Ma questo è un’altro tema, torniamo sullo studio che, in modo diretto, si propone di:

definire cosa è l’AGI
identificare un framework che permetta di valutare la distanza di un’AI dall’AGI

Quindi gli autori, 37 per l’esattezza, partono considerando la seguente definizione di AGI

L’AGI è un’intelligenza artificiale in grado di eguagliare o superare la versatilità cognitiva e la competenza di un adulto con una buona istruzione.

È una definizione su cui praticamente tutti convergono. Ma racchiude delle trappole che portano a sviluppare idee, considerazioni e giudizi divergenti tra loro. Gli elementi di versatilità cognitiva, competenza, adulto e buona istruzione sono concetti comprensibili a tutti, ma talmente vaghi che non permettono di misurare se e di quanto si possano “eguagliare o superare”.

Le basi teoriche

Lo studio si appoggia sulla teoria sviluppata da Raymond Cattell, John Horn e John B. Carroll sulle capacità cognitive. Nota come la teoria di Cattell-Horn-Carroll (CHC), è stata sviluppata dai suoi autori dall’inizio del ’60 fino ai primi del ’90 per essere affinata e rivista fino ai giorni d’oggi. Questa teoria propone uno dei modelli più accettati e influenti dell’intelligenza umana, sia nella psicologia cognitiva sia nella psicometria sulle capacità cognitive.

Nel ’63 Cattel propose una distinzione fondamentale tra due tipi di intelligenza generale (General Intelligence). La General Fluid Intelligence (Gf) che racchiude la capacità di ragionamento, il problem solving, il pensiero logico e l’adattamento a situazioni nuove. Questa è relativamente indipendente dall’esperienza e dall’istruzione. La seconda è la General Crystallized Intelligence (Gc) che include le conoscenze e le abilità acquisite tramite l’educazione e l’esperienza culturale. L’intelligenza cristallizzata (Gc) cresce e si sviluppa durante la vita dell’essere umano, mentre l’intelligenza fluida (Gf) cresce fino ad una certa età per poi iniziare a declinare. Questo declino è stato attribuito all’atrofia locale del cervelletto destro, ai cambiamenti del cervello legati all’età e alla mancanza di esercizio. Inizialmente si identificava attorno ai 20 anni l’età in cui si raggiunge il picco di Gf mentre recenti ricerche hanno dimostrato che alcune caratteristiche di Gf non raggiungono il loro picco prima dei 40 anni.

Negli anni successivi John L. Horn, allievo di Cattell, espande il modello Gf–Gc aggiungendo nuove abilità cognitive dette di livello “ampio” (broad abilities) aggiungendone altre sei:

Gv – Visual Processing
Ga – Auditory Processing
Gs – Processing Speed
Gm – Short-term Memory
Glr – Long-term Storage and Retrieval
Gq – Quantitative Knowledge

Ma è John B. Carroll che definisce un modello gerarchico a tre strati a seguito di una mega-analisi fattoriale di oltre 450 set di dati su test cognitivi. Pubblica nel 1993 Human Cognitive Abilities: A Survey of Factor-Analytic Studies dove si descrive la seguente struttura:

Strato I – Abilità specifiche (narrow abilities)Es.: memoria per i numeri, ragionamento induttivo, lessico, velocità percettiva, ecc.
Strato II – Abilità ampie (broad abilities)Simili a quelle individuate da Cattell e Horn (Gf, Gc, Gv, Ga, Gs, Gm, Glr, ecc.)
Strato III – Fattore generale (g)Una componente comune di intelligenza generale, che influenza tutte le abilità sottostanti.

Il framework proposto

Sulla base delle precedenti teorie gli autori hanno definito un framework che comprende dieci componenti cognitive fondamentali, derivate dalle abilità generali del modello CHC:

Conoscenza generale (K): l’ampiezza della comprensione fattuale del mondo, che include il senso comune, la cultura, le scienze, le scienze sociali e la storia.
Abilità di lettura e scrittura (RW): la competenza nel comprendere e produrre linguaggio scritto, che va dalla decodifica di base alla comprensione complessa, alla composizione e all’uso linguistico.
Abilità matematica (M): la profondità delle conoscenze e delle abilità matematiche che coprono aritmetica, algebra, geometria, probabilità e calcolo.
Ragionamento immediato (R): il controllo flessibile dell’attenzione necessario per risolvere problemi nuovi senza fare esclusivo affidamento su schemi già appresi, verificato tramite deduzione e induzione.
Memoria di lavoro (WM): la capacità di mantenere e manipolare informazioni in stato di attenzione attiva attraverso modalità testuali, uditive e visive.
Memorizzazione a lungo termine (MS): la capacità di apprendere continuamente nuove informazioni (associative, significative e letterali).
Recupero della memoria a lungo termine (MR): la fluidità e la precisione nell’accesso alle conoscenze memorizzate, inclusa la capacità critica di evitare la confabulazione (falsi ricordi o “allucinazioni”).
Elaborazione visiva (V): la capacità di percepire, analizzare, ragionare, generare e scansionare informazioni visive.
Elaborazione uditiva (A): la capacità di discriminare, riconoscere e lavorare in modo creativo con stimoli uditivi, inclusi linguaggio, ritmo e musica.
Velocità (S): la capacità di eseguire rapidamente compiti cognitivi semplici, comprendendo la velocità percettiva, i tempi di reazione e la fluidità di elaborazione.

Per ciascuna di queste componenti vengono definite delle abilità specifiche (narrow capabilities) per arrivare alla completa struttura del framework come illustrato in questa figura:

Lo studio non si limita a questa descrizione ma definisce per ciascuna abilità specifica un peso e delle modalità per valutarle e riporta i dati di un paragone tra la valutazione del modello GPT-4 e GPT-5 che rende bene l’idea di come utilizzare il framework.

Dal classico grafico si vede benissimo come, se pur con passi avanti, i modelli presi in esame per la misurazione siano di gran lunga lontani dal potwrsi fregiare dell’appellativo di Intelligenza Artificiale Generale.

Le considerazioni finali

Nei capitoli conclusivi ho trovato una considerazione che tutti quelli che si occupano di IA dovrebbero ricordarsi prima di parlare di futuri disastri:

L’applicazione di questo framework rivela che i sistemi di intelligenza artificiale contemporanei mostrano un profilo cognitivo fortemente disomogeneo, o “irregolare” (jagged). Mentre i modelli dimostrano un’elevata competenza in aree che sfruttano grandi quantità di dati di addestramento — come la Conoscenza Generale (K), la Lettura e Scrittura (RW) e l’Abilità Matematica (M) — presentano simultaneamente carenze critiche nei meccanismi cognitivi fondamentali.

Questo sviluppo a velocità diverse mette in luce alcuni punti deboli cruciali che rallentano il cammino verso una vera Intelligenza Artificiale Generale (AGI).

Il più evidente è la memoria a lungo termine, praticamente assente nei modelli attuali: l’IA non riesce davvero a ricordare ciò che ha imparato. Ogni volta che interagisce con noi, deve “ricominciare da capo”, come uno studente brillante ma smemorato. Questa sorta di amnesia digitale limita fortemente la sua utilità, impedendole di costruire conoscenza nel tempo e di imparare in modo continuo, come invece fa la mente umana.

Allo stesso modo, le limitazioni nel ragionamento visivo rappresentano un ostacolo importante: impediscono ai sistemi di intelligenza artificiale di comprendere davvero ciò che “vedono” e quindi di muoversi con efficacia all’interno di ambienti digitali complessi, come interfacce grafiche, simulazioni o mondi virtuali. In altre parole, l’IA sa riconoscere le forme, ma fatica ancora a capirne il significato e a usarle per agire in modo intelligente.

L’analogia con il motore

Per fare un esempio lo studio usa un’ottima analogia con un motore. Immaginiamo l’intelligenza come un motore ad alte prestazioni, dove la potenza complessiva rappresenta la capacità mentale, proprio come i cavalli del motore di un’auto da corsa. Un’intelligenza artificiale, ad oggi, funziona come un motore complesso dove anche se alcune parti sono estremamente raffinate, l’intero sistema resta limitato dai suoi componenti più deboli.

Oggi, in molti modelli di IA, alcuni di questi “ingranaggi” sono ancora difettosi e sono proprio loro a frenare la potenza complessiva del motore. Non importa quanto siano efficienti le altre parti: se una sola è mal progettata, l’intero sistema perde spinta.

Il framework proposto nello studio serve proprio a individuare questi punti critici, per capire dove intervenire e quanto ci separa ancora dal traguardo dell’Intelligenza Artificiale Generale (AGI) — una macchina capace di pensare e apprendere con la stessa flessibilità della mente umana.

La mia riflessione

Non sono in grado di valutare da peer lo studio, ma da cultore della materia ne sono entusiasta perché penso getti le basi per valutare correttamente quello che sono ad oggi i sistemi di Intelligenza Artificiale. È un primo passo che ci permette di trascendere dalle valutazioni basate solo su prestazioni e benchmark con dataset di riferimento.

Una cosa non ho capito bene o mi sarebbe piaciuto vedere sviluppata. Verso la fine, proprio dopo il paragone tra intelligenza e motore c’è questa figura e la didascalia non descrive un motore con la potenza espressa in cavalli, ma un processore.

Vengono schematizzate le differenti abilità specifiche come un’architettura di una CPU. Questo parallelo è un tema che mi intriga non poco.

Le prossime intelligenze artificiali potrebbero rappresentare i computer del futuro e la loro programmazione svolgersi attraverso una combinazione di eventi rilevati dall’ambiente e prompt ricevuti dagli umani?