La diffusione dei modelli di linguaggio su larga scala (LLMs) ha suscitato grande interesse su come l’intelligenza artificiale (IA) possa essere utilizzata per vari compiti, in autonomia o in cooperazione con gli esseri umani.
Negli ultimi anni sono stati prodotti diversi studi, pubblicazioni accademiche e articoli giornalistici sull’impatto che l’intelligenza artificiale e specialmente quella generativa potrà avere sulle attività lavorative.
Una parte di questi articoli evidenzia come l’Intelligenza Artificiale Generativa possa causare impatti sociali importanti, quali la trasformazione profonda o addirittura la perdita di numerosi posti di lavoro, ma esistono anche articoli scientifici basati su ricerche sul campo che hanno cercato di misurare con esperimenti l’effetto che queste tecnologie possono avere negli ambiti lavorativi.
Tra questi ultimi ho scelto 2 ricerche che ritengo significative sia per i risultati ottenuti che per la metodologia utilizzata.
INTELLIGENZA ARTIFICIALE E LAVORO
Un interessante articolo pubblicato da Harvard Business School a settembre 2023 1 (ancora in stato working paper) riporta una ricerca che ha provato a misurare in maniera oggettiva l’effetto che l’utilizzo dell’Intelligenza Artificiale (IA) Generativa può avere nel contesto lavorativo di tipo intellettuale.
Lo studio, condotto da un grande gruppo multidisciplinare insieme a Boston Consulting Group, ha effettuato diversi tipi di esperimenti e condotto centinaia di interviste, esaminando l’impatto dell’IA su compiti complessi e intensivi in termini di conoscenze, in questo caso consulenti per le aziende.
L’esperimento ha coinvolto 758 consulenti, impegnati in 18 compiti.
Sono stati proposti compiti creativi (“Proponete almeno dieci idee per una nuova scarpa destinata a un mercato o a uno sport poco diffuso”), analitici (“Segmentate il mercato dell’industria calzaturiera in base agli utenti”), di scrittura e di marketing (“Redigete un comunicato stampa di marketing per il vostro prodotto”) e di persuasione (“Scrivete un promemoria di ispirazione per i dipendenti, spiegando perché il vostro prodotto sarebbe superiore ai concorrenti”).
Tutti i partecipanti hanno inizialmente completato un’attività di base senza Intelligenza Artificiale per definire una baseline; successivamente, i soggetti sono stati suddivisi in tre gruppi:
- uno senza accesso all’IA (gruppo di controllo)
- uno con accesso all’IA
- uno con accesso all’IA e formazione sul “prompt engineering”
Da notare che l’IA Generativa (in questo caso GPT-4) è stata utilizzata senza adattamenti specifici; per un solo gruppo di partecipanti è stata fornita una supervisione sulla scrittura dei prompt da parte di esperti.
I risultati ottenuti dall’esperimento sono interessanti:
Significativa è stata la constatazione che L’ IA Generativa si comporta come se esistesse una “frontiera tecnologica,” una specie di “muro” che delimita uno spazio dove al suo interno i compiti sono facilmente svolti dall’AI, mentre al di fuori o questo spazio altri compiti anche se di difficoltà simile risultano fuori dalla sua portata.
Questa “frontiera” è invisibile e molto irregolare; nessuno conosce tutte le capacità dei modelli linguistici di grandi dimensioni più avanzati e non sono ancora completamente noti il modo migliore per utilizzarli o i loro limiti.
Non esiste un manuale di istruzioni come non esiste ancora una vera e propria teoria del funzionamento dei sistemi di Intelligenza Artificiale Generativa.
In alcuni compiti l’Intelligenza Artificiale è immensamente potente, mentre in altri fallisce completamente o subdolamente mostrando come realistici risultati errati.
Questa situazione comporta che l’Intelligenza Artificiale ha la capacità di migliorare significativamente le prestazioni umane per alcuni compiti, quelli all’interno della frontiera, ma può degradare le prestazioni umane per altri, quelli al di fuori della frontiera.
Tenendo conto di questa osservazione, relativamente alle attività che ricadevano dentro la frontiera, i consulenti che hanno utilizzato l’IA hanno portato a termine in media il 12,2% di attività in più, hanno completato le attività il 25,1% più rapidamente e hanno prodotto risultati di qualità superiore del 40% rispetto al gruppo di controllo.
L’esperimento ha mostrato che per i compiti fuori dalla “frontiera” dell’IA, i consulenti che utilizzavano l’IA avevano una probabilità inferiore di produrre soluzioni corrette rispetto a quelli senza IA; in altre parole l’utilizzo dell’IA in compiti in cui può fornire risultati errati degrada le prestazioni di chi la usa.
I ricercatori hanno riscontrato anche un altro aspetto interessante, un effetto evidente anche in altri studi sull’IA:
l’Intelligenza Artificiale funziona come un livellamento delle competenze; infatti l’aumento della produttività è stato significativo (del 43%) per le persone avevano ottenuto punteggi inferiori alla media nell’attività di base iniziale, mentre quelli con prestazioni superiori hanno riportato un miglioramento del 17%; in altre parole l’utilizzo dell’Intelligenza Artificiale ha permesso miglioramenti più evidenti
nelle prestazioni per le persone mediamente meno capaci suggerendo che l’utilizzo dell’Intelligenza Artificiale potrebbe essere particolarmente vantaggiosa per i lavoratori meno qualificati.
Gli autori dello studio hanno inoltre evidenziato due modelli di utilizzo efficace dell’IA classificandoli in due categorie:
- “Centauri”, che dividono i compiti tra sé stessi e l’IA in base alla loro esperienza
- “Cyborg”, che integrano completamente l’IA nel loro flusso di lavoro.
Lo studio evidenzia che l’integrazione dell’IA può migliorare significativamente produttività e qualità, ma con limiti per compiti complessi.
THENTELLIGENZA ARTIFICIALE E DIDATTICA
Il secondo articolo, pubblicato poche settimane fa dall’Università di Harvard 2 e svoltosi nello scorso autunno, è relativo all’utilizzo dell’Intelligenza Artificiale nel campo dell’insegnamento di materie scientifiche.
Esistono già numerosi studi sull’argomento che mostrano però risultati contrastanti sull’efficacia dell’apprendimento.
In questo caso è stato sviluppato un tutor basato su Intelligenza Artificiale Generativa implementando nella stessa le stesse pratiche pedagogiche delle lezioni, in modo da fornire agli studenti una metodologia di apprendimento attivo, come se avessero un tutor umano al loro fianco.
L’esperimento, controllato e randomizzato, è stato effettuato in un corso universitario di fisica seguito da 194 studenti presso l’Università di Harvard.
In questo studio, gli studenti sono stati divisi in due gruppi, ciascuno dei quali ha sperimentato due lezioni di fisica dei fluidi (tensione superficiale e flusso dei fluidi), ciascuna con metodologie di insegnamento distinte in settimane consecutive; un gruppo ha lavorato una settimana a casa con una lezione supportata dall’Intelligenza Artificiale e la successiva con una lezione di apprendimento attivo guidata da un istruttore, l’altro gruppo ha lavorato in modalità invertita.
L’esperimento ha misurato per i due metodi sia la differenza tra quanto gli studenti imparano, sia la percezione degli studenti dell’esperienza di apprendimento quando lo stesso materiale didattico viene presentato attraverso un tutor basato su IA rispetto a una classe di apprendimento attivo con un tutor umano.
Un test prima dell’esperimento è servito a valutare le conoscenze di base: dopo le lezioni, gli studenti hanno completato dei post-test per misurare la padronanza dei contenuti e valutare la loro esperienza di apprendimento, inclusi coinvolgimento, divertimento, motivazione e mentalità di crescita.
Il risultato dell’esperimento è che l’insegnamento tramite l’Intelligenza Artificiale, appositamente istruita, è equivalente ad avere un insegnante esperto dedicato e si è rivelata sorprendentemente più efficace rispetto ad un approccio più tipico di “apprendimento attivo” in cui gli studenti imparano in gruppo da un istruttore umano.
Non solo il tutor dell’Intelligenza Artificiale sembrava aiutare gli studenti ad apprendere più materiale, ma gli studenti hanno anche riferito
di avere un coinvolgimento e una motivazione significativamente maggiori nell’apprendimento quando lavorano con l’intelligenza artificiale.
I ricercatori ritengono che la possibilità data agli studenti con il tutor di Intelligenza Artificiale di ottenere feedback personalizzati e di seguire il proprio ritmo di apprendimento, siano vantaggi rispetto all’apprendimento in classe dove i tempi di insegnamento sono dettati dall’insegnante e gli studenti vi si devono adattare.
ALCUNE RIFLESSIONI
Lo studio condotto da Harvard Business School e BCG fornisce interessanti spunti per la valutazione e l’avviamento del processo di integrazione dell’Intelligenza Artificiale nelle organizzazioni lavorative.
In particolare sono tre i punti rilevanti:
- L’esistenza di una “Frontiera Tecnologica” irregolare che obbliga a valutare attentamente l’utilizzo dell’Intelligenza Artificiale nelle varie mansioni.
- L’utilizzo dell’IA porta il miglioramento della qualità del lavoro svolto principalmente nelle attività che ricadono all’interno della “Frontiera Tecnologica”
- L’Intelligenza Artificiale Generativa, quando è correttamente utilizzata nell’ambito lavorativo, si comporta come un livellatore delle competenze, uniformando verso l’alto i risultati.
Come sottolinea lo studio, non è possibile sostituire completamente le persone con l’intelligenza artificiale, e questo non si può ignorare, per cui è fondamentale creare le condizioni affinché i dipendenti capiscano quando e come utilizzare appieno l’Intelligenza Artificiale tramite percorsi di formazione continua.
Va notato che lo studio non tiene in considerazione i fattori di costo legati all’introduzione e all’utilizzo dell’Intelligenza Artificiale in azienda, sia come investimenti tecnologici, sia per ottemperare a obblighi normativi o di sicurezza, come non considera i possibili risparmi che l’uso dell’Intelligenza Artificiale può portare specialmente per i lavori ripetitivi. Questi aspetti andrebbero sviluppati in un’analisi esaustiva degli impatti e dei risultati dell’IA in ambito lavorativo aziendale.
Lo studio dell’Università di Harvard mostra come l’intelligenza artificiale, quando è preparata allo scopo, può diventare un valido mezzo per l’apprendimento anche a livello universitario.
I punti rilevanti sono:
- Sistemi didattici basati su Intelligenza Artificiale Generativa, appositamente preparati, non sostituiscono in toto un insegnante esperto, ma possono essere sicuramente di ausilio ed affiancarsi in un percorso formativo a quelle che sono le metodologie didattiche tradizionali.
- Questo approccio comporta il notevole vantaggio che i ritmi di apprendimento possono essere personalizzati, adattandosi alle capacità dello studente più o meno dotato.
Da sottolineare che sia l’adattamento ai ritmi di apprendimento dello studente, sia la potenziale disponibilità di questi strumenti didattici ovunque uno si trovi, rende in principio accessibile a chiunque la fruizione di corsi in materie complesse anche presso Università ed Istituzioni lontane.
L’integrazione dell’Intelligenza Artificiale, sia nel lavoro che nell’educazione, richiede non solo un adattamento tecnologico, ma anche un profondo cambiamento culturale e organizzativo.
Si tratta di fornire la formazione e le risorse necessarie per garantire che chi la utilizza ne comprenda limiti e potenzialità, massimizzando i vantaggi dell’Intelligenza Artificiale e mitigando i rischi.
È evidente che un processo regolare di formazione e aggiornamento sui modi di utilizzo e sui progressi dell’Intelligenza Artificiale e una cultura di apprendimento continuo e di adattamento ai cambiamenti tecnologici sono essenziali per consentire agli utilizzatori, siano forza lavoro o studenti, l’utilizzo e l’integrazione dell’Intelligenza Artificiale nelle loro attività, comprendendone capacità e limiti.
La potenzialità dell’intelligenza artificiale, nelle ipotesi di utilizzo mostrate sopra, di diventare un facilitatore nell’apprendimento e nello svolgimento delle attività, può avere in prospettiva anche un impatto sociale, potendo essere di ausilio sia nello studio sia nel lavoro a chi per svariate ragioni può trovarsi inizialmente svantaggiato e potenzialmente può ridurre le disuguaglianze; è ovvio che diventa importante la disponibilità a basso costo di questa tecnologia.
RIFERIMENTI
1) Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality
HBR, 2023. Available at: https://www.hbs.edu/ris/Publication%20Files/24-013_d9b45b68-9e74-42d6-a1c6-c72fb70c7282.pdf
2) AI Tutoring Outperforms Active Learning
Harvard University, 2024. Available at: https://www.researchsquare.com/article/rs-4243877/v1