La notizia in sintesi:
- Sedici professori di diritto dei contratti USA hanno confrontato risposte umane e LLM in valutazione cieca.
- I modelli Gemini 2.5 Pro e NotebookLM hanno vinto circa tre quarti dei confronti diretti.
- Le risposte LLM sono state giudicate meno “dannose” rispetto a molte risposte dei docenti.
- Lo studio indica che gli LLM possono eguagliare o superare il miglior tutor umano in diritto.
(Riassunto generato con AI).
LLM meglio dei professori nel tutoraggio di diritto dei contratti
Chi ha scritto le risposte migliori alle domande di diritto dei contratti: i professori o l’intelligenza artificiale? Cosa emerge da un test rigoroso condotto da Julian Nyarko, professore di Stanford, e colleghi? Dove è avvenuto lo studio? In un campione di quattordici facoltà di giurisprudenza statunitensi che usano lo stesso casebook. Quando? In una sperimentazione recente, condotta con valutazioni cieche e forzate a coppie. Perché è rilevante? Perché mostra che i modelli linguistici avanzati possono non solo affiancare, ma spesso superare i docenti umani nel fornire tutoraggio mirato, ponendo interrogativi cruciali su futuro dell’insegnamento, qualità formativa e standard professionali nel diritto.
Il risultato centrale è netto: gli LLM testati, in particolare Gemini 2.5 Pro e NotebookLM con accesso al casebook, sono stati preferiti in media nel 75% circa dei confronti rispetto alle risposte scritte dai professori.
Come è stato condotto il test e cosa hanno mostrato i dati
Sedici professori di diritto dei contratti, provenienti da quattordici law school statunitensi, hanno elaborato 40 domande rappresentative di quelle poste in orario di ricevimento. Le domande coprivano quattro categorie: richiamo a casi o codici, richiamo di dottrina, ipotetici e quesiti di policy giuridica.
In una seconda fase, ogni docente ha redatto risposte brevi a un sottoinsieme delle domande. In terza battuta, gli stessi professori hanno valutato in modo cieco confronti “testa a testa” tra risposte anonime generate da colleghi e risposte prodotte da due LLM di Google: una versione standard di Gemini 2.5 Pro e un’istanza di NotebookLM dotata di retrieval sul casebook.
Ogni valutatore ha eseguito circa 150–200 confronti, scegliendo obbligatoriamente l’opzione migliore e potendo segnalare come “pedagogicamente dannosa” qualsiasi risposta ritenuta fuorviante o ostacolo all’apprendimento. Gli autori hanno inoltre ingegnerizzato una serie di caratteristiche lexico-sintattiche – lunghezza, organizzazione, sfumatura del ragionamento, riferimenti legali, tono di sicurezza, chiarezza, supporto didattico – per verificare quanto lo stile superficiale spiegasse le preferenze.
I risultati sono quattro. Primo, gli LLM soddisfano – e spesso superano – lo standard professionale definito dalle preferenze degli esperti. Gemini 2.5 Pro ha superato tutti i docenti tranne uno (win rate medio 75,92%), mentre NotebookLM ha superato ogni docente, con un solo pareggio (74,75%). Secondo, il vantaggio degli LLM è rimasto stabile in tutte le categorie di domanda, incluse quelle su ipotetici e policy, che richiedono ragionamento maturo e bilanciamento di argomenti.
Terzo, i tassi di “dannosità” delle risposte LLM sono risultati bassi: 3,41% per Gemini e 3,64% per NotebookLM, contro un intervallo tra 1,00% e 39,75% per i professori. In media, quindi, il rischio pedagogico associato all’IA non supera quello dei migliori istruttori umani. Inoltre, valutando risposte dei colleghi, i professori hanno continuato a preferire quelle dei modelli, segno che il vantaggio non si limita ai gusti di un sottoinsieme di valutatori.
Quarto, le caratteristiche stilistiche spiegano solo parzialmente il successo degli LLM: le win rate osservate superano sistematicamente le previsioni basate su lunghezza, chiarezza o struttura, indicando che la preferenza riguarda anche la sostanza del ragionamento giuridico.
Implicazioni future per la didattica giuridica e l’uso di AI
Lo studio suggerisce che gli LLM possono diventare tutor di riferimento in corsi complessi come il diritto dei contratti, affiancando o integrando i docenti nelle attività di ripasso e chiarimento individuale.
Ciò apre scenari in cui i professori si concentrano su mentoring, discussione critica e formazione etica, delegando all’IA il supporto di base e l’esercizio mirato. Resta cruciale, tuttavia, una supervisione umana attenta per definire linee guida, controllare derive applicative e garantire che *“il superamento dello standard medio”* non sostituisca il ruolo insostituibile dell’esperienza umana nel giudizio professionale e nella responsabilità verso gli studenti.
FAQ
Che cosa dimostra lo studio sugli LLM nel diritto dei contratti?
Dimostra che LLM come Gemini 2.5 Pro e NotebookLM possono eguagliare o superare i migliori professori nel tutoraggio breve.
Quanto spesso le risposte degli LLM sono state preferite a quelle dei docenti?
Sono state preferite in circa tre confronti su quattro, con win rate medi compresi tra il 74% e il 76%.
Le risposte degli LLM sono risultate pedagogicamente pericolose?
No, hanno registrato tassi di “dannosità” intorno al 3,5%, comparabili ai migliori istruttori e inferiori a diversi professori.
In quali ambiti didattici gli LLM possono essere più utili?
Possono essere particolarmente utili per domande di ripasso, chiarimenti su dottrina, casi, ipotetici guidati e discussioni introduttive di policy.
Qual è la fonte originaria delle informazioni riportate nell’articolo?
Le informazioni derivano da una elaborazione congiunta di dati e notizie Ansa.it, Adnkronos.it, Asca.it e Agi.it.
