Introduzione
Le indagini di ampia scala costituiscono uno dei principali strumenti per comprendere le preferenze economiche dei cittadini. Esse permettono di ricavare dati latenti non accessibili con metodi di osservazione e di integrare approcci basati sul comportamento osservato. Tuttavia, la loro realizzazione è costosa, richiede tempo e comporta complessità organizzative, dal reclutamento dei campioni alla gestione dei ricompense. Di recente, l’avanzamento dei grandi modelli linguistici (LLM) ha suggerito la possibilità di sostituire o integrare le risposte umane con risposte generate dal computer, con la promessa di ridurre i costi e accelerare la produzione di dati.
Questo nuovo approccio ha suscitato un dibattito sulle potenzialità e sui limiti dei LLM. Problemi quali la riduzione dell’identità, il pregiudizio verso popolazioni "western-educated-industrialized" e la sovrastima della potenza statistica hanno sollevato dubbi sulla loro affidabilità, soprattutto quando si trattano preferenze che variano significativamente con demografia e cultura.
Obiettivo dello studio
Il presente studio ha valutato l’efficacia dei LLM nel replicare le preferenze economiche umane su scala globale. Sono state analizzate sei dimensioni fondamentali delle decisioni economiche: rischio, pazienza, riciprocità positiva e negativa, altruismo e fiducia. Per ciascuna, sono stati confrontati i risultati di 67.201 rispondenti umani con quelli generati da 20 configurazioni diverse di LLM provenienti da OpenAI, Google e DeepSeek, in 74 paesi.
Metodi
Si è utilizzato il Global Preference Survey (GPS), uno strumento validato contro compiti sperimentali incentivati e composto da più di 80.000 partecipanti in 76 paesi. Il GPS suddivide le preferenze in sei domini, ciascuno associato a questioni che misurano: rischio (atteggiamento verso l’incertezza), pazienza (scelte intertemporali), riciprocità positiva (ricompensa per la gentilezza), riciprocità negativa (punizione per l’ingiustizia), altruismo (donazioni di beneficenza) e fiducia (atteggiamento verso le istituzioni finanziarie).
Per ogni partecipante umano è stato creato un digital twin: una persona virtuale con gli stessi dati demografici e di localizzazione. Le domande GPS sono state inserite come prompt per i LLM, con la lingua e gli incentivi localizzati (es. cinese e RMB) per riflettere il contesto culturale. Sono state testate nove condizioni di lingua locale, tre condizioni di lingua inglese e varie condizioni di ablazione (rimozione dei dati demografici o di paese).
Il modello ha fornito le risposte previste, che sono state confrontate con le risposte reali in termini di correlazione Spearman e di consistenza direzionale.
Risultati principali
La corrispondenza a livello individuale è risultata moderata ma sistematica: 87,5 % delle correlazioni Spearman hanno intervalli di confidenza al 95 % che superano zero. In termini di consistenza direzionale, i LLM hanno riprodotto correttamente la direzione delle associazioni in 77,8 % dei casi per le dimensioni di genere, età e capacità cognitiva (intervallo di confidenza al 95 %: 71,6 %–83,1 %). Tuttavia, per le dimensioni culturali la percentuale è scesa a 48,1 % (intervallo di confidenza al 95 %: 45,1 %–51,2 %).
Le analisi di ablazione hanno mostrato che la rimozione delle informazioni demografiche riduce la concordanza più di quanto avvenga quando si eliminano i segnali di paese. Inoltre, la precisione del modello è diminuita nei paesi meno sviluppati ed economicamente meno digitalizzati.
Discussione
Questi risultati indicano che i LLM sono capaci di replicare alcuni schemi individuali e di gruppo, ma presentano limiti significativi quando si tratta di catturare la variabilità culturale e di adattarsi alle condizioni locali. La capacità di produrre risposte realistiche dipende in parte dalla quantità e dalla qualità delle informazioni di contesto fornite al modello.
Le implicazioni per l’economia comportamentale sono rilevanti: i modelli possono servire come strumenti preliminari per testare ipotesi o generare dati sintetici, ma non possono sostituire i sondaggi rappresentativi in fase di analisi macro o valutazione di politiche pubbliche.
Conclusioni
Gli LLM mostrano un potenziale interessante per la generazione di dati sulle preferenze economiche, ma i risultati attuali evidenziano lacune soprattutto in termini di accuratezza culturale e di performance in regioni meno digitalizzate. Prima di poter considerare i LLM sostituti affidabili, è necessario approfondire l’addestramento sui dati localizzati, ridurre i bias intrinseci e verificare la robustezza dei risultati su campioni più ampi.
Elenco delle configurazioni testate
- GPT‑3.5‑turbo (local language)
- GPT‑4o‑mini (local language)
- GPT‑4o (local language)
- GPT‑4.1‑mini (local language)
- GPT‑5.4‑mini (local language)
- GPT‑5.4 (local language)
- Gemini‑2.0‑Flash (local language)
- Gemini‑2.5‑Flash (local language)
- DeepSeek‑V3 (local language)
- GPT‑4o‑mini (English only)
- GPT‑5.4‑mini (English only)
- GPT‑5.4 (English only)
- Condizioni di ablazione (senza dati demografici)
- Condizioni di ablazione (senza etichette di paese)
- Controlli di robustezza sul linguaggio del prompt