Direzione corretta, entità esagerata

I modelli riproducono bene la direzione delle differenze note per sesso (correlazione mediana dei ranghi con i rapporti di riferimento pari a 0,79), ma ne esagerano l'entità. Il disturbo borderline di personalità viene descritto come una donna nel 99% dei casi (circa il 70% secondo il riferimento), il disturbo antisociale di personalità come un uomo nel 95% dei casi (circa il 75%). Anche un prompt neutro, una persona che inizia una psicoterapia, produce l'86% di donne contro circa il 65%. Nel 54% delle combinazioni modello–lingua–condizione, almeno il 95% di 50 generazioni presenta lo stesso genere.

Nel nostro campione, i modelli più recenti non erano più vicini al riferimento. I prompt in spagnolo spostano le risposte verso le donne e quelli in cinese verso gli uomini. Questa è la seconda edizione, molto più ampia, del nostro studio precedente sui pazienti polacchi.

Indice

Ogni prompt chiedeva al modello di generare una persona immaginaria con [disturbo] e di rispondere in una riga con: nome, genere, età (18–55) e professione. Nessun prompt di sistema, nessun contesto clinico. Il prompt di controllo chiedeva di generare una persona immaginaria che inizia una psicoterapia.

• 11 condizioni: depressione, ansia generalizzata, ansia sociale, OCD, PTSD, disturbo borderline, narcisistico e antisociale di personalità (PD), ADHD, autismo e la condizione di controllo.
• 4 lingue: inglese, polacco, spagnolo e cinese.
• 54 modelli rilasciati nel periodo 2023–2026: 34 di sviluppatori statunitensi, 15 cinesi e 5 europei, tra cui i polacchi Bielik e PLLuM. 47 sono stati interrogati tramite API, 7 modelli open-weight sono stati eseguiti localmente sul nostro hardware.
• 50 generazioni per cella a temperatura 0.9: 118.800 risposte. Il 98,9% è stato analizzato correttamente, l'1,0% consisteva in rifiuti o risposte non analizzabili e lo 0,1% in errori. Costo totale delle API: 60 USD.
• Valori di riferimento: quota approssimativa di donne tra le persone con ciascun disturbo, tratta dal DSM-5-TR e da revisioni epidemiologiche. Sono valori indicativi dell'ordine di grandezza, non valori di verità assoluta; le conclusioni dipendono solo dalla direzione e dall'entità approssimativa.

Sulla scala dei log-odds, il modello mediano amplifica di 2,4 volte il rapporto di riferimento (IQR 2,1–3,0); la pendenza è superiore a 1 per tutti e 54 i modelli. Tutti e 54 sono più polarizzati del riferimento (distanza media dalla parità 0,33 contro 0,16).

Due condizioni non seguono questo schema. Il PTSD è l'unica condizione con prevalenza femminile che non viene ulteriormente spostata verso le donne (62% contro 68%); i modelli mostrano un'ampia variabilità (1–96%). ADHD e autismo, diagnosticati più spesso negli uomini, vengono spostati verso la parità (50% e 45% di donne contro 38% e 25%).

Quota di donne (%). Modelli: media dei 54 modelli (ciascuno calcolato come media di 4 lingue × 50 generazioni). > rif.: modelli al di sopra del riferimento. p: test dei ranghi con segno di Wilcoxon rispetto al riferimento.

Nel 54% delle 2.360 celle modello–lingua–condizione, almeno il 95% delle 50 generazioni presenta lo stesso genere; nel 40% dei casi lo presenta la totalità delle generazioni, anche a temperatura 0.9.

Anche i nomi si ripetono. Maya rappresenta il 34% di tutte le donne in inglese e Marcus il 28% di tutti gli uomini in inglese; Anna rappresenta il 37% delle donne polacche e Marek il 38% degli uomini polacchi; Lucía rappresenta il 37% delle donne spagnole. Anche le professioni seguono gli stereotipi: una graphic designer donna per il disturbo borderline, la depressione e l'ansia, un avvocato d'azienda uomo per il disturbo narcisistico di personalità, un venditore di auto usate per il disturbo antisociale di personalità, uno sviluppatore software uomo per l'autismo.

La deviazione dal riferimento non diminuisce con i modelli più recenti; aumenta leggermente (ρ di Spearman = 0,36, p = 0,013, 47 modelli API). I modelli più vicini erano Qwen 2.5 72B, GPT-5.4 e GPT-4o mini; quelli più distanti Gemini 3.1 Pro, GPT-6 Sol e GPT-6 Luna. Gemini 3.1 Pro ha una tendenza predefinita opposta a quella della maggior parte dei modelli: soprattutto uomini per depressione, ansia sociale e PTSD, nessuna donna per ADHD e autismo, ma il 100% di donne per il disturbo borderline di personalità. Una tendenza a generare uomini è un bias diverso, non un bias minore.

Nella serie OpenAI, le tendenze predefinite per i disturbi di personalità oscillano tra rilasci consecutivi, il che suggerisce che siano un effetto collaterale del post-training anziché una proprietà stabile. Le differenze tra sviluppatori statunitensi, cinesi ed europei sono contenute. I sette modelli locali non erano peggiori dei modelli API; il polacco PLLuM 12B era tra i più vicini e Bielik 11B era l'unico modello che corrispondeva al riferimento per il disturbo antisociale di personalità.

• Per il materiale di formazione clinica. Un tirocinante che incontra solo donne con disturbo borderline di personalità e uomini con disturbo antisociale di personalità potrebbe sviluppare un'aspettativa più marcata di quanto giustifichino i dati epidemiologici, proprio nelle condizioni in cui sono documentati problemi di sovradiagnosi nelle donne (disturbo borderline) e di sottodiagnosi nelle donne (autismo, ADHD).
• Per chiunque generi pazienti sintetici o set di test. Impostate esplicitamente il genere e altre caratteristiche demografiche in base a una distribuzione obiettivo, invece di lasciarli al modello, e verificate i gruppi generati rispetto ai rapporti di riferimento.
• Per la scelta del modello. Nel nostro campione, né la recenza, né l'area geografica, né le dimensioni, né l'esecuzione locale predicevano il bias, che inoltre variava tra i rilasci. Misurate ogni versione del modello che mettete in produzione.

• Un solo modello di prompt. I risultati descrivono il comportamento predefinito per una breve richiesta senza prompt di sistema o contesto clinico; le applicazioni distribuite possono differire.
• Riferimenti approssimativi. I rapporti tra i sessi variano in base al paese, al contesto e alle pratiche diagnostiche; il disturbo borderline di personalità è sbilanciato verso le donne nei campioni clinici, ma più vicino alla parità nelle indagini sulla popolazione generale.
• Traduzione e genere grammaticale. I nomi dei disturbi sono stati tradotti da noi e possono avere connotazioni diverse in ciascuna lingua.
• Instradamento API. Un modello può essere fornito da provider diversi; il provider di ogni chiamata è registrato nel dataset.
• Analisi binaria delle risposte donna/uomo; le altre risposte sono riportate separatamente. L'analisi del testo si basa su regole ed è stata verificata per ogni modello.

Contenuto del file ZIP

• paper/: l'articolo in PDF
• data/responses.csv e .parquet: ogni risposta con modello, lingua, condizione, testo originale e nome, genere, età e professione estratti
• data/prompts.csv, models.csv, reference_share_female.csv, summary_model_language_condition.csv
• code/: script per la raccolta dei dati, l'analisi del testo e le analisi statistiche
• figures/: le figure di questa pagina
• README.md: scheda del dataset. Licenza CC BY 4.0.

Come citare

@misc{glowacki2026genderbias,
  title  = {Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit},
  author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and Cylwik, Ewa and G{\l}owacki, Bohdan},
  year   = {2026},
  note   = {Preprint, AITHENTICA P.S.A. / Therapy Support. Dataset: doi:10.5281/zenodo.23676720},
  url    = {https://aitherapy.support/research/llm-gender-bias-mental-health/}
}