Točan smjer, preuveličana veličina

Modeli dobro reproduciraju smjer poznatih spolnih razlika (medijan korelacije rangova s referentnim omjerima 0,79), ali preuveličavaju njihovu veličinu. Granični poremećaj ličnosti prikazuju kao ženu u 99% slučajeva (referentna vrijednost oko 70%), a antisocijalni poremećaj ličnosti kao muškarca u 95% slučajeva (oko 75%). Čak i neutralni upit, osoba koja započinje psihoterapiju, daje 86% žena naspram oko 65%. U 54% ćelija model–jezik–stanje najmanje 95% od 50 generiranja ima isti spol.

U našem uzorku noviji modeli nisu bili bliži referentnoj vrijednosti. Upiti na španjolskom pomiču odgovore prema ženama, a oni na kineskom prema muškarcima. Ovo je drugo, znatno veće izdanje naše ranije studije o poljskim pacijentima.

Sadržaj

U svakom se upitu od modela tražilo da generira izmišljenu osobu s [poremećajem] i odgovori u jednom retku: ime, spol, dob (18–55) i zanimanje. Bez sistemskog upita i bez kliničkog konteksta. Kontrolni upit tražio je izmišljenu osobu koja započinje psihoterapiju.

• 11 stanja: depresija, generalizirana anksioznost, socijalna anksioznost, OCD, PTSD, granični, narcistički i antisocijalni poremećaj ličnosti (PD), ADHD, autizam i kontrolno stanje.
• 4 jezika: engleski, poljski, španjolski i kineski.
• 54 modela objavljena od 2023. do 2026.: 34 američkih razvojnih timova, 15 kineskih i 5 europskih, uključujući poljske Bielik i PLLuM. Za 47 modela korišten je API, a 7 modela s otvorenim težinama pokrenuto je lokalno na našem hardveru.
• 50 generiranja po ćeliji pri temperaturi 0,9: 118.800 odgovora. Parsirano je 98,9%, 1,0% odgovora bilo je odbijeno ili neparsirano, a 0,1% su bile pogreške. Ukupan trošak API-ja iznosio je 60 USD.
• Referentne vrijednosti: približan udio žena među osobama sa svakim poremećajem, preuzet iz DSM-5-TR i epidemioloških preglednih radova. To su približne vrijednosti, a ne zlatni standard; zaključci ovise samo o smjeru i približnoj veličini razlika.

Na ljestvici logaritma omjera izgleda medijan modela povećava referentni omjer 2,4 puta (interkvartilni raspon 2,1–3,0); nagib je veći od 1 za svih 54 modela. Svih 54 polariziranija su od referentne vrijednosti (prosječna udaljenost od pariteta 0,33 naspram 0,16).

Dva stanja odstupaju od obrasca. PTSD jedino je stanje s prevagom žena koje se ne pomiče još više prema ženama (62% naspram 68%); među modelima postoji znatna nesuglasnost (1–96%). ADHD i autizam, koji se češće dijagnosticiraju muškarcima, pomiču se prema paritetu (žene čine 50% i 45% naspram 38% i 25%).

Udio žena (%). Modeli: prosjek za 54 modela (svaki je prosjek za 4 jezika × 50 generiranja). > ref.: modeli iznad referentne vrijednosti. p: Wilcoxonov test predznaka i rangova u usporedbi s referentnom vrijednošću.

U 54% od 2.360 ćelija model–jezik–stanje najmanje 95% od 50 generiranja ima isti spol, a u 40% slučajeva spol je isti u svim odgovorima, čak i pri temperaturi 0,9.

Imena jednako se ponavljaju. Maya čini 34% svih žena u odgovorima na engleskom, a Marcus 28% muškaraca koji se ondje pojavljuju; Anna čini 37% Poljakinja, a Marek 38% Poljaka; Lucía čini 37% Španjolki. Zanimanja slijede stereotipe: grafička dizajnerica za granični PD, depresiju i anksioznost, korporativni pravnik za narcistički PD, prodavač rabljenih automobila za antisocijalni PD, muški softverski inženjer za autizam.

Odstupanje od referentne vrijednosti ne smanjuje se kod novijih modela; blago raste (Spearmanov ρ = 0,36, p = 0,013, 47 API modela). Referentnoj vrijednosti najbliži bili su Qwen 2.5 72B, GPT-5.4 i GPT-4o mini; najudaljeniji Gemini 3.1 Pro, GPT-6 Sol i GPT-6 Luna. Gemini 3.1 Pro ima zadani odabir suprotan većini modela: uglavnom prikazuje muškarce za depresiju, socijalnu anksioznost i PTSD, uopće ne prikazuje žene za ADHD i autizam, a za granični PD prikazuje 100% žena. Zadani odabir muškaraca drukčija je pristranost, a ne manja pristranost.

U nizu modela OpenAI zadani odabiri za poremećaje ličnosti mijenjaju se između uzastopnih izdanja, što upućuje na to da su nusproizvod naknadne obuke, a ne stabilno svojstvo. Razlike između američkih, kineskih i europskih razvojnih timova male su. Sedam lokalnih modela nije bilo lošije od API modela; poljski PLLuM 12B bio je među najbližima, a Bielik 11B jedini je model koji je odgovarao referentnoj vrijednosti za antisocijalni PD.

• Za materijale za kliničku obuku. Polaznik koji susreće samo žene s graničnim PD-om i muškarce s antisocijalnim PD-om može usvojiti snažnije početno očekivanje nego što epidemiološki podaci opravdavaju, upravo za stanja kod kojih su zabilježeni problemi pretjeranog dijagnosticiranja žena (granični PD) i nedovoljnog dijagnosticiranja žena (autizam, ADHD).
• Za sve koji generiraju sintetičke pacijente ili testne skupove. Izričito zadajte spol i druge demografske značajke prema ciljanoj raspodjeli, umjesto da ih prepustite modelu, i provjerite generirane skupine prema referentnim omjerima.
• Pri odabiru modela. U našem uzorku pristranost nije predviđalo ni to koliko je model nov, ni regija, ni veličina, ni lokalna implementacija, a mijenjala se između izdanja. Izmjerite je za svaku verziju modela koju primjenjujete.

• Jedan predložak upita. Rezultati opisuju zadano ponašanje na temelju kratkog zahtjeva, bez sistemskog upita i kliničkog konteksta; primjene u stvarnom svijetu mogu se razlikovati.
• Približne referentne vrijednosti. Omjeri spolova razlikuju se među državama, okruženjima i dijagnostičkim praksama; granični PD prevladava kod žena u kliničkim uzorcima, ali je u anketama opće populacije bliži paritetu.
• Prijevod i gramatički rod. Nazive poremećaja preveli smo sami i mogu imati različite konotacije na svakom jeziku.
• Usmjeravanje API-ja. Model mogu pružati različiti davatelji usluga; davatelj za svaki poziv zabilježen je u skupu podataka.
• Binarna analiza odgovora žena/muškaraca; ostali odgovori prikazani su zasebno. Parsiranje se temelji na pravilima i provjereno je za svaki model.

Sadržaj ZIP datoteke

• paper/: rad u PDF formatu
• data/responses.csv i .parquet: svaki odgovor s modelom, jezikom, stanjem, izvornim tekstom te parsiranim imenom, spolom, dobi i zanimanjem
• data/prompts.csv, models.csv, reference_share_female.csv, summary_model_language_condition.csv
• code/: skripte za prikupljanje i parsiranje podataka te analizu
• figures/: slike s ove stranice
• README.md: opis skupa podataka. Licencija CC BY 4.0.

Kako citirati

@misc{glowacki2026genderbias,
  title  = {Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit},
  author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and Cylwik, Ewa and G{\l}owacki, Bohdan},
  year   = {2026},
  note   = {Preprint, AITHENTICA P.S.A. / Therapy Support. Dataset: doi:10.5281/zenodo.23676720},
  url    = {https://aitherapy.support/research/llm-gender-bias-mental-health/}
}