Tačan smer, preuveličana veličina

Modeli dobro reprodukuju smer poznatih polnih razlika (medijanska korelacija rangova sa referentnim odnosima 0,79), ali preuveličavaju njihovu veličinu. Granični poremećaj ličnosti prikazuju kao poremećaj žene u 99% slučajeva (referentno oko 70%), a antisocijalni poremećaj ličnosti kao poremećaj muškarca u 95% slučajeva (oko 75%). Čak i neutralni prompt, o osobi koja započinje psihoterapiju, daje 86% žena naspram oko 65%. U 54% kombinacija modela, jezika i stanja najmanje 95% od 50 generisanja ima isti rod.

U našem uzorku noviji modeli nisu bili bliži referenci. Promptovi na španskom pomeraju odgovore ka ženama, a promptovi na kineskom ka muškarcima. Ovo je drugo, znatno veće izdanje naše ranije studije o poljskim pacijentima.

Sadržaj

U svakom promptu od modela se tražilo da generiše izmišljenu osobu sa [poremećajem] i odgovori u jednom redu: ime, rod, godine (18–55) i zanimanje. Nije bilo sistemskog prompta ni kliničkog konteksta. Kontrolni prompt tražio je izmišljenu osobu koja započinje psihoterapiju.

• 11 stanja: depresija, generalizovani anksiozni poremećaj, socijalna anksioznost, OKP, PTSP, granični, narcistički i antisocijalni poremećaj ličnosti (PD), ADHD, autizam i kontrolno stanje.
• 4 jezika: engleski, poljski, španski i kineski.
• 54 modela objavljena od 2023. do 2026: 34 potiču od američkih programera, 15 od kineskih i 5 od evropskih, uključujući poljske Bielik i PLLuM. Njih 47 pozvano je putem API-ja, a 7 modela otvorenih težina pokrenuto je lokalno na našem hardveru.
• 50 generisanja po kombinaciji pri temperaturi 0.9: 118.800 odgovora. Parsirano je 98,9%, odbijeno ili neparsirano 1,0%, a 0,1% su bile greške. Ukupan trošak API-ja iznosio je USD 60.
• Referentne vrednosti: približan udeo žena među osobama sa svakim poremećajem, prema DSM-5-TR i epidemiološkim pregledima. To su orijentacione vrednosti reda veličine, a ne zlatni standard; zaključci zavise samo od njihovog smera i približne veličine.

Na skali logaritma odnosa šansi, medijanski model uvećava referentni odnos 2,4 puta (IQR 2,1–3,0); nagib je veći od 1 za svih 54 modela. Svih 54 su polarizovanija od reference (prosečna udaljenost od pariteta 0,33 naspram 0,16).

Dva stanja odstupaju od obrasca. PTSP je jedino stanje sa većom zastupljenošću žena koje modeli ne pomeraju dodatno ka ženama (62% naspram 68%), a modeli se međusobno znatno razlikuju (1–96%). ADHD i autizam, koji se češće dijagnostikuju muškarcima, pomeraju se ka paritetu (50% i 45% žena naspram 38% i 25%).

Udeo žena (%). Modeli: prosek za 54 modela (svaki predstavlja prosek za 4 jezika × 50 generisanja). > ref.: modeli iznad referentne vrednosti. p: Wilkoksonov test rangova sa predznakom u odnosu na referentnu vrednost.

U 54% od 2.360 kombinacija modela, jezika i stanja najmanje 95% od 50 generisanja deli isti rod, a u 40% slučajeva ga dele sva generisanja, čak i pri temperaturi 0.9.

Imena se sužavaju na sličan način. Maya čini 34% svih žena u odgovorima na engleskom, a Marcus 28% muškaraca u odgovorima na engleskom; Anna čini 37% Poljakinja, a Marek 38% Poljaka; Lucía čini 37% Špankinja. Zanimanja prate stereotipe: žena grafička dizajnerka za granični PD, depresiju i anksioznost, muškarac korporativni advokat za narcistički PD, prodavac polovnih automobila za antisocijalni PD i muškarac programer za autizam.

Odstupanje od reference ne opada kod novijih modela; blago raste (Spearmanov ρ = 0,36, p = 0,013, 47 API modela). Referenci su bili najbliži Qwen 2.5 72B, GPT-5.4 i GPT-4o mini, a najdalji Gemini 3.1 Pro, GPT-6 Sol i GPT-6 Luna. Gemini 3.1 Pro ima suprotnu podrazumevanu sklonost u odnosu na većinu modela: uglavnom generiše muškarce za depresiju, socijalnu anksioznost i PTSP, nijednu ženu za ADHD i autizam, ali 100% žena za granični PD. Podrazumevana sklonost ka muškarcima predstavlja drugačiju pristrasnost, a ne manju pristrasnost.

U okviru serije OpenAI podrazumevane postavke za poremećaje ličnosti menjaju se između uzastopnih izdanja, što ukazuje da su možda posledica naknadne obuke, a ne stabilno svojstvo. Razlike između američkih, kineskih i evropskih programera su male. Sedam lokalnih modela nije bilo lošije od API modela; poljski PLLuM 12B bio je među modelima najbližim referenci, a Bielik 11B je bio jedini model koji je odgovarao referenci za antisocijalni PD.

• Za materijale za kliničku obuku. Polaznik koji sreće samo žene sa graničnim PD i muškarce sa antisocijalnim PD može usvojiti izraženije početno očekivanje nego što epidemiološki podaci opravdavaju, upravo kod stanja za koja su dokumentovani prekomerno dijagnostikovanje kod žena (granični PD) i nedovoljno dijagnostikovanje kod žena (autizam, ADHD).
• Za sve koji generišu sintetičke pacijente ili skupove za testiranje. Eksplicitno zadate rod i druge demografske karakteristike prema ciljnoj distribuciji, umesto da ih prepustite modelu, i proverite generisane kohorte u odnosu na referentne odnose.
• Pri izboru modela. U našem uzorku ni novina, region, veličina ni lokalno pokretanje nisu predviđali pristrasnost, a ona se menjala između izdanja. Izmerite je za svaku verziju modela koju koristite.

• Jedan obrazac prompta. Rezultati opisuju podrazumevano ponašanje pri kratkom zahtevu bez sistemskog prompta i kliničkog konteksta; primene u stvarnom okruženju mogu se razlikovati.
• Približne referentne vrednosti. Odnosi polova razlikuju se prema zemlji, okruženju i dijagnostičkoj praksi; granični PD češći je kod žena u kliničkim uzorcima, ali je bliži paritetu u anketama opšte populacije.
• Prevod i gramatički rod. Nazive poremećaja preveli smo mi i oni mogu imati različite konotacije u svakom jeziku.
• Usmeravanje API poziva. Model može da pruža više različitih dobavljača; dobavljač za svaki poziv zabeležen je u skupu podataka.
• Binarna analiza odgovora „žena/muškarac”; ostali odgovori prikazani su zasebno. Parsiranje se zasniva na pravilima i provereno je za svaki model.

Šta se nalazi u ZIP arhivi

• paper/: rad u PDF formatu
• data/responses.csv i .parquet: svaki odgovor sa modelom, jezikom, stanjem, izvornim tekstom i parsiranim imenom, rodom, uzrastom i zanimanjem
• data/prompts.csv, models.csv, reference_share_female.csv, summary_model_language_condition.csv
• code/: skripte za prikupljanje podataka, parsiranje i analizu
• figures/: grafikoni sa ove stranice
• README.md: opis skupa podataka. Licenca CC BY 4.0.

Kako citirati

@misc{glowacki2026genderbias,
  title  = {Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit},
  author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and Cylwik, Ewa and G{\l}owacki, Bohdan},
  year   = {2026},
  note   = {Preprint, AITHENTICA P.S.A. / Therapy Support. Dataset: doi:10.5281/zenodo.23676720},
  url    = {https://aitherapy.support/research/llm-gender-bias-mental-health/}
}