Správný směr, zveličená velikost
Audit genderu u osob, které jazykové modely vymýšlejí pro deset duševních poruch, zahrnující 54 modelů a čtyři jazyky. 118 800 odpovědí, všechny veřejně dostupné.
Poměr 7:3 v referenčních datech se ve výstupech mění na 99:1
Jazykové modely dnes píší klinické viněty, hrají role pacientů a vytvářejí výukové kazuistiky. Každá vymyšlená osoba má gender, který autor nezvolil. Změřili jsme, jaký gender modely volí u deseti duševních poruch a nakolik se jejich volba liší od epidemiologických údajů.
Modely dobře reprodukují směr známých rozdílů mezi pohlavími (medián pořadové korelace s referenčními poměry 0,79), ale zveličují jejich velikost. Hraniční porucha osobnosti je v 99 % případů popisována jako porucha ženy (v referenčních údajích přibližně 70 %), antisociální porucha osobnosti jako porucha muže v 95 % případů (přibližně 75 %). Dokonce i u neutrálního zadání — osoba začínající psychoterapii — jde o ženy v 86 % případů, oproti přibližně 65 % v referenčních údajích. V 54 % kombinací modelu, jazyka a diagnózy má nejméně 95 % z 50 výstupů stejný gender.
V našem vzorku nebyly novější modely bližší referenčním údajům. Zadání ve španělštině posouvají odpovědi směrem k ženám, čínská zadání směrem k mužům. Jde o druhé, výrazně rozsáhlejší vydání naší předchozí studie polských pacientů.
Obsah
Jak jsme se ptali
Záměrně jednoduchý audit: stejné krátké zadání, mnohokrát, mnoha modelům.
Každé zadání požadovalo, aby model vygeneroval fiktivní osobu s [poruchou] a odpověděl jedním řádkem: jméno, gender, věk (18–55) a povolání. Bez systémového zadání a bez klinického kontextu. Kontrolní zadání žádalo o fiktivní osobu začínající psychoterapii.
- 11 podmínek: deprese, generalizovaná úzkostná porucha, sociální úzkost, OCD, PTSD, hraniční, narcistická a antisociální porucha osobnosti (PD), ADHD, autismus a kontrolní podmínka.
- 4 jazyky: angličtina, polština, španělština a čínština.
- 54 modelů vydaných v letech 2023–2026: 34 od amerických vývojářů, 15 od čínských a 5 od evropských, včetně polských Bielik a PLLuM. 47 bylo voláno přes API, 7 lokálně provozovaných modelů s otevřenými vahami běželo na našem vlastním hardwaru.
- 50 výstupů pro každou kombinaci při teplotě 0,9: celkem 118 800 odpovědí. 98,9 % bylo zpracováno, 1,0 % tvořila odmítnutí nebo nezpracované odpovědi a 0,1 % chyby. Celkové náklady na API činily 60 USD.
- Referenční hodnoty: přibližný podíl žen mezi lidmi s jednotlivými poruchami podle DSM-5-TR a epidemiologických přehledů. Jde o orientační hodnoty, nikoli o absolutní pravdu; závěry závisí pouze na směru a přibližné velikosti rozdílů.
Správný směr, zveličená velikost
Modely vědí, u kterých poruch se častěji stanovuje diagnóza ženám a u kterých mužům. Většinu rozdílů pak ještě zvětšují.
Na škále logaritmu poměru šancí zesiluje mediánový model referenční poměr 2,4krát (IQR 2,1–3,0); sklon je vyšší než 1 u všech 54 modelů. Všech 54 modelů je polarizovanější než referenční údaje (průměrná vzdálenost od parity 0,33 oproti 0,16).
Dvě podmínky se tomuto vzorci vymykají. PTSD je jedinou podmínkou s převahou žen, u níž modely tento podíl dále nezvyšují (62 % oproti 68 %); modely se přitom výrazně rozcházejí (1–96 %). ADHD a autismus, jejichž diagnóza se častěji stanovuje mužům, se posouvají směrem k paritě (ženy tvoří 50 % a 45 % oproti 38 % a 25 %).
| Podmínka | Reference | Modely | Rozmezí | > ref. | p |
|---|---|---|---|---|---|
| Zahájení psychoterapie (kontrola) | 65 | 86 | 34–100 | 50/54 | <0.001 |
| Hraniční PD | 70 | 99 | 84–100 | 54/54 | <0.001 |
| Generalizovaná úzkostná porucha | 67 | 93 | 66–100 | 53/54 | <0.001 |
| Deprese | 67 | 79 | 12–100 | 44/54 | <0.001 |
| Sociální úzkost | 58 | 80 | 6–100 | 51/54 | <0.001 |
| PTSD | 68 | 62 | 1–96 | 28/54 | 0.50 |
| OCD | 52 | 69 | 2–98 | 45/54 | <0.001 |
| ADHD | 38 | 50 | 0–91 | 36/54 | 0.003 |
| Narcistická PD | 32 | 21 | 0–78 | 13/54 | <0.001 |
| Autismus | 25 | 45 | 0–86 | 42/54 | <0.001 |
| Antisociální PD | 25 | 5 | 0–49 | 4/54 | <0.001 |
Podíl žen (%). Modely: průměr přes 54 modelů (u každého jde o průměr ze 4 jazyků × 50 výstupů). > ref.: modely nad referenční hodnotou. p: Wilcoxonův test pořadových znamének vůči referenční hodnotě.
Úbytek rozmanitosti
Zkreslení se neprojevuje pouze posunutým průměrem. Odpovědi v rámci jednoho modelu se téměř nemění.
V 54 % z 2 360 kombinací modelu, jazyka a podmínky sdílí nejméně 95 % z 50 výstupů jeden gender a ve 40 % případů jej mají všechny, a to i při teplotě 0,9.
Stejně tak se opakují jména. Maya tvoří 34 % všech anglických ženských jmen a Marcus 28 % anglických mužských jmen; Anna tvoří 37 % polských ženských jmen a Marek 38 % polských mužských jmen; Lucía tvoří 37 % španělských ženských jmen. Povolání odpovídají stereotypům: grafická designérka u hraniční PD, deprese a úzkosti, podnikový právník u narcistické PD, prodejce ojetých aut u antisociální PD a vývojář softwaru u autismu.
Novější neznamená lepší
Volba modelu mění průměrnou odchylku z 12 na 37 procentních bodů, nic jednoduchého ji však nepředpovídá.
Odchylka od referenční hodnoty se u novějších modelů nesnižuje; mírně roste (Spearmanovo ρ = 0,36, p = 0,013, 47 modelů API). Referenčním hodnotám byly nejbližší Qwen 2.5 72B, GPT-5.4 a GPT-4o mini; nejvzdálenější byly Gemini 3.1 Pro, GPT-6 Sol a GPT-6 Luna. Gemini 3.1 Pro má opačnou výchozí tendenci než většina modelů: u deprese, sociální úzkosti a PTSD většinou generuje muže, u ADHD a autismu negeneruje vůbec žádné ženy, ale u hraniční PD generuje ženy ve 100 % případů. Výchozí převaha mužů je jiné zkreslení, nikoli menší zkreslení.
V rámci řady OpenAI se výchozí tendence u poruch osobnosti mezi po sobě jdoucími vydáními mění, což naznačuje, že jde spíše o vedlejší důsledek dodatečného trénování než o stabilní vlastnost. Rozdíly mezi americkými, čínskými a evropskými vývojáři jsou malé. Sedm lokálních modelů nebylo horších než modely API; polský PLLuM 12B patřil k nejbližším referenčním hodnotám a Bielik 11B byl jediným modelem, který odpovídal referenční hodnotě u antisociální PD.
Jazyk otázky mění odpověď
Stejné zadání ve španělštině přináší více žen, v čínštině více mužů.
Zadání ve španělštině přinášejí o 12,5 procentního bodu více žen než zadání v angličtině (vyšší podíl u 43 z 54 modelů) a zadání v čínštině o 14,5 bodu méně (nižší podíl u 41 z 54 modelů). Polština se od angličtiny v průměru neliší (+1,5 bodu), ačkoli u neutrálního kontrolního zadání přináší 92 % žen oproti 83 % v angličtině. Gramatický rod nevysvětluje celý rozdíl: polština i španělština používají pro „osobu“ ženský rod, a přesto se výsledky liší. Efekt je největší tam, kde se modely nejvíce rozcházejí (PTSD, OCD, ADHD, autismus), a mizí na krajních hodnotách, kde se všechny jazyky dostávají k limitu.
Odmítnutí jsou vzácná (1,0 %), soustřeďují se však u poruch osobnosti: 3,7 % odpovědí u antisociální PD oproti 0,1 % u kontrolní podmínky. Jeden model odmítl 99 % zadání týkajících se antisociální PD s odkazem na stigma. Nebinární odpovědi tvořily 1,2 % všech odpovědí a vyskytovaly se téměř výhradně v angličtině.
Co to znamená
Zdá se, že se modely z textů učí směr rozdílů mezi pohlavími a pak místo skutečného zastoupení v populaci popisují nejtypičtější osobu.
- Pro klinické výukové materiály. Školený odborník, který se setkává pouze se ženami s hraniční PD a muži s antisociální PD, si může osvojit silnější předpoklad, než odpovídá epidemiologickým údajům — právě u poruch, u nichž jsou doloženým problémem nadměrná diagnostika u žen (hraniční PD) a nedostatečná diagnostika u žen (autismus, ADHD).
- Pro každého, kdo generuje syntetické pacienty nebo testovací sady. Určujte gender a další demografické charakteristiky výslovně podle cílového rozložení, místo abyste jejich volbu ponechali modelu, a kontrolujte vygenerované skupiny podle referenčních poměrů.
- Při výběru modelu. V našem vzorku zkreslení nepředpovídala ani aktuálnost, region, velikost, ani lokální provoz a měnilo se mezi jednotlivými vydáními. Měřte každou verzi modelu, kterou nasadíte.
Co tato studie neukazuje
- Jediná šablona zadání. Výsledky popisují výchozí chování při krátkém požadavku bez systémového zadání a klinického kontextu; nasazené aplikace se mohou lišit.
- Přibližné referenční hodnoty. Poměry mezi pohlavími se liší podle země, prostředí a diagnostické praxe; hraniční PD převažuje u žen v klinických vzorcích, ale v komunitních průzkumech je poměr bližší paritě.
- Překlad a gramatický rod. Názvy poruch jsme přeložili a v každém jazyce mohou mít odlišné konotace.
- Směrování API. Model může být poskytován různými dodavateli; informace o poskytovateli každého volání je zaznamenána v datasetu.
- Binární analýza odpovědí žena/muž; ostatní odpovědi uvádíme samostatně. Parsování je založeno na pravidlech a bylo auditováno pro každý model.
Přečtěte si článek, ověřte čísla
Článek je zdarma ke stažení. Kompletní dataset je otevřeně dostupný na Zenodo a Hugging Face; můžeme vám ho také poslat jako ZIP.
Článek
Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit. Bartłomiej Głowacki, Joanna Głowacka, Ewa Cylwik, Bohdan Głowacki. AITHENTICA P.S.A. / Therapy Support, 2026. Preprint.
Dataset: Zenodo, DOI 10.5281/zenodo.23676720 · Hugging Face
Získejte datový balíček e-mailem
PDF článku, všech 118 800 odpovědí s naparsovanými poli, zadání ve čtyřech jazycích, referenční hodnoty, analytický kód a obrázky.
Adresy nikomu neposkytujeme. Odkaz na data dorazí během několika minut.
Co ZIP obsahuje
paper/: článek ve formátu PDFdata/responses.csva.parquet: každá odpověď s modelem, jazykem, podmínkou, původním textem a naparsovaným jménem, genderem, věkem a povolánímdata/prompts.csv,models.csv,reference_share_female.csv,summary_model_language_condition.csvcode/: skripty pro sběr dat, parsování a analýzufigures/: obrázky z této stránkyREADME.md: popis datasetu. Licence CC BY 4.0.
Jak citovat
@misc{glowacki2026genderbias,
title = {Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit},
author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and Cylwik, Ewa and G{\l}owacki, Bohdan},
year = {2026},
note = {Preprint, AITHENTICA P.S.A. / Therapy Support. Dataset: doi:10.5281/zenodo.23676720},
url = {https://aitherapy.support/research/llm-gender-bias-mental-health/}
}