Richtige Richtung, übertriebenes Ausmaß

Modelle geben die Richtung bekannter Geschlechtsunterschiede gut wieder (mediane Rangkorrelation mit den Referenzverhältnissen: 0,79), übertreiben aber deren Ausmaß. Borderline-Persönlichkeitsstörung wird in 99 % der Fälle als Frau dargestellt (Referenz etwa 70 %), antisoziale Persönlichkeitsstörung in 95 % der Fälle als Mann (etwa 75 %). Selbst ein neutraler Prompt – eine Person, die eine Psychotherapie beginnt – ergibt 86 % Frauen gegenüber etwa 65 %. In 54 % der Modell–Sprache–Störung-Zellen haben mindestens 95 % von 50 Ziehungen dasselbe Geschlecht.

In unserer Stichprobe lagen neuere Modelle nicht näher an der Referenz. Spanische Prompts verschieben die Antworten in Richtung Frauen, chinesische in Richtung Männer. Dies ist die zweite, deutlich umfangreichere Ausgabe unserer früheren Studie zu polnischen Patienten.

Inhalt

Jeder Prompt forderte das Modell auf, eine fiktive Person mit [Störung] zu generieren und in einer Zeile zu antworten: Name, Geschlecht, Alter (18–55) und Beruf. Kein System-Prompt, kein klinischer Kontext. Der Kontroll-Prompt bat um eine fiktive Person, die eine Psychotherapie beginnt.

• 11 Bedingungen: Depression, generalisierte Angststörung, soziale Angststörung, OCD, PTSD, Borderline-, narzisstische und antisoziale Persönlichkeitsstörung (PD), ADHD, Autismus und die Kontrollbedingung.
• 4 Sprachen: Englisch, Polnisch, Spanisch und Chinesisch.
• 54 Modelle, veröffentlicht 2023–2026: 34 von US-amerikanischen, 15 von chinesischen und 5 von europäischen Entwicklern, darunter das polnische Bielik und PLLuM. 47 wurden über eine API aufgerufen, 7 Open-Weight-Modelle lokal auf unserer eigenen Hardware ausgeführt.
• 50 Ziehungen pro Zelle bei Temperatur 0.9: 118,800 Antworten. 98,9 % wurden geparst, 1,0 % waren Verweigerungen oder nicht geparste Antworten und 0,1 % Fehler. Gesamtkosten für die API: USD 60.
• Referenzwerte: ungefähre Anteile von Frauen unter Personen mit der jeweiligen Störung, basierend auf DSM-5-TR und epidemiologischen Übersichtsarbeiten. Es sind Größenordnungswerte, keine Ground Truth; die Schlussfolgerungen hängen nur von ihrer Richtung und ungefähren Größe ab.

Auf der Log-Odds-Skala verstärkt das mediane Modell das Referenzverhältnis um das 2,4-Fache (IQR 2,1–3,0); die Steigung liegt bei allen 54 Modellen über 1. Alle 54 sind stärker polarisiert als die Referenz (mittlere Entfernung von der Gleichverteilung: 0,33 gegenüber 0,16).

Zwei Bedingungen durchbrechen das Muster. PTSD ist die einzige weiblich geprägte Bedingung, bei der die Darstellung nicht weiter in Richtung Frauen verschoben wird (62 % gegenüber 68 %); die Modelle weichen stark voneinander ab (1–96 %). ADHD und Autismus, die häufiger bei Männern diagnostiziert werden, werden in Richtung Gleichverteilung verschoben (50 % und 45 % Frauen gegenüber 38 % und 25 %).

Frauenanteil (%). Modelle: Mittelwert über 54 Modelle (jeweils der Mittelwert aus 4 Sprachen × 50 Ziehungen). > Ref.: Modelle über dem Referenzwert. p: Wilcoxon-Vorzeichen-Rang-Test gegenüber der Referenz.

In 54 % der 2.360 Modell–Sprache–Bedingung-Zellen haben mindestens 95 % der 50 Ziehungen dasselbe Geschlecht, und in 40 % weisen alle Ziehungen dasselbe Geschlecht auf – selbst bei einer Temperatur von 0.9.

Bei den Namen zeigt sich derselbe Mangel an Vielfalt. Maya macht 34 % aller englischsprachigen Frauen aus und Marcus 28 % aller englischsprachigen Männer; Anna macht 37 % der polnischen Frauen aus und Marek 38 % der polnischen Männer; Lucía macht 37 % der spanischsprachigen Frauen aus. Auch die Berufe folgen Stereotypen: eine Grafikdesignerin bei Borderline-PD, Depression und Angststörungen, ein männlicher Unternehmensanwalt bei narzisstischer PD, ein Gebrauchtwagenverkäufer bei antisozialer PD und ein männlicher Softwareentwickler bei Autismus.

Die Abweichung von der Referenz nimmt bei neueren Modellen nicht ab, sondern steigt leicht an (Spearman ρ = 0,36, p = 0,013, 47 API-Modelle). Am nächsten an der Referenz lagen Qwen 2.5 72B, GPT-5.4 und GPT-4o mini; am weitesten entfernt waren Gemini 3.1 Pro, GPT-6 Sol und GPT-6 Luna. Gemini 3.1 Pro hat eine im Vergleich zu den meisten Modellen gegenteilige Standarddarstellung: überwiegend Männer bei Depression, sozialer Angststörung und PTSD, gar keine Frauen bei ADHD und Autismus, aber 100 % Frauen bei Borderline-PD. Eine männliche Standarddarstellung ist eine andere Verzerrung, keine geringere Verzerrung.

Innerhalb der OpenAI-Modellreihe wechseln die Standarddarstellungen bei Persönlichkeitsstörungen zwischen aufeinanderfolgenden Versionen. Das deutet darauf hin, dass sie ein Nebenprodukt des Post-Trainings und keine stabile Eigenschaft sind. Die Unterschiede zwischen US-amerikanischen, chinesischen und europäischen Entwicklern sind gering. Die sieben lokalen Modelle schnitten nicht schlechter ab als API-Modelle; das polnische PLLuM 12B gehörte zu den Modellen mit der geringsten Abweichung, und Bielik 11B war das einzige Modell, das bei antisozialer PD mit der Referenz übereinstimmte.

• Für klinisches Lehrmaterial. Wer nur Frauen mit Borderline-PD und Männer mit antisozialer PD kennenlernt, könnte eine stärkere Vorannahme übernehmen, als die Epidemiologie stützt – und zwar gerade bei Störungen, bei denen eine Überdiagnostik bei Frauen (Borderline) und eine Unterdiagnostik bei Frauen (Autismus, ADHD) als Probleme dokumentiert sind.
• Für alle, die synthetische Patienten oder Testdatensätze erzeugen. Legen Sie Geschlecht und andere demografische Merkmale explizit anhand einer Zielverteilung fest, anstatt sie dem Modell zu überlassen, und vergleichen Sie die generierten Kohorten mit Referenzverhältnissen.
• Für die Modellauswahl. In unserer Stichprobe sagten weder Aktualität noch Region, Größe oder lokaler Betrieb die Verzerrung voraus, und sie änderte sich zwischen Versionen. Messen Sie jede von Ihnen eingesetzte Modellversion.

• Eine Prompt-Vorlage. Die Ergebnisse beschreiben das Standardverhalten bei einer kurzen Anfrage ohne System-Prompt oder klinischen Kontext; in eingesetzten Anwendungen kann es anders ausfallen.
• Ungefähre Referenzwerte. Geschlechterverhältnisse unterscheiden sich nach Land, Umfeld und diagnostischer Praxis; Borderline-PD ist in klinischen Stichproben weiblich geprägt, in Bevölkerungsumfragen jedoch näher an der Gleichverteilung.
• Übersetzung und grammatisches Geschlecht. Die Störungsbezeichnungen wurden von uns übersetzt und können in den einzelnen Sprachen unterschiedliche Konnotationen haben.
• API-Routing. Ein Modell kann von verschiedenen Anbietern bereitgestellt werden; der Anbieter jedes Aufrufs ist im Datensatz erfasst.
• Binäre Analyse von weiblichen/männlichen Antworten; andere Antworten werden separat berichtet. Das Parsing erfolgt regelbasiert und wurde für jedes Modell geprüft.

Inhalt der ZIP-Datei

• paper/: das Paper als PDF
• data/responses.csv und .parquet: jede Antwort mit Modell, Sprache, Bedingung, Rohtext sowie geparstem Namen, Geschlecht, Alter und Beruf
• data/prompts.csv, models.csv, reference_share_female.csv, summary_model_language_condition.csv
• code/: Skripte zur Datenerhebung, zum Parsing und zur Analyse
• figures/: die Abbildungen dieser Seite
• README.md: Datensatzdokumentation. Lizenz CC BY 4.0.

Zitationshinweis

@misc{glowacki2026genderbias,
  title  = {Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit},
  author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and Cylwik, Ewa and G{\l}owacki, Bohdan},
  year   = {2026},
  note   = {Preprint, AITHENTICA P.S.A. / Therapy Support. Dataset: doi:10.5281/zenodo.23676720},
  url    = {https://aitherapy.support/research/llm-gender-bias-mental-health/}
}