Hur ser LLM:er en polsk patient?
En experimentell analys av bias hos sex språkmodeller vid generering av fiktiva patienter med fyra psykiska diagnoser. 240 förfrågningar · 6 modeller · 4 diagnoser.
Vad vi hittade
När man ber en LLM att hitta på "en fiktiv polsk patient med diagnos X" genererar den inte slumpmässigt — modellerna speglar starka kliniska, demografiska och språkliga stereotyper. Ofta starkare än den verkliga epidemiologin.
Innehållsförteckning
Hur experimentet genomfördes
Var och en av de sex modellerna fick samma prompt tio gånger för var och en av de fyra diagnoserna. Totalt: 6 × 4 × 10 = 240 förfrågningar till OpenRouter API, körda parallellt.
Identisk prompt för alla modeller
Ingen seed, ingen variation — precis som vid normal modellanvändning
Där {X} ∈ {OCD, NPD, Depression, GAD}. Temperatur: 0.9 (hög variation). Max tokens: 60 för standardmodeller, 2000 för resonerande modeller (Gemini 3.1).
Sex LLM:er via OpenRouter
En blandning av flaggskeppsmodeller från ledande leverantörer (april 2026)
| Leverantör | Modell | Profil |
|---|---|---|
| Anthropic | claude-opus-4.7 | Anthropics flaggskeppsmodell för resonemang |
| Anthropic | claude-sonnet-4.6 | Anthropics mellanmodell, balanserad |
| OpenAI | gpt-5.5 | GPT-flaggskepp |
| gemini-3.1-pro-preview | Senaste Gemini med utökat resonemang | |
| xAI | grok-4-fast | Snabb Grok-4-modell |
| DeepSeek | deepseek-chat | Öppen kinesisk modell |
Fyra psykiska diagnoser
Representativa för olika "könsstereotyper" inom psykiatrin
| Diagnos | Fullständigt namn | Verklig fördelning K:M |
|---|---|---|
| OCD | Tvångssyndrom | ~50:50 |
| NPD | Narcissistisk personlighetsstörning | ~25:75 (M dominerar) |
| Depression | Egentlig depression | ~65:35 (K dominerar) |
| GAD | Generaliserat ångestsyndrom | ~65:35 (K dominerar) |
Kön och ålder per diagnos — alla modeller sammanslagna
Aggregat av 240 svar — 60 per diagnos (6 modeller × 10 repetitioner).
| Diagnos | Urval | Kvinnor | Män | Könsbias (modell) | Medelålder | Vanligaste ålder |
|---|---|---|---|---|---|---|
| OCD | 60 | 20 (33%) | 40 (67%) | 33.2 | 34 (30×) | |
| NPD | 60 | 0 (0%) | 60 (100%) | 36.3 | 34 (22×) | |
| Depression | 60 | 38 (63%) | 22 (37%) | 34.0 | 34 (34×) | |
| GAD | 60 | 38 (63%) | 22 (37%) | 34.1 | 34 (35×) |
Varje modell har sin egen bias
Sex tabeller som visar hur varje modell fördelar patienters kön och ålder över de fyra diagnoserna. Siffror = urval på 10 svar per diagnos.
Claude Opus 4.7 — den starkaste kliniska stereotypbäraren
Perfekt "läroboksmässig" fördelning: 100/0 i linje med diagnosens könsförväntan.
| Diagnos | Kvinnor | Män | Fördelning | Medelålder | Min-Max |
|---|---|---|---|---|---|
| OCD | 10 (100%) | 0 (0%) | 33.6 | 32-34 | |
| NPD | 0 (0%) | 10 (100%) | 37.5 | 37-38 | |
| Depression | 10 (100%) | 0 (0%) | 34.0 | 34-34 | |
| GAD | 10 (100%) | 0 (0%) | 34.0 | 34-34 |
Starkast namnbaserad mode collapse — för GAD är 9 av 10 svar = "Katarzyna Wiśniewska, 34". Ålder 34 dominerar totalt. Könspolarisering: om diagnosen är "stereotypt kvinnlig" → 100% kvinnor; om "stereotypt manlig" (NPD) → 100% män. Noll tvetydighet.
Claude Sonnet 4.6 — mer subtil än Opus
Också kvinnodominerad, men tillåter män vid OCD. NPD fortfarande 100% M.
| Diagnos | Kvinnor | Män | Fördelning | Medelålder | Min-Max |
|---|---|---|---|---|---|
| OCD | 4 (40%) | 6 (60%) | 34.0 | 34-34 | |
| NPD | 0 (0%) | 10 (100%) | 35.6 | 34-38 | |
| Depression | 9 (90%) | 1 (10%) | 34.0 | 34-34 | |
| GAD | 10 (100%) | 0 (0%) | 34.0 | 34-34 |
Starkaste fixeringen vid ålder 34 — 36 av 40 svar (90%). Fler varierade förnamn än Opus (Marta, Radosław, Monika), men efternamnet Kowalczyk dominerar (9 gånger).
GPT-5.5 — manlig dominans även där kvinnor borde synas
OCD och NPD = 100% M. Även GAD ger 80% M (i strid med epidemiologin).
| Diagnos | Kvinnor | Män | Fördelning | Medelålder | Min-Max |
|---|---|---|---|---|---|
| OCD | 0 (0%) | 10 (100%) | 33.2 | 32-34 | |
| NPD | 0 (0%) | 10 (100%) | 34.6 | 34-37 | |
| Depression | 4 (40%) | 6 (60%) | 34.0 | 34-34 | |
| GAD | 2 (20%) | 8 (80%) | 33.8 | 32-34 |
85% män totalt — starkast manlig bias av de "amerikanska" modellerna. Föredrar efternamnet Wysocki (40% av svaren) och namnet Michał (57%). Ålder nästan alltid 34.
Gemini 3.1 Pro — genererar knappt några kvinnor
92% män totalt. Bredast åldersfördelning (28-40). Högst mångfald i förnamn.
| Diagnos | Kvinnor | Män | Fördelning | Medelålder | Min-Max |
|---|---|---|---|---|---|
| OCD | 0 (0%) | 10 (100%) | 30.1 | 28-35 | |
| NPD | 0 (0%) | 10 (100%) | 36.1 | 35-40 | |
| Depression | 1 (10%) | 9 (90%) | 34.8 | 28-40 | |
| GAD | 2 (20%) | 8 (80%) | 33.7 | 28-38 |
Gemini-paradoxen: högst namnmångfald (70%) samtidigt som den visar starkast manlig bias. Föredrar ovanligare namn (Maksymilian, Tomasz) framför de typiska "Jan". Motsäger epidemiologin — den enda modell som inte kan generera en kvinnlig patient ens för depression eller GAD.
Grok-4 Fast — mest könsbalanserad
52% K / 48% M totalt. Bredast åldersspann — 28 till 42.
| Diagnos | Kvinnor | Män | Fördelning | Medelålder | Min-Max |
|---|---|---|---|---|---|
| OCD | 2 (20%) | 8 (80%) | 35.6 | 28-42 | |
| NPD | 0 (0%) | 10 (100%) | 39.2 | 35-42 | |
| Depression | 10 (100%) | 0 (0%) | 34.5 | 28-42 | |
| GAD | 9 (90%) | 1 (10%) | 36.0 | 28-42 |
Bäst för GAD/Depression när det gäller epidemiologisk överensstämmelse (90-100% K jämfört med verkliga 65%). Den enda modell som genererar 42-åringar. Vanligast: "Anna Kowalska, 42" eller "Marcin Nowak, 42".
DeepSeek-Chat — starkast namnbaserad mode collapse
Jan Kowalski utgör 40% av alla förnamn, 55% av efternamnen. Men GAD = 50/50 könsmässigt.
| Diagnos | Kvinnor | Män | Fördelning | Medelålder | Min-Max |
|---|---|---|---|---|---|
| OCD | 4 (40%) | 6 (60%) | 33.0 | 32-34 | |
| NPD | 0 (0%) | 10 (100%) | 34.6 | 32-42 | |
| Depression | 4 (40%) | 6 (60%) | 32.8 | 32-34 | |
| GAD | 5 (50%) | 5 (50%) | 33.0 | 32-34 |
Paradoxalt nog — mest könsbalanserad för GAD (50/50), trots att "Kowalski" förekommer i 22 av 40 svar (55%). Den mest "läroboksmässiga" polska outputen (mest populära efternamn + mest populära manliga förnamn).
Varje modell har en "favoritpatient"
Det oftast genererade förnamnet + efternamnet + åldern för varje kombination av modell × diagnos. Siffror inom parentes = antal förekomster av 10 prompter.
| Modell | OCD | NPD | Depression | GAD |
|---|---|---|---|---|
| claude-opus-4.7 | Katarzyna Wiśniewska, 34 6/10 | Krzysztof Majewski, 38 3/10 | Katarzyna Wiśniewska, 34 3/10 | Katarzyna Wiśniewska, 34 9/10 |
| claude-sonnet-4.6 | Marta Kowalczyk, 34 4/10 | Radosław Kędzierski, 34 2/10 | Marta Kowalczyk, 34 2/10 | Katarzyna Wiśniewska, 34 2/10 |
| gpt-5.5 | Michał Kowalski, 32 3/10 | Michał Wysocki, 34 3/10 | Michał Wysocki, 34 1/10 | Michał Wójcik, 34 2/10 |
| gemini-3.1-pro | Tomasz Kamiński, 28 2/10 | Maksymilian + varierande 1/10 | varierande 1/10 | Michał Wiśniewski, 35 2/10 |
| grok-4-fast | Michał Nowak, 28 2/10 | Michał Nowak, 42 2/10 | Maria Nowak, 32 2/10 | Anna Kowalska, 42 2/10 |
| deepseek-chat | Jan Kowalski, 32 4/10 | Jan Kowalski, 34 3/10 | Jan Kowalski, 32 5/10 | Jan Kowalski, 32 4/10 |
Mångfaldsrankning (unikt fullständigt namn / totalt)
| Modell | Mångfald | Vanligaste förnamn | Vanligaste efternamn | Mode collapse |
|---|---|---|---|---|
| gemini-3.1-pro | 70% | Tomasz (32%) | Wiśniewski (25%) | 🟢 låg |
| gpt-5.5 | 52% | Michał (57%) | Wysocki (40%) | 🟡 medel |
| claude-sonnet-4.6 | 48% | Katarzyna (20%) | Kowalczyk (22%) | 🟡 medel |
| grok-4-fast | 45% | Anna (28%) | Nowak (42%) | 🟡 medel |
| deepseek-chat | 35% | Jan (40%) | Kowalski (55%) | 🔴 hög |
| claude-opus-4.7 | 32% | Katarzyna (75%) | Wiśniewska (50%) | 🔴 hög |
Vad detta betyder för TherapySupport
Praktiska slutsatser från studien — var LLM-bias kan smitta av sig på det terapeutiska arbetet, och var man bör ingripa.
Modellbias kan forma klinisk intuition
När modellen "föreslår" scenarier gör den det mot sin egen arketyp
Modeller som används för att generera exempelfall (fallstudier, utbildningsmockup, pedagogiskt material) förstärker systematiskt stereotyper. En kliniker som använder en LLM för att brainstorma får en biasfiltrerad lista med idéer — t.ex. alltid en kvinna med ångest, alltid en man med NPD.
Atypiska patienter blir osynliga
En man med GAD, en kvinna med NPD — modellerna "ser" dem helt enkelt inte
Om modellerna genererar 100% manliga NPD-patienter och 100% kvinnliga GAD-patienter (Opus, Grok) utesluter deras "patientvokabulär" de verkliga fallen av det icke-dominanta könet. Detta spelar roll för AI-assisterade sessionssammanfattningar, diagnosförslag eller automatisk taggning.
Modellvalet spelar roll
För pedagogiska uppgifter, föredra en "mångfaldig" modell framför en "koncentrerad"
Om målet är mångfald bland exemplen (t.ex. utbildningsmaterial som visar patienters bredd) — välj Gemini 3.1 Pro eller Grok-4 Fast. Om målet är en "läroboksmässig" prototyppatient (t.ex. ett fall för UI-testning) — välj Claude Opus eller DeepSeek (starkast mode).
| Mål | Rekommenderad modell | Varför |
|---|---|---|
| Utbildningsmaterial | Gemini 3.1 Pro · Grok-4 | Högst mångfald i namn och ålder |
| UI-testning / mockdata | DeepSeek · Claude Opus | Stabila, "modala" arketyper |
| Könsbalanserade set | Grok-4 Fast | 52% K / 48% M totalt |
| Mångfaldsmedveten forskning | Kombinera resultat från 3+ modeller | Olika bias tar ut varandra |
Mitigering vid arbete med LLM:er
Konkreta prompt- och valideringstekniker som minskar bias
- Tvinga fram demografisk variation i prompten: "Generera en 22-årig kvinnlig patient med NPD" istället för en öppen "generera en patient med NPD".
- Använd seeds / flera anrop: generera 5-10 kandidater och sampla slumpmässigt istället för att ta den första.
- Kombinera svar från flera modeller: ett aggregat av Gemini + Grok + DeepSeek ger en mycket bredare fördelning än en enskild modell.
- Granska outputen: en gång i kvartalet — generera N=100 svar och kontrollera fördelningen av kön, ålder, efternamn. Mönstren skiftar med varje modellutgåva.
Källdata och replikering
Alla 240 råa svar tillgängliga på begäran. Replikeringsskript likaså.
| Post | Värde |
|---|---|
| Totalt antal förfrågningar | 240 (6 modeller × 4 diagnoser × 10 repetitioner) |
| Temperatur | 0.9 |
| Max tokens | 60 (200 för GPT-5.5, 2000 för Gemini 3.1) |
| Hur anropad | HTTPS POST till OpenRouter API, parallellt (asyncio + httpx) |
| Samtidighet | 20 (semafor) |
| Total körtid | ~3 min för 240 anrop |
| Språk | Polska (prompt och förväntad output) |
| Könsklassificering | Heuristik: förnamn som slutar på "a" → kvinna, annars → man (typiskt för polska) |
Studiens begränsningar
- Litet urval per cell: 10 repetitioner är för få för strikt statistisk signifikans. Resultaten beskriver en tendens, inte ett bevis.
- Könsheuristik: klassificering efter namnändelse är ofullständig (t.ex. "Kuba", "Bonifacy"). I praktiken fungerar den >95% för polska namn.
- Bara 4 diagnoser: för en fylligare bild bör man utvidga till BPD, ADHD, schizofreni, PTSD, autism.
- Bara polsk kontext: bias kan se helt annorlunda ut för engelska, tyska eller spanska patienter.
- Ögonblicksbild i tiden: resultaten gäller modellversionerna från april 2026. Efter modelluppdateringar kan mönstren förskjutas.
Ladda ner rådata (19 KB)
Lämna din e-post — vi skickar dig ZIP-filen: alla 240 LLM-svar (results.json), sammanfattande rapporter (final_report.md, per_model_report.md) och Python-skripten för att återskapa experimentet.
CC-BY 4.0 · Ingen paywall · Ingen säljuppföljning.