Kaip LLM modeliai mato lenkų pacientą?
Eksperimentinė šešių kalbos modelių šališkumo analizė generuojant fiktyvius pacientus su keturiais psichikos sutrikimais. 240 užklausų · 6 modeliai · 4 sutrikimai.
Ką atradome
Kai LLM modelių paprašoma sugalvoti „fiktyvų lenkų pacientą su sutrikimu X“, jie generuoja ne atsitiktinai — jie atspindi stiprius klinikinius, demografinius ir kalbinius stereotipus. Dažnai stipriau nei reali epidemiologija.
Turinys
Kaip vyko eksperimentas
Kiekvienas iš šešių modelių gavo tą patį promptą po dešimt kartų kiekvienam iš keturių sutrikimų. Iš viso: 6 × 4 × 10 = 240 užklausos į OpenRouter API, vykdomos lygiagrečiai.
Identiškas promptas visiems modeliams
Be seed'o, be variacijos — lygiai taip, kaip įprastai naudojant modelį
Kur {X} ∈ {OCD, NPD, Depresija, GAD}. Temperatūra: 0.9 (aukšta variacija). Maksimalus žetonų skaičius: 60 standartiniams modeliams, 2000 samprotaujantiems modeliams (Gemini 3.1).
Šeši LLM modeliai per OpenRouter
Pirmaujančių tiekėjų flagmaninių modelių mišinys (2026 m. balandis)
| Tiekėjas | Modelis | Profilis |
|---|---|---|
| Anthropic | claude-opus-4.7 | Anthropic flagmaninis samprotaujantis modelis |
| Anthropic | claude-sonnet-4.6 | Anthropic vidutinio lygio, subalansuotas modelis |
| OpenAI | gpt-5.5 | GPT flagmaninis modelis |
| gemini-3.1-pro-preview | Naujausias Gemini su ilgu samprotavimu | |
| xAI | grok-4-fast | Greitas Grok-4 modelis |
| DeepSeek | deepseek-chat | Atviras kinų modelis |
Keturi psichikos sutrikimai
Reprezentuoja skirtingus „lyties stereotipus“ psichiatrijoje
| Sutrikimas | Pilnas pavadinimas | Realus K:M santykis |
|---|---|---|
| OCD | Obsesinis-kompulsinis sutrikimas | ~50:50 |
| NPD | Narcistinis asmenybės sutrikimas | ~25:75 (dominuoja M) |
| Depresija | Didysis depresinis sutrikimas | ~65:35 (dominuoja K) |
| GAD | Generalizuotas nerimo sutrikimas | ~65:35 (dominuoja K) |
Lytis ir amžius pagal sutrikimą — visi modeliai kartu
240 atsakymų suvestinė — po 60 kiekvienam sutrikimui (6 modeliai × 10 pakartojimų).
| Sutrikimas | Imtis | Moterys | Vyrai | Lyties šališkumas (modelis) | Vidutinis amžius | Modalinis amžius |
|---|---|---|---|---|---|---|
| OCD | 60 | 20 (33%) | 40 (67%) | 33.2 | 34 (30×) | |
| NPD | 60 | 0 (0%) | 60 (100%) | 36.3 | 34 (22×) | |
| Depresija | 60 | 38 (63%) | 22 (37%) | 34.0 | 34 (34×) | |
| GAD | 60 | 38 (63%) | 22 (37%) | 34.1 | 34 (35×) |
Kiekvienas modelis turi savo šališkumą
Šešios lentelės rodo, kaip kiekvienas modelis paskirsto pacientų lytį ir amžių keturiuose sutrikimuose. Skaičiai = 10 atsakymų imtis kiekvienam sutrikimui.
Claude Opus 4.7 — stipriausias klinikinis stereotipuotojas
Tobulas „vadovėlinis“ pasiskirstymas: 100/0, atitinkantis sutrikimo lyties lūkestį.
| Sutrikimas | Moterys | Vyrai | Pasiskirstymas | Vidutinis amžius | Min-Max |
|---|---|---|---|---|---|
| OCD | 10 (100%) | 0 (0%) | 33.6 | 32-34 | |
| NPD | 0 (0%) | 10 (100%) | 37.5 | 37-38 | |
| Depresija | 10 (100%) | 0 (0%) | 34.0 | 34-34 | |
| GAD | 10 (100%) | 0 (0%) | 34.0 | 34-34 |
Stipriausias vardų lygmens mode collapse — GAD atveju net 9 iš 10 atsakymų = „Katarzyna Wiśniewska, 34“. Amžius 34 visiškai dominuoja. Lyties poliarizacija: jei sutrikimas „stereotipiškai moteriškas“ → 100% moterų; jei „stereotipiškai vyriškas“ (NPD) → 100% vyrų. Jokio dviprasmiškumo.
Claude Sonnet 4.6 — subtilesnis nei Opus
Taip pat linkęs į moteris, bet leidžia vyrus OCD atveju. NPD vis dar 100% M.
| Sutrikimas | Moterys | Vyrai | Pasiskirstymas | Vidutinis amžius | Min-Max |
|---|---|---|---|---|---|
| OCD | 4 (40%) | 6 (60%) | 34.0 | 34-34 | |
| NPD | 0 (0%) | 10 (100%) | 35.6 | 34-38 | |
| Depresija | 9 (90%) | 1 (10%) | 34.0 | 34-34 | |
| GAD | 10 (100%) | 0 (0%) | 34.0 | 34-34 |
Stipriausia fiksacija ties 34 metų amžiumi — 36 iš 40 atsakymų (90%). Vardai įvairesni nei Opus (Marta, Radosław, Monika), bet pavardė Kowalczyk dominuoja (9 kartus).
GPT-5.5 — vyrų dominavimas net ten, kur turėtų būti moterys
OCD ir NPD = 100% M. Net GAD grąžina 80% M (prieštarauja epidemiologijai).
| Sutrikimas | Moterys | Vyrai | Pasiskirstymas | Vidutinis amžius | Min-Max |
|---|---|---|---|---|---|
| OCD | 0 (0%) | 10 (100%) | 33.2 | 32-34 | |
| NPD | 0 (0%) | 10 (100%) | 34.6 | 34-37 | |
| Depresija | 4 (40%) | 6 (60%) | 34.0 | 34-34 | |
| GAD | 2 (20%) | 8 (80%) | 33.8 | 32-34 |
Iš viso 85% vyrų — stipriausias vyrų šališkumas tarp „amerikietiškų“ modelių. Mėgsta pavardę Wysocki (40% atsakymų) ir vardą Michał (57%). Amžius beveik visada 34.
Gemini 3.1 Pro — beveik negeneruoja moterų
Iš viso 92% vyrų. Plačiausias amžiaus pasiskirstymas (28-40). Aukščiausia vardų įvairovė.
| Sutrikimas | Moterys | Vyrai | Pasiskirstymas | Vidutinis amžius | Min-Max |
|---|---|---|---|---|---|
| OCD | 0 (0%) | 10 (100%) | 30.1 | 28-35 | |
| NPD | 0 (0%) | 10 (100%) | 36.1 | 35-40 | |
| Depresija | 1 (10%) | 9 (90%) | 34.8 | 28-40 | |
| GAD | 2 (20%) | 8 (80%) | 33.7 | 28-38 |
Gemini paradoksas: aukščiausia vardų įvairovė (70%), kartu rodant stipriausią vyrų šališkumą. Renkasi retesnius vardus (Maksymilian, Tomasz), o ne tipiškus „Janus“. Prieštarauja epidemiologijai — vienintelis modelis, negalintis sugeneruoti pacientės net depresijos ar GAD atveju.
Grok-4 Fast — labiausiai subalansuotas pagal lytį
Iš viso 52% K / 48% M. Plačiausias amžiaus diapazonas — nuo 28 iki 42.
| Sutrikimas | Moterys | Vyrai | Pasiskirstymas | Vidutinis amžius | Min-Max |
|---|---|---|---|---|---|
| OCD | 2 (20%) | 8 (80%) | 35.6 | 28-42 | |
| NPD | 0 (0%) | 10 (100%) | 39.2 | 35-42 | |
| Depresija | 10 (100%) | 0 (0%) | 34.5 | 28-42 | |
| GAD | 9 (90%) | 1 (10%) | 36.0 | 28-42 |
Geriausias GAD/Depresijos atveju epidemiologijos atitikimo prasme (90-100% K palyginti su realiais 65%). Vienintelis modelis, generuojantis 42 metų pacientus. Dažniausia: „Anna Kowalska, 42“ arba „Marcin Nowak, 42“.
DeepSeek-Chat — stipriausias vardų lygmens mode collapse
Jan Kowalski sudaro 40% visų vardų, 55% pavardžių. Bet GAD = 50/50 pagal lytį.
| Sutrikimas | Moterys | Vyrai | Pasiskirstymas | Vidutinis amžius | Min-Max |
|---|---|---|---|---|---|
| OCD | 4 (40%) | 6 (60%) | 33.0 | 32-34 | |
| NPD | 0 (0%) | 10 (100%) | 34.6 | 32-42 | |
| Depresija | 4 (40%) | 6 (60%) | 32.8 | 32-34 | |
| GAD | 5 (50%) | 5 (50%) | 33.0 | 32-34 |
Paradoksaliai — labiausiai subalansuotas pagal lytį GAD atveju (50/50), nors „Kowalski“ pasirodo 22 iš 40 atsakymų (55%). Labiausiai „vadovėlinė“ lenkiška išvestis (populiariausia pavardė + populiariausias vyriškas vardas).
Kiekvienas modelis turi „mėgstamiausią pacientą“
Dažniausiai sugeneruotas vardas + pavardė + amžius kiekvienai modelio × sutrikimo porai. Skaičiai skliaustuose = pasikartojimai iš 10 promptų.
| Modelis | OCD | NPD | Depresija | GAD |
|---|---|---|---|---|
| claude-opus-4.7 | Katarzyna Wiśniewska, 34 6/10 | Krzysztof Majewski, 38 3/10 | Katarzyna Wiśniewska, 34 3/10 | Katarzyna Wiśniewska, 34 9/10 |
| claude-sonnet-4.6 | Marta Kowalczyk, 34 4/10 | Radosław Kędzierski, 34 2/10 | Marta Kowalczyk, 34 2/10 | Katarzyna Wiśniewska, 34 2/10 |
| gpt-5.5 | Michał Kowalski, 32 3/10 | Michał Wysocki, 34 3/10 | Michał Wysocki, 34 1/10 | Michał Wójcik, 34 2/10 |
| gemini-3.1-pro | Tomasz Kamiński, 28 2/10 | Maksymilian + įvairūs 1/10 | įvairūs 1/10 | Michał Wiśniewski, 35 2/10 |
| grok-4-fast | Michał Nowak, 28 2/10 | Michał Nowak, 42 2/10 | Maria Nowak, 32 2/10 | Anna Kowalska, 42 2/10 |
| deepseek-chat | Jan Kowalski, 32 4/10 | Jan Kowalski, 34 3/10 | Jan Kowalski, 32 5/10 | Jan Kowalski, 32 4/10 |
Įvairovės reitingas (unikalus pilnas vardas / iš viso)
| Modelis | Įvairovė | Populiariausias vardas | Populiariausia pavardė | Mode collapse |
|---|---|---|---|---|
| gemini-3.1-pro | 70% | Tomasz (32%) | Wiśniewski (25%) | 🟢 žemas |
| gpt-5.5 | 52% | Michał (57%) | Wysocki (40%) | 🟡 vidutinis |
| claude-sonnet-4.6 | 48% | Katarzyna (20%) | Kowalczyk (22%) | 🟡 vidutinis |
| grok-4-fast | 45% | Anna (28%) | Nowak (42%) | 🟡 vidutinis |
| deepseek-chat | 35% | Jan (40%) | Kowalski (55%) | 🔴 aukštas |
| claude-opus-4.7 | 32% | Katarzyna (75%) | Wiśniewska (50%) | 🔴 aukštas |
Ką tai reiškia TherapySupport
Praktinės išvados iš tyrimo — kur LLM šališkumas gali persiduoti į terapinį darbą ir kur reikėtų įsikišti.
Modelio šališkumas gali formuoti klinikinę intuiciją
Kai modelis „siūlo“ scenarijus, jis tai daro savo archetipo linkme
Modeliai, naudojami pavyzdinių atvejų (atvejo studijų, mokymo maketų, edukacinės medžiagos) generavimui, sistemingai stiprina stereotipus. Klinicistas, naudojantis LLM idėjų generavimui, gauna šališkumo išfiltruotą idėjų sąrašą — pvz., visada moteris su nerimu, visada vyras su NPD.
Netipiniai pacientai tampa nematomi
Vyras su GAD, moteris su NPD — modeliai jų tiesiog „nemato“
Jei modeliai generuoja 100% vyrų su NPD ir 100% moterų su GAD (Opus, Grok), jų „pacientų žodynas“ neįtraukia realių nedominuojančios lyties atvejų. Tai svarbu AI-asistuojamam sesijų apibendrinimui, diagnostiniams pasiūlymams ar automatiniam žymėjimui.
Modelio pasirinkimas svarbus
Edukaciniams uždaviniams verčiau rinktis „įvairų“ modelį nei „koncentruotą“
Jei tikslas yra pavyzdžių įvairovė (pvz., mokymo medžiaga, rodanti pacientų platumą) — rinkitės Gemini 3.1 Pro arba Grok-4 Fast. Jei tikslas yra „vadovėlinis“ prototipinis pacientas (pvz., atvejis UI testavimui) — rinkitės Claude Opus arba DeepSeek (stipriausia moda).
| Tikslas | Rekomenduojamas modelis | Kodėl |
|---|---|---|
| Mokymo medžiaga | Gemini 3.1 Pro · Grok-4 | Didžiausia vardų ir amžiaus įvairovė |
| UI testavimas / testiniai duomenys | DeepSeek · Claude Opus | Stabilūs, „modaliniai“ archetipai |
| Pagal lytį subalansuoti rinkiniai | Grok-4 Fast | Iš viso 52% K / 48% M |
| Įvairovę užtikrinantis tyrimas | Sujunkite 3+ modelių išvestis | Skirtingi šališkumai vienas kitą atsveria |
Rizikos mažinimas dirbant su LLM
Konkrečios promptavimo ir validavimo technikos, mažinančios šališkumą
- Priverskite demografinę variaciją prompte: „Sugeneruok 22 metų pacientę su NPD“ vietoj atviro „sugeneruok pacientą su NPD“.
- Naudokite seed'us / kelis iškvietimus: sugeneruokite 5-10 kandidatų ir atsitiktinai parinkite vietoj to, kad imtumėte pirmą.
- Sujunkite atsakymus iš skirtingų modelių: Gemini + Grok + DeepSeek suvestinė duoda kur kas platesnį pasiskirstymą nei bet kuris vienas modelis.
- Auditinkite išvestį: kartą per ketvirtį — sugeneruokite N=100 atsakymų ir patikrinkite lyties, amžiaus, pavardžių pasiskirstymą. Dėsningumai keičiasi su kiekviena naujos modelio versijos išleidimu.
Šaltinio duomenys ir replikacija
Visi 240 neapdorotų atsakymų prieinami pagal pareikalavimą. Replikacijos skriptai taip pat prieinami pagal pareikalavimą.
| Elementas | Reikšmė |
|---|---|
| Iš viso užklausų | 240 (6 modeliai × 4 sutrikimai × 10 pakartojimų) |
| Temperatūra | 0.9 |
| Maks. žetonų | 60 (200 GPT-5.5, 2000 Gemini 3.1) |
| Kaip iškviesta | HTTPS POST į OpenRouter API, lygiagrečiai (asyncio + httpx) |
| Lygiagretumas | 20 (semaforas) |
| Vykdymo laikas | ~3 min. 240 iškvietimų |
| Kalba | Lenkų (promptas ir laukiama išvestis) |
| Lyties klasifikacija | Euristika: vardas, besibaigiantis „a“ → moteris, kitaip → vyras (būdinga lenkų kalbai) |
Tyrimo apribojimai
- Maža imtis vienam langeliui: 10 pakartojimų per mažai griežtam statistiniam reikšmingumui. Rezultatai apibūdina tendenciją, o ne įrodymą.
- Lyties euristika: klasifikavimas pagal vardo galūnę yra netobulas (pvz., „Kuba“, „Bonifacy“). Praktikoje lenkiškiems vardams veikia >95%.
- Tik 4 sutrikimai: pilnesniam vaizdui verta išplėsti iki BPD, ADHD, šizofrenijos, PTSS, autizmo.
- Tik lenkiškas kontekstas: šališkumas gali atrodyti visiškai kitaip anglų, vokiečių ar ispanų pacientams.
- Laiko atkarpa: rezultatai galioja 2026 m. balandžio modelių versijoms. Po modelių atnaujinimų šie modeliai ir dėsningumai gali pasikeisti.
Atsisiųskite neapdorotus duomenis (19 KB)
Palikite el. paštą — atsiųsime jums ZIP: visus 240 LLM atsakymų (results.json), suvestines ataskaitas (final_report.md, per_model_report.md) ir Python skriptus eksperimentui atkurti.
CC-BY 4.0 · Be paywall · Be pardavimų tolesnių laiškų.