← Înapoi la Cercetare
Research · LLM bias · 2026

Direcție corectă, amploare exagerată

Un audit al genului persoanelor inventate de modele lingvistice pentru zece tulburări mintale, realizat cu 54 de modele în patru limbi. 118.800 de răspunsuri, toate publice.

Publicat27 octombrie 2026
AutoriB. Głowacki, J. Głowacka, E. Cylwik, B. Głowacki
StatutPreprint · set de date deschis
LicențăCC BY 4.0
Descarcă lucrarea (PDF) arXiv: în curând

Un raport de referință de 7:3 devine 99:1 în răspunsuri

Modelele lingvistice redactează acum viniete clinice, joacă rolul pacienților și creează cazuri de instruire. Fiecare persoană inventată are un gen pe care autorul nu l-a ales. Am măsurat ce gen aleg modelele pentru zece tulburări mintale și cât de mult diferă alegerea de datele epidemiologice.

118,800
de răspunsuri de la 54 de modele în 4 limbi
2,4×
amplificarea mediană a raporturilor dintre sexe (log-șanse)
99% față de 70%
femei pentru PD borderline: modele față de referință
54 / 54
modele mai polarizate decât referința

Modelele reproduc bine direcția diferențelor cunoscute dintre sexe (corelația mediană a rangurilor cu raporturile de referință este 0,79), dar exagerează amploarea acestora. Tulburarea de personalitate borderline este descrisă ca afectând o femeie în 99% dintre cazuri (referința este de aproximativ 70%), iar tulburarea de personalitate antisocială, un bărbat în 95% dintre cazuri (aproximativ 75%). Chiar și un prompt neutru, despre o persoană care începe psihoterapia, generează 86% femei, față de aproximativ 65%. În 54% dintre celulele model–limbă–afecțiune, cel puțin 95% dintre cele 50 de răspunsuri au același gen.

În eșantionul nostru, modelele mai noi nu au fost mai apropiate de referință. Prompturile în spaniolă deplasează răspunsurile către femei, iar cele în chineză, către bărbați. Aceasta este a doua ediție, mult mai amplă, a studiului nostru anterior despre pacienți polonezi.

Cuprins


Cum am formulat întrebările

Un audit intenționat simplu: aceeași solicitare scurtă, adresată de multe ori multor modele.

Designul studiului: un prompt zero-shot pentru fiecare afecțiune și limbă, rulat de 50 de ori per model; un analizator multilingv identifică câmpul de gen; proporțiile femeilor sunt comparate cu valorile de referință.
Designul studiului: un prompt zero-shot pentru fiecare afecțiune și limbă, rulat de 50 de ori per model; un analizator multilingv identifică câmpul de gen; proporțiile femeilor sunt comparate cu valorile de referință.

Fiecare prompt cerea modelului să genereze o persoană fictivă cu [tulburare] și să răspundă într-un singur rând: nume, gen, vârstă (18–55) și ocupație. Fără prompt de sistem, fără context clinic. Promptul de control cerea o persoană fictivă care începe psihoterapia.

  • 11 afecțiuni: depresie, anxietate generalizată, anxietate socială, OCD, PTSD, tulburare de personalitate borderline, narcisică și antisocială (PD), ADHD, autism și condiția de control.
  • 4 limbi: engleză, poloneză, spaniolă și chineză.
  • 54 de modele lansate în perioada 2023–2026: 34 de la dezvoltatori din SUA, 15 din China și 5 din Europa, inclusiv modelele poloneze Bielik și PLLuM. 47 au fost apelate printr-un API, iar 7 modele cu ponderi deschise au fost rulate local, pe echipamentele noastre.
  • 50 de generări per celulă la temperatura 0.9: 118.800 de răspunsuri. 98,9% au putut fi analizate, 1,0% au fost refuzuri sau nu au putut fi analizate, iar 0,1% au fost erori. Costul total al API-urilor a fost de 60 USD.
  • Valori de referință: ponderea aproximativă a femeilor în rândul persoanelor cu fiecare tulburare, conform DSM-5-TR și recenziilor epidemiologice. Acestea indică ordine de mărime, nu reprezintă adevărul absolut; concluziile depind doar de direcția și amploarea aproximativă a diferențelor.

Direcție corectă, amploare exagerată

Modelele știu pentru ce tulburări diagnosticele sunt mai frecvente la femei și pentru care sunt mai frecvente la bărbați. Apoi accentuează majoritatea diferențelor.

(a) Proporția medie de femei generate (albastru, IC 95% între modele) în raport cu proporția de referință; punctele gri reprezintă modele individuale; linia întreruptă indică o calibrare perfectă. (b) Fiecare model pentru fiecare afecțiune, referința fiind indicată cu portocaliu.
(a) Proporția medie de femei generate (albastru, IC 95% între modele) în raport cu proporția de referință; punctele gri reprezintă modele individuale; linia întreruptă indică o calibrare perfectă. (b) Fiecare model pentru fiecare afecțiune, referința fiind indicată cu portocaliu.

Pe scala log-șanselor, modelul median amplifică raportul de referință de 2,4 ori (interval intercuartil 2,1–3,0); panta este mai mare decât 1 pentru toate cele 54 de modele. Toate cele 54 sunt mai polarizate decât referința (distanța medie față de paritate: 0,33 față de 0,16).

Două afecțiuni nu urmează acest tipar. PTSD este singura afecțiune cu predominanță feminină pe care modelele nu o deplasează și mai mult către femei (62% față de 68%); modelele diferă considerabil între ele (1–96%). ADHD și autismul, diagnosticate mai frecvent la bărbați, sunt deplasate către paritate (50% și 45% femei, față de 38% și 25%).

AfecțiuneReferințăModeleInterval> ref.p
Începerea psihoterapiei (control)658634–10050/54<0,001
PD borderline709984–10054/54<0,001
Anxietate generalizată679366–10053/54<0,001
Depresie677912–10044/54<0,001
Anxietate socială58806–10051/54<0,001
PTSD68621–9628/540,50
OCD52692–9845/54<0,001
ADHD38500–9136/540,003
PD narcisică32210–7813/54<0,001
Autism25450–8642/54<0,001
PD antisocială2550–494/54<0,001

Proporția femeilor (%). Modele: media celor 54 de modele (fiecare reprezintă media a 4 limbi × 50 de generări). > ref.: modele peste valoarea de referință. p: testul Wilcoxon al rangurilor cu semn, comparativ cu referința.


Prăbușirea diversității

Biasul nu se limitează la o medie deplasată. În cadrul unui singur model, răspunsurile variază foarte puțin.

În 54% dintre cele 2.360 de celule model–limbă–afecțiune, cel puțin 95% dintre cele 50 de generări au același gen, iar în 40% toate au același gen, chiar și la temperatura 0.9.

Numele se uniformizează în același fel. Maya reprezintă 34% dintre toate femeile descrise în engleză, iar Marcus, 28% dintre bărbați; Anna reprezintă 37% dintre femeile poloneze, iar Marek, 38% dintre bărbații polonezi; Lucía reprezintă 37% dintre femeile descrise în spaniolă. Ocupațiile urmează stereotipuri: designer grafică pentru femei cu PD borderline, depresie și anxietate, avocat corporatist pentru bărbați cu PD narcisică, vânzător de mașini second-hand pentru PD antisocială și dezvoltator software pentru bărbați cu autism.


Mai nou nu înseamnă mai bun

Alegerea modelului schimbă abaterea medie de la 12 la 37 de puncte procentuale, dar nimic simplu nu o prezice.

Abaterea față de referință nu scade în cazul modelelor mai noi; crește ușor (Spearman ρ = 0,36, p = 0,013, 47 de modele API). Cele mai apropiate modele au fost Qwen 2.5 72B, GPT-5.4 și GPT-4o mini; cele mai îndepărtate, Gemini 3.1 Pro, GPT-6 Sol și GPT-6 Luna. Gemini 3.1 Pro are o tendință implicită opusă celei a majorității modelelor: generează mai ales bărbați pentru depresie, anxietate socială și PTSD, nicio femeie pentru ADHD și autism, dar 100% femei pentru PD borderline. Tendința implicită spre bărbați este un alt tip de bias, nu un bias mai mic.

În seria OpenAI, tendințele implicite pentru tulburările de personalitate oscilează între lansări consecutive, ceea ce sugerează că sunt un produs secundar al antrenării ulterioare, nu o caracteristică stabilă. Diferențele dintre dezvoltatorii din SUA, China și Europa sunt mici. Cele șapte modele locale nu au fost mai slabe decât modelele API; PLLuM 12B din Polonia s-a numărat printre cele mai apropiate, iar Bielik 11B a fost singurul model care a corespuns referinței pentru PD antisocială.

Abaterea absolută medie față de referință pentru fiecare model API, în funcție de data listării. Tendința nu este descendentă.
Abaterea absolută medie față de referință pentru fiecare model API, în funcție de data listării. Tendința nu este descendentă.
Modelele OpenAI în ordinea lansării: proporția femeilor pentru patru afecțiuni; liniile punctate indică valorile de referință.
Modelele OpenAI în ordinea lansării: proporția femeilor pentru patru afecțiuni; liniile punctate indică valorile de referință.
Toate cele 54 de modele × 11 afecțiuni: proporția femeilor generate (media celor patru limbi), modelele fiind ordonate după abatere.
Toate cele 54 de modele × 11 afecțiuni: proporția femeilor generate (media celor patru limbi), modelele fiind ordonate după abatere.

Limba întrebării schimbă răspunsul

Aceeași solicitare în spaniolă generează mai multe femei, iar în chineză, mai mulți bărbați.

Prompturile în spaniolă generează cu 12,5 puncte procentuale mai multe femei decât cele în engleză (43 dintre cele 54 de modele au valori mai mari), iar prompturile în chineză generează cu 14,5 puncte mai puține (41 dintre cele 54 au valori mai mici). În medie, poloneza nu diferă de engleză (+1,5 puncte), deși pentru promptul neutru de control generează 92% femei, față de 83% în engleză. Genul gramatical nu explică totul: atât poloneza, cât și spaniola folosesc un cuvânt feminin pentru „persoană”, dar rezultatele lor diferă. Efectul este cel mai pronunțat acolo unde modelele nu sunt de acord (PTSD, OCD, ADHD, autism) și dispare la extreme, unde toate limbile ajung la valori saturate.

Refuzurile sunt rare (1,0%), dar se concentrează asupra tulburărilor de personalitate: 3,7% dintre răspunsuri pentru PD antisocială, față de 0,1% pentru condiția de control. Un model a refuzat 99% dintre prompturile despre PD antisocială, invocând stigmatizarea. Răspunsurile nonbinare au reprezentat 1,2% din total și au apărut aproape exclusiv în engleză.

Proporția femeilor în funcție de limba promptului și afecțiune (media celor 54 de modele); referința este indicată cu portocaliu.
Proporția femeilor în funcție de limba promptului și afecțiune (media celor 54 de modele); referința este indicată cu portocaliu.

Ce înseamnă acest lucru

Modelele par să învețe din texte direcția diferențelor dintre sexe, apoi descriu persoana cea mai tipică în loc să eșantioneze distribuția reală.

  • Pentru materialele de instruire clinică. Un cursant care întâlnește doar femei cu PD borderline și bărbați cu PD antisocială poate ajunge să aibă o predispoziție mai accentuată decât susțin datele epidemiologice, tocmai pentru afecțiunile în cazul cărora sunt documentate problemele supradiagnosticării la femei (borderline) și subdiagnosticării la femei (autism, ADHD).
  • Pentru oricine generează pacienți sintetici sau seturi de testare. Stabiliți explicit genul și alte caracteristici demografice, conform unei distribuții-țintă, în loc să le lăsați la latitudinea modelului, și verificați distribuțiile generate în raport cu valorile de referință.
  • Pentru alegerea modelului. În eșantionul nostru, nici noutatea, nici regiunea, nici dimensiunea, nici rularea locală nu au prezis biasul, iar acesta s-a schimbat între lansări. Măsurați fiecare versiune de model pe care o utilizați.

Ce nu arată acest studiu

  • Un singur șablon de prompt. Rezultatele descriu comportamentul implicit pentru o solicitare scurtă, fără prompt de sistem sau context clinic; aplicațiile utilizate pot diferi.
  • Valori de referință aproximative. Raporturile dintre sexe diferă în funcție de țară, context și practica de diagnostic; PD borderline prezintă o predominanță feminină în eșantioanele clinice, dar se apropie mai mult de paritate în sondajele comunitare.
  • Traducere și gen gramatical. Am tradus denumirile tulburărilor, iar acestea pot avea conotații diferite în fiecare limbă.
  • Rutarea API. Un model poate fi furnizat de diferiți furnizori; furnizorul fiecărui apel este înregistrat în setul de date.
  • Analiză binară a răspunsurilor femeie/bărbat; celelalte răspunsuri sunt raportate separat. Analiza textului se bazează pe reguli și a fost auditată pentru fiecare model.

Citiți lucrarea, verificați cifrele

Lucrarea poate fi descărcată gratuit. Setul complet de date este disponibil pe Zenodo și Hugging Face și vi-l putem trimite și ca fișier ZIP.

PDF

Lucrarea

Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit. Bartłomiej Głowacki, Joanna Głowacka, Ewa Cylwik, Bohdan Głowacki. AITHENTICA P.S.A. / Therapy Support, 2026. Preprint.

Set de date: Zenodo, DOI 10.5281/zenodo.23676720 · Hugging Face

Descarcă lucrarea (PDF) arXiv: în curând
📦

Primiți pachetul de date prin e-mail

PDF-ul lucrării, toate cele 118.800 de răspunsuri cu câmpurile analizate, prompturile în patru limbi, valorile de referință, codul de analiză și figurile.

Nu divulgăm adresele. Linkul către date ajunge în câteva minute.

Ce conține fișierul ZIP

  • paper/: lucrarea în format PDF
  • data/responses.csv și .parquet: fiecare răspuns, cu modelul, limba, afecțiunea, textul brut și numele, genul, vârsta și ocupația extrase
  • data/prompts.csv, models.csv, reference_share_female.csv, summary_model_language_condition.csv
  • code/: scripturi pentru colectarea și analiza datelor, precum și pentru extragerea câmpurilor
  • figures/: figurile de pe această pagină
  • README.md: fișa setului de date. Licență CC BY 4.0.

Cum se citează

@misc{glowacki2026genderbias,
  title  = {Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit},
  author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and Cylwik, Ewa and G{\l}owacki, Bohdan},
  year   = {2026},
  note   = {Preprint, AITHENTICA P.S.A. / Therapy Support. Dataset: doi:10.5281/zenodo.23676720},
  url    = {https://aitherapy.support/research/llm-gender-bias-mental-health/}
}

Therapy Support · Începeți chiar astăzi

Recuperați timp pentru dumneavoastră
și pentru Pacienți

Sunteți terapeut TCC?
Vedeți cum vă sprijină platforma în munca de zi cu zi.
Rezumate de ședință care organizează materialul clinic. Administrare care nu vă stă în cale.