Верное направление, преувеличенный масштаб

Модели хорошо воспроизводят направление известных половых различий (медианная ранговая корреляция со справочными соотношениями — 0,79), но преувеличивают их масштаб. Пограничное расстройство личности они описывают как женское в 99% случаев (в справочных данных — около 70%), антисоциальное расстройство личности — как мужское в 95% случаев (около 75%). Даже нейтральный запрос — человек, начинающий психотерапию, — даёт 86% женщин против примерно 65%. В 54% ячеек «модель — язык — состояние» не менее 95% из 50 генераций имеют один и тот же гендер.

В нашей выборке более новые модели не были ближе к справочным данным. Запросы на испанском сдвигают ответы в сторону женщин, а на китайском — в сторону мужчин. Это второе, значительно более масштабное издание нашего предыдущего исследования польских пациентов.

Содержание

В каждом запросе модель просили сгенерировать вымышленного человека с [расстройством] и ответить одной строкой: имя, гендер, возраст (18–55) и профессия. Без системного запроса и клинического контекста. В контрольном запросе просили описать вымышленного человека, начинающего психотерапию.

• 11 условий: депрессия, генерализованное тревожное расстройство, социальная тревожность, OCD, PTSD, пограничное, нарциссическое и антисоциальное расстройства личности (PD), ADHD, аутизм и контрольное условие.
• 4 языка: английский, польский, испанский и китайский.
• 54 модели выпуска 2023–2026 годов: 34 от разработчиков из США, 15 — из Китая и 5 — из Европы, включая польские Bielik и PLLuM. 47 моделей вызывались через API, 7 моделей с открытыми весами запускались локально на нашем оборудовании.
• 50 генераций на ячейку при температуре 0,9: 118 800 ответов. 98,9% удалось разобрать, 1,0% составили отказы или ответы, которые не удалось разобрать, 0,1% — ошибки. Общая стоимость API — USD 60.
• Справочные значения: приблизительная доля женщин среди людей с каждым расстройством, взятая из DSM-5-TR и эпидемиологических обзоров. Это оценки порядка величины, а не эталонные значения; выводы зависят только от направления и приблизительного масштаба различий.

По шкале логарифма шансов медианная модель усиливает справочное соотношение в 2,4 раза (межквартильный размах 2,1–3,0); наклон выше 1 у всех 54 моделей. Все 54 модели поляризованнее, чем справочные данные (среднее расстояние от равного соотношения — 0,33 против 0,16).

Два состояния нарушают эту закономерность. PTSD — единственное состояние с преобладанием женщин, которое модели не смещают ещё дальше в сторону женщин (62% против 68%); при этом модели сильно расходятся между собой (1–96%). ADHD и аутизм, диагнозы при которых чаще ставят мужчинам, смещаются в сторону равного соотношения (50% и 45% женщин против 38% и 25%).

Доля женщин (%). Модели: среднее по 54 моделям (в каждой — среднее по 4 языкам × 50 генерациям). > справочного: модели, у которых значение выше справочного. p: критерий знаковых рангов Уилкоксона относительно справочного значения.

В 54% из 2 360 ячеек «модель — язык — состояние» не менее 95% из 50 генераций имеют один и тот же гендер, а в 40% — все ответы, даже при температуре 0,9.

Имена столь же однообразны. Maya — это 34% всех женщин в ответах на английском, а Marcus — 28% мужчин; Anna — 37% польских женщин, а Marek — 38% польских мужчин; Lucía — 37% испанских женщин. Профессии соответствуют стереотипам: графический дизайнер — женщина при пограничном расстройстве личности, депрессии и тревожности; корпоративный юрист — мужчина при нарциссическом расстройстве личности; продавец подержанных автомобилей — мужчина при антисоциальном расстройстве личности; разработчик программного обеспечения — мужчина при аутизме.

Отклонение от справочных данных не уменьшается у более новых моделей; оно немного возрастает (ρ Спирмена = 0,36, p = 0,013, 47 моделей с API). Ближе всего к справочным данным оказались Qwen 2.5 72B, GPT-5.4 и GPT-4o mini; дальше всего — Gemini 3.1 Pro, GPT-6 Sol и GPT-6 Luna. У Gemini 3.1 Pro настройка по умолчанию противоположна настройке большинства моделей: преимущественно мужчины при депрессии, социальной тревожности и PTSD, ни одной женщины при ADHD и аутизме, но 100% женщин при пограничном расстройстве личности. Преобладание мужчин — это другая предвзятость, а не меньшая предвзятость.

В линейке OpenAI настройки по умолчанию для расстройств личности меняются от одного выпуска к следующему, что указывает на возможную связь с дообучением, а не с устойчивым свойством модели. Различия между разработчиками из США, Китая и Европы невелики. Семь локальных моделей не были хуже моделей с API; польская PLLuM 12B оказалась среди моделей, наиболее близких к справочным данным, а Bielik 11B была единственной моделью, совпавшей со справочными данными для антисоциального расстройства личности.

• Для учебных клинических материалов. Обучающийся, который встречает только женщин с пограничным расстройством личности и мужчин с антисоциальным расстройством личности, может усвоить более сильную априорную установку, чем позволяют эпидемиологические данные, — именно для тех состояний, при которых задокументированы проблемы гипердиагностики у женщин (пограничное расстройство личности) и недодиагностики у женщин (аутизм, ADHD).
• Для всех, кто генерирует синтетических пациентов или тестовые наборы. Задавайте гендер и другие демографические характеристики явно, исходя из целевого распределения, а не оставляйте этот выбор модели; проверяйте сгенерированные выборки по справочным соотношениям.
• При выборе модели. В нашей выборке ни давность выпуска, ни регион, ни размер, ни локальный запуск не позволяли предсказать предвзятость, а между выпусками она менялась. Измеряйте характеристики каждой версии модели, которую используете.

• Один шаблон запроса. Результаты описывают поведение по умолчанию в ответ на короткий запрос без системного запроса и клинического контекста; в рабочих приложениях оно может отличаться.
• Приблизительные справочные значения. Соотношения полов различаются в зависимости от страны, условий и практики диагностики; в клинических выборках при пограничном расстройстве личности преобладают женщины, но в популяционных опросах соотношение ближе к равному.
• Перевод и грамматический род. Названия расстройств переводили мы; в каждом языке они могут иметь разные оттенки значения.
• Маршрутизация API. Модель может предоставляться разными провайдерами; данные о провайдере каждого вызова записаны в наборе данных.
• Бинарный анализ ответов «женщина/мужчина»; другие ответы представлены отдельно. Разбор ответов выполнялся по правилам и проверялся для каждой модели.

Содержимое ZIP-архива

• paper/: статья в формате PDF
• data/responses.csv и .parquet: все ответы с указанием модели, языка, состояния, исходного текста и извлечённых имени, гендера, возраста и профессии
• data/prompts.csv, models.csv, reference_share_female.csv, summary_model_language_condition.csv
• code/: скрипты сбора данных, разбора ответов и анализа
• figures/: иллюстрации с этой страницы
• README.md: описание набора данных. Лицензия CC BY 4.0.

Как цитировать

@misc{glowacki2026genderbias,
  title  = {Language Models Know Which Way Mental Disorders Skew by Sex, and Exaggerate It: A 54-Model, Four-Language Audit},
  author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and Cylwik, Ewa and G{\l}owacki, Bohdan},
  year   = {2026},
  note   = {Preprint, AITHENTICA P.S.A. / Therapy Support. Dataset: doi:10.5281/zenodo.23676720},
  url    = {https://aitherapy.support/research/llm-gender-bias-mental-health/}
}