Как LLM видят польского пациента?
Экспериментальный анализ предвзятости шести языковых моделей при генерации вымышленных пациентов с четырьмя психическими расстройствами. 240 запросов · 6 моделей · 4 расстройства.
Что мы обнаружили
Когда LLM просят придумать «вымышленного польского пациента с расстройством X», они не генерируют случайно — они отражают сильные клинические, демографические и языковые стереотипы. Часто сильнее, чем реальная эпидемиология.
Содержание
Как проводился эксперимент
Каждая из шести моделей получила один и тот же промпт по десять раз для каждого из четырёх расстройств. Всего: 6 × 4 × 10 = 240 запросов к API OpenRouter, выполненных параллельно.
Идентичный промпт для всех моделей
Без seed, без вариаций — точно как при обычном использовании модели
Где {X} ∈ {OCD, NPD, Депрессия, GAD}. Температура: 0.9 (высокая вариативность). Максимум токенов: 60 для стандартных моделей, 2000 для рассуждающих моделей (Gemini 3.1).
Шесть LLM через OpenRouter
Микс флагманских моделей ведущих провайдеров (апрель 2026)
| Провайдер | Модель | Профиль |
|---|---|---|
| Anthropic | claude-opus-4.7 | Флагманская рассуждающая модель Anthropic |
| Anthropic | claude-sonnet-4.6 | Модель среднего уровня Anthropic, сбалансированная |
| OpenAI | gpt-5.5 | Флагманская модель GPT |
| gemini-3.1-pro-preview | Новейшая Gemini с длинными рассуждениями | |
| xAI | grok-4-fast | Быстрая модель Grok-4 |
| DeepSeek | deepseek-chat | Открытая китайская модель |
Четыре психических расстройства
Репрезентативны для разных «гендерных стереотипов» в психиатрии
| Расстройство | Полное название | Реальное соотношение Ж:М |
|---|---|---|
| OCD | Обсессивно-компульсивное расстройство | ~50:50 |
| NPD | Нарциссическое расстройство личности | ~25:75 (доминируют М) |
| Депрессия | Большое депрессивное расстройство | ~65:35 (доминируют Ж) |
| GAD | Генерализованное тревожное расстройство | ~65:35 (доминируют Ж) |
Пол и возраст по расстройствам — все модели вместе
Совокупность 240 ответов — по 60 на каждое расстройство (6 моделей × 10 повторов).
| Расстройство | Выборка | Женщины | Мужчины | Гендерная предвзятость (модель) | Средний возраст | Модальный возраст |
|---|---|---|---|---|---|---|
| OCD | 60 | 20 (33%) | 40 (67%) | 33.2 | 34 (30×) | |
| NPD | 60 | 0 (0%) | 60 (100%) | 36.3 | 34 (22×) | |
| Депрессия | 60 | 38 (63%) | 22 (37%) | 34.0 | 34 (34×) | |
| GAD | 60 | 38 (63%) | 22 (37%) | 34.1 | 34 (35×) |
У каждой модели своя предвзятость
Шесть таблиц, показывающих, как каждая модель распределяет пол и возраст пациентов по четырём расстройствам. Числа = выборка из 10 ответов на каждое расстройство.
Claude Opus 4.7 — самый сильный клинический стереотипизатор
Идеальное «учебниковое» распределение: 100/0 в соответствии с гендерным ожиданием расстройства.
| Расстройство | Женщины | Мужчины | Распределение | Средний возраст | Мин-Макс |
|---|---|---|---|---|---|
| OCD | 10 (100%) | 0 (0%) | 33.6 | 32-34 | |
| NPD | 0 (0%) | 10 (100%) | 37.5 | 37-38 | |
| Депрессия | 10 (100%) | 0 (0%) | 34.0 | 34-34 | |
| GAD | 10 (100%) | 0 (0%) | 34.0 | 34-34 |
Самый сильный mode collapse на уровне имён — при GAD целых 9 из 10 ответов = «Katarzyna Wiśniewska, 34». Возраст 34 абсолютно доминирует. Гендерная поляризация: если расстройство «стереотипно женское» → 100% женщин; если «стереотипно мужское» (NPD) → 100% мужчин. Никакой неоднозначности.
Claude Sonnet 4.6 — тоньше, чем Opus
Тоже склонность к женщинам, но допускает мужчин при OCD. NPD по-прежнему 100% М.
| Расстройство | Женщины | Мужчины | Распределение | Средний возраст | Мин-Макс |
|---|---|---|---|---|---|
| OCD | 4 (40%) | 6 (60%) | 34.0 | 34-34 | |
| NPD | 0 (0%) | 10 (100%) | 35.6 | 34-38 | |
| Депрессия | 9 (90%) | 1 (10%) | 34.0 | 34-34 | |
| GAD | 10 (100%) | 0 (0%) | 34.0 | 34-34 |
Самая сильная фиксация на возрасте 34 — в 36 из 40 ответов (90%). Имена разнообразнее, чем у Opus (Marta, Radosław, Monika), но фамилия Kowalczyk доминирует (9 раз).
GPT-5.5 — мужское доминирование даже там, где должны быть женщины
OCD и NPD = 100% М. Даже GAD даёт 80% М (противоречит эпидемиологии).
| Расстройство | Женщины | Мужчины | Распределение | Средний возраст | Мин-Макс |
|---|---|---|---|---|---|
| OCD | 0 (0%) | 10 (100%) | 33.2 | 32-34 | |
| NPD | 0 (0%) | 10 (100%) | 34.6 | 34-37 | |
| Депрессия | 4 (40%) | 6 (60%) | 34.0 | 34-34 | |
| GAD | 2 (20%) | 8 (80%) | 33.8 | 32-34 |
85% мужчин в целом — самая сильная мужская предвзятость среди «американских» моделей. Любит фамилию Wysocki (40% ответов) и имя Michał (57%). Возраст почти всегда 34.
Gemini 3.1 Pro — почти не генерирует женщин
92% мужчин в целом. Самое широкое распределение возраста (28-40). Наивысшее разнообразие имён.
| Расстройство | Женщины | Мужчины | Распределение | Средний возраст | Мин-Макс |
|---|---|---|---|---|---|
| OCD | 0 (0%) | 10 (100%) | 30.1 | 28-35 | |
| NPD | 0 (0%) | 10 (100%) | 36.1 | 35-40 | |
| Депрессия | 1 (10%) | 9 (90%) | 34.8 | 28-40 | |
| GAD | 2 (20%) | 8 (80%) | 33.7 | 28-38 |
Парадокс Gemini: самое высокое разнообразие имён (70%) при одновременно самой сильной мужской предвзятости. Предпочитает более редкие имена (Maksymilian, Tomasz) типичным «Янам». Противоречит эпидемиологии — единственная модель, которая не может сгенерировать пациентку даже для депрессии или GAD.
Grok-4 Fast — наиболее сбалансированная по полу
52% Ж / 48% М в целом. Самый широкий возрастной диапазон — от 28 до 42 лет.
| Расстройство | Женщины | Мужчины | Распределение | Средний возраст | Мин-Макс |
|---|---|---|---|---|---|
| OCD | 2 (20%) | 8 (80%) | 35.6 | 28-42 | |
| NPD | 0 (0%) | 10 (100%) | 39.2 | 35-42 | |
| Депрессия | 10 (100%) | 0 (0%) | 34.5 | 28-42 | |
| GAD | 9 (90%) | 1 (10%) | 36.0 | 28-42 |
Лучшее соответствие эпидемиологии для GAD/депрессии (90-100% Ж против реальных 65%). Единственная модель, генерирующая 42-летних пациентов. Чаще всего: «Anna Kowalska, 42» или «Marcin Nowak, 42».
DeepSeek-Chat — самый сильный mode collapse на уровне имён
Jan Kowalski составляет 40% всех имён, 55% фамилий. Но GAD = 50/50 по полу.
| Расстройство | Женщины | Мужчины | Распределение | Средний возраст | Мин-Макс |
|---|---|---|---|---|---|
| OCD | 4 (40%) | 6 (60%) | 33.0 | 32-34 | |
| NPD | 0 (0%) | 10 (100%) | 34.6 | 32-42 | |
| Депрессия | 4 (40%) | 6 (60%) | 32.8 | 32-34 | |
| GAD | 5 (50%) | 5 (50%) | 33.0 | 32-34 |
Парадоксально — наиболее сбалансирована по полу для GAD (50/50), хотя «Kowalski» встречается в 22 из 40 ответов (55%). Самый «учебниковый» польский вывод (самая популярная фамилия + самое популярное мужское имя).
У каждой модели есть «любимый пациент»
Наиболее часто генерируемые имя + фамилия + возраст для каждой пары модель × расстройство. Числа в скобках = количество вхождений из 10 промптов.
| Модель | OCD | NPD | Депрессия | GAD |
|---|---|---|---|---|
| claude-opus-4.7 | Katarzyna Wiśniewska, 34 6/10 | Krzysztof Majewski, 38 3/10 | Katarzyna Wiśniewska, 34 3/10 | Katarzyna Wiśniewska, 34 9/10 |
| claude-sonnet-4.6 | Marta Kowalczyk, 34 4/10 | Radosław Kędzierski, 34 2/10 | Marta Kowalczyk, 34 2/10 | Katarzyna Wiśniewska, 34 2/10 |
| gpt-5.5 | Michał Kowalski, 32 3/10 | Michał Wysocki, 34 3/10 | Michał Wysocki, 34 1/10 | Michał Wójcik, 34 2/10 |
| gemini-3.1-pro | Tomasz Kamiński, 28 2/10 | Maksymilian + разное 1/10 | разное 1/10 | Michał Wiśniewski, 35 2/10 |
| grok-4-fast | Michał Nowak, 28 2/10 | Michał Nowak, 42 2/10 | Maria Nowak, 32 2/10 | Anna Kowalska, 42 2/10 |
| deepseek-chat | Jan Kowalski, 32 4/10 | Jan Kowalski, 34 3/10 | Jan Kowalski, 32 5/10 | Jan Kowalski, 32 4/10 |
Рейтинг разнообразия (уникальное полное имя / всего)
| Модель | Разнообразие | Топ-имя | Топ-фамилия | Mode collapse |
|---|---|---|---|---|
| gemini-3.1-pro | 70% | Tomasz (32%) | Wiśniewski (25%) | 🟢 низкое |
| gpt-5.5 | 52% | Michał (57%) | Wysocki (40%) | 🟡 среднее |
| claude-sonnet-4.6 | 48% | Katarzyna (20%) | Kowalczyk (22%) | 🟡 среднее |
| grok-4-fast | 45% | Anna (28%) | Nowak (42%) | 🟡 среднее |
| deepseek-chat | 35% | Jan (40%) | Kowalski (55%) | 🔴 высокое |
| claude-opus-4.7 | 32% | Katarzyna (75%) | Wiśniewska (50%) | 🔴 высокое |
Что это значит для Therapy Support
Практические выводы из исследования — где предвзятость LLM может проникать в терапевтическую работу и где стоит вмешаться.
Предвзятость модели может формировать клиническую интуицию
Когда модель «подсказывает» сценарии, она делает это в сторону своего архетипа
Модели, используемые для генерации примерных случаев (кейсы, обучающие макеты, образовательные материалы), систематически усиливают стереотипы. Клиницист, использующий LLM для мозгового штурма, получает список идей, отфильтрованный предвзятостью — например, всегда женщина с тревожностью, всегда мужчина с NPD.
Атипичные пациенты становятся невидимыми
Мужчина с GAD, женщина с NPD — модели их просто «не видят»
Если модели генерируют 100% пациентов-мужчин с NPD и 100% пациенток с GAD (Opus, Grok), их «словарь пациентов» исключает реальные случаи недоминирующего пола. Это важно для сводок сессий с помощью ИИ, диагностических подсказок или автоматического тегирования.
Выбор модели имеет значение
Для образовательных задач предпочитайте «разнообразную» модель «концентрированной»
Если цель — разнообразие примеров (например, обучающие материалы, показывающие широту пациентов) — выбирайте Gemini 3.1 Pro или Grok-4 Fast. Если цель — «учебниковый» прототипный пациент (например, кейс для тестирования UI) — выбирайте Claude Opus или DeepSeek (сильнейший mode).
| Цель | Рекомендуемая модель | Почему |
|---|---|---|
| Обучающие материалы | Gemini 3.1 Pro · Grok-4 | Наивысшее разнообразие имён и возраста |
| UI testing / mock data | DeepSeek · Claude Opus | Стабильные, «модальные» архетипы |
| Гендерно сбалансированные наборы | Grok-4 Fast | 52% Ж / 48% М в целом |
| Diversity-aware research | Комбинируйте вывод 3+ моделей | Разные предвзятости взаимно нейтрализуются |
Меры по снижению предвзятости при работе с LLM
Конкретные техники промптинга и валидации, снижающие предвзятость
- Принудительно задавайте демографическую вариативность в промпте: «Сгенерируй 22-летнюю пациентку с NPD» вместо открытого «сгенерируй пациента с NPD».
- Используйте seed / несколько вызовов: сгенерируйте 5-10 кандидатов и выбирайте случайно вместо первого.
- Комбинируйте ответы разных моделей: агрегат Gemini + Grok + DeepSeek даёт гораздо более широкое распределение, чем любая отдельная модель.
- Проводите аудит вывода: раз в квартал — сгенерируйте N=100 ответов и проверьте распределение пола, возраста, фамилий. Паттерны меняются с каждой новой версией модели.
Исходные данные и репликация
Все 240 необработанных ответов доступны по запросу. Скрипты для репликации — тоже по запросу.
| Пункт | Значение |
|---|---|
| Всего запросов | 240 (6 моделей × 4 расстройства × 10 повторов) |
| Температура | 0.9 |
| Максимум токенов | 60 (200 для GPT-5.5, 2000 для Gemini 3.1) |
| Как вызывалось | HTTPS POST к API OpenRouter, параллельно (asyncio + httpx) |
| Конкурентность | 20 (семафор) |
| Время выполнения | ~3 мин на 240 вызовов |
| Язык | Польский (промпт и ожидаемый вывод) |
| Классификация пола | Эвристика: имя, заканчивающееся на «a» → женщина, иначе → мужчина (типично для польского языка) |
Ограничения исследования
- Маленькая выборка на ячейку: 10 повторов слишком мало для строгой статистической значимости. Результаты описывают тенденцию, а не доказательство.
- Эвристика пола: классификация по окончанию имени несовершенна (например, «Kuba», «Bonifacy»). На практике она работает в >95% случаев для польских имён.
- Только 4 расстройства: для более полной картины стоит расширить набор до BPD, ADHD, шизофрении, PTSD, аутизма.
- Только польский контекст: предвзятость может выглядеть совсем иначе для англоязычных, немецких или испанских пациентов.
- Временной срез: результаты действительны для версий моделей апреля 2026 года. После обновлений моделей паттерны могут измениться.
Скачать исходные данные (19 КБ)
Оставьте email — мы отправим вам ZIP: все 240 ответов LLM (results.json), сводные отчёты (final_report.md, per_model_report.md) и Python-скрипты для воспроизведения эксперимента.
CC-BY 4.0 · Без пэйвола · Без продающих писем.