Najnovšia štúdia Jazykové modely vedia, ktorým smerom sa duševné poruchy líšia podľa pohlavia, a rozdiel zveličujú
Požiadali sme 54 jazykových modelov v štyroch jazykoch, aby 118 800-krát vymysleli človeka s duševnou poruchou. Smer rozdielov podľa pohlavia určujú správne, ale ich veľkosť zveličujú: pri hraničnej PD vytvárajú ženu v 99 % prípadov. Otvorený súbor údajov.
Ako pracujeme
Ukazujeme, ako pracujeme.
Skúmame bias a limity jazykových modelov v klinickom kontexte, meriame kvalitu konceptualizácie CBT podporovanej AI, overujeme bezpečnosť dát pacientov, zdokonaľujeme poznámky zo sedení a automatizáciu terapeutickej dokumentácie.
Každý krok dokumentujeme otvorene — metodológiu, surové dáta, kód a závery publikujeme v plnej forme. Terapeuti, výskumníci a klinici môžu nahliadnuť do našej dielne a vidieť, na čom staviame produktové rozhodnutia.
Chcete s nami spolupracovať? Ozvite sa.
Publikácie
Všetky štúdie
Reporty, experimenty, technické poznámky — všetko otvorene publikované.
Jazykové modely vedia, ktorým smerom sa duševné poruchy líšia podľa pohlavia, a rozdiel zveličujú
Požiadali sme 54 jazykových modelov v štyroch jazykoch, aby 118 800-krát vymysleli človeka s duševnou poruchou. Smer rozdielov podľa pohlavia určujú správne, ale ich veľkosť zveličujú: pri hraničnej PD vytvárajú ženu v 99 % prípadov. Otvorený súbor údajov.
Malý model, starostlivo navrhnutý pipeline: zmenšenie rozdielu oproti frontier LLM
Automatizovaná výskumná slučka s hodnotením pomocou modelov dostala nízkonákladový jazykový model na úroveň referenčného frontier modelu pri sumarizácii dlhých textov z viacerých dokumentov. Pozorované na súhrnoch pred sedením vytvorených z prepisov dvoch syntetických pacientov; výlučne hodnotenie pomocou modelov.
Ako LLM vidia poľského pacienta?
Experimentálna analýza zaujatosti šiestich jazykových modelov pri generovaní fiktívnych pacientov so štyrmi duševnými poruchami. 240 dopytov · 6 modelov · 4 poruchy.
Anna Graniczna má 31 rokov, strach z opustenia a neexistuje
Ako budujeme syntetických pacientov na výskum a testovanie bez rizika pre súkromie reálnych ľudí. 20 sedení terapie schém, otvorený hárok pacientky a anatómia dobrého vstupu pre LLM.