Μικρό μοντέλο, προσεκτικός αγωγός

Σε περισσότερες από 30 εκδόσεις και 16 γύρους τυφλής αξιολόγησης, το μικρό μοντέλο ανέβηκε από 0,647 σε 0,846 σε έναν σταθμισμένο χρυσό κατάλογο ελέγχου (0,879 όταν ένας επαληθευτής χωρίς πρόσβαση στην αναφορά επιλέγει την καλύτερη από τρεις εκτελέσεις). Η αναφορά του μοντέλου αιχμής βαθμολογήθηκε με 0,782. Σε τυφλή αξιολόγηση από επόπτη LLM, τα δύο δεν μπορούσαν να διακριθούν σε αυτό το μέγεθος δείγματος: η μέση διαφορά σε ζευγαρωμένες συγκρίσεις ήταν +0,05 (ΤΑ 0,49). Το ίδιο, αμετάβλητο ενημερωτικό σημείωμα αναφοράς έλαβε βαθμολογίες από 3,50 έως 4,03 από τον ίδιο επόπτη σε 13 γύρους, οπότε ο θόρυβος του ίδιου του κριτή αναδείχθηκε σε εύρημα από μόνος του.

Περιεχόμενα

Χρησιμοποιήσαμε μια τέτοια εργασία ως πεδίο δοκιμής: ένα δομημένο ενημερωτικό σημείωμα που ένας θεραπευτής ΓΣΘ μπορεί να διαβάσει σε περίπου τρία λεπτά πριν από μια συνεδρία. Παραθέτει βασικές πεποιθήσεις με τον αριθμό συνεδριών, κανόνες, επαναλαμβανόμενες γνωσιακές διαστρεβλώσεις, τυπικά επεισόδια ABC, ελεγμένες προβλέψεις, την τελευταία συνεδρία και σημεία που ο θεραπευτής ίσως θελήσει να συζητήσει στη σημερινή συνεδρία. Μέχρι τη συνεδρία 20, το υλικό φτάνει περίπου τις 130,000 λέξεις.

Η εργασία είναι κατάλληλη για ένα μεθοδολογικό ερώτημα, επειδή έχει γνωστή δομή (το γνωσιακό μοντέλο του Beck), φυσικό τρόπο επαλήθευσης των τεκμηρίων (τα αυτούσια λόγια του ασθενούς) και αρκετές παγίδες: μια πεποίθηση που διατυπώθηκε αρχικά από τον θεραπευτή ή μια μεταφορά που δεν αποτελεί δήλωση για τον θάνατο.

Δύο συνθετικοί ασθενείς

Και οι δύο ασθενείς δημιουργήθηκαν με τη δική μας πολυεπίπεδη μέθοδο συνθετικών ασθενών (πρώτα δελτίο προφίλ, θεραπευτική πορεία, σχέδιο συνεδριών και οδηγός φωνής και στη συνέχεια συνεδρίες που δημιουργήθηκαν μία προς μία ως απομαγνητοφωνημένα κείμενα τύπου ASR). Anita: 20 συνεδρίες, 131,498 λέξεις, ΓΣΘ τύπου J. Beck. Markus: 12 συνεδρίες, 83,978 λέξεις, με θεραπευτή που εργάζεται εν μέρει με θεραπεία σχημάτων, οπότε το ενημερωτικό σημείωμα πρέπει να αποδίδει ξανά το υλικό με όρους ΓΣΘ. Για κάθε ασθενή συντάχθηκε ανεξάρτητα μια χρυσή αναφορά, μετά από πλήρη ανάγνωση των απομαγνητοφωνημένων κειμένων. Δεν χρησιμοποιήθηκαν δεδομένα πραγματικών ασθενών.

Καλύτερη από τις τρεις, χωρίς να βλέπει την απάντηση

Οι διαφορές μεταξύ εκτελέσεων της ίδιας έκδοσης ήταν συχνά μεγαλύτερες από τις διαφορές μεταξύ εκδόσεων. Έτσι, ο αγωγός σε επίπεδο ενημερωτικού σημειώματος εκτελείται τρεις φορές και ένας επαληθευτής επιλέγει μία εκτέλεση: παίρνει τις 20 προτάσεις του ασθενούς με τη μεγαλύτερη σημασία και ρωτά τον ταξινομητή αν καθεμία αποτυπώνεται στο ενημερωτικό σημείωμα. Ο επαληθευτής δεν βλέπει ποτέ τη χρυσή αναφορά ή τον κατάλογο ελέγχου.

• Δύο μετρικές. Ένας χρυσός κατάλογος ελέγχου με 25 σταθμισμένες δηλώσεις ανά σημείο ελέγχου, που βαθμολογείται από τον ταξινομητή, και μια τυφλή αξιολόγηση από επόπτη LLM διαφορετικής οικογένειας μοντέλων, ο οποίος βαθμολογεί επτά κριτήρια σε κλίμακα 1–5.
• Σταθερό σημείο αναφοράς. Ο επόπτης βλέπει πάντα και ένα αμετάβλητο ενημερωτικό σημείωμα αναφοράς αιχμής, με τυχαίο γράμμα, ώστε η μετατόπιση του ίδιου του κριτή να μετράται σε κάθε γύρο.
• Μία αλλαγή κάθε φορά. Οι αστοχίες που εμφανίζονται και στις τρεις εκτελέσεις και οι ενστάσεις του επόπτη καθοδηγούν μία στοχευμένη αλλαγή ανά γύρο, κατόπιν βιβλιογραφικής αναζήτησης.
• Σταθερός κανόνας διακοπής. Δύο διαδοχικοί γύροι χωρίς βελτίωση τερματίζουν τον βρόχο. Σταμάτησε στην v28.
• Σταθερό ανώτατο όριο κόστους. Μέσα στον αγωγό δεν επιτρέπεται η χρήση μοντέλου ακριβότερου από το μικρό μοντέλο ή τον ταξινομητή.

Κάλυψη περιεχομένου: ο χρυσός κατάλογος ελέγχου

Το μικρό μοντέλο ξεκίνησε αρκετά χαμηλότερα από την αναφορά (0,647 έναντι 0,782), την ξεπέρασε στην v25 και έφτασε το 0,846 στην v28. Και οι τρεις εκτελέσεις της v28 (0,818, 0,842, 0,879) βρίσκονται πάνω από την αναφορά. Δύο μεταγενέστερες εκδόσεις δεν βελτίωσαν την v28 και ο βρόχος σταμάτησε.

	Anita, πριν από την S13	Anita, πριν από την S20	Markus, πριν από την S12
v28, μέσος όρος 3 εκτελέσεων	0,963	0,800	0,776
v28, best-of-3 (επαληθευτής)	0,963	0,836	0,836
αναφορά GPT-5.5 (1 εκτέλεση)	0,963	0,655	0,727

Μέσοι όροι στα σημεία ελέγχου: v28 0,846 · best-of-3 0,879 · αναφορά 0,782.

Τυφλή αξιολόγηση: εντός του θορύβου του κριτή

Στους τελευταίους γύρους, η καλύτερη έκδοση του μικρού μοντέλου και η αναφορά βαθμολογήθηκαν με 3,77 έναντι 3,87 (R28) και 3,77 έναντι 3,57 (R29). Στα έξι ζεύγη του ίδιου γύρου, οι διαφορές ήταν −0,4, +0,2, −0,1, −0,5, +0,9, +0,2: μέσος όρος +0,05, ΤΑ 0,49. Κανένα από τα δύο συστήματα δεν έφτασε τον μέσο στόχο του επόπτη, 4,0. Ανά κριτήριο, η v28 υπερείχε στην ιχνηλάτηση συνεδριών και στη βαθμονόμηση, υστερούσε στην ακρίβεια (συμφωνία με τη χρυσή αναφορά) και στα παραθέματα και ισοβαθμούσε στα επίπεδα ΓΣΘ.

Κόστος

Ένα ενημερωτικό σημείωμα v28 κοστίζει περίπου USD 0,03 για τη σύνταξη των ενοτήτων και απαιτεί 2,5–3 λεπτά· ένα σημείωμα best-of-3 κοστίζει περίπου USD 0,11. Η επεξεργασία μιας νέας συνεδρίας προσθέτει περίπου USD 0,07, κυρίως για την εκτέλεση του ταξινομητή σε κάθε πρόταση. Με τις τιμές καταλόγου, το ενημερωτικό σημείωμα αναφοράς αιχμής κοστίζει περίπου 19 φορές περισσότερο από ένα μεμονωμένο σημείωμα v28. Το συνολικό έργο χρησιμοποίησε διακριτικά μικρού μοντέλου αξίας USD 5,57.

Τι βοήθησε και τι όχι

Τρία πράγματα βοήθησαν: η διόρθωση ελαττωμάτων στον ντετερμινιστικό κώδικα που εντόπισε ο επόπτης, η υψηλή ρύθμιση προσπάθειας συλλογισμού για τους συντάκτες ενοτήτων (η υψηλότερη ρύθμιση κόστιζε περισσότερο και είχε χαμηλότερη βαθμολογία) και η μεταφορά στον κώδικα της προτεινόμενης ημερήσιας διάταξης, της κλίμακας προβλέψεων και της πιο πρόσφατης δήλωσης σχετικής με τον κίνδυνο. Αρκετές εύλογες προσθήκες είχαν αρνητική επίδραση: η συγχώνευση τριών προσχεδίων, ένα χρονολόγιο πεποιθήσεων επιβεβλημένο από τον κώδικα, υποδείξεις σημαντικότητας με στάδιο επιδιόρθωσης κάλυψης και αυτοαναθεώρηση καθοδηγούμενη από κριτήρια αξιολόγησης. Καθεμία πρόσθεσε ένα βήμα παραγωγής στο οποίο ένα μικρό μοντέλο μπορεί να χάσει ή να αλλοιώσει πληροφορίες. Κάθε αλλαγή που αφαίρεσε εργασία από το μοντέλο ή επέλεξε μεταξύ αποτελεσμάτων χωρίς να τα ξαναγράψει ήταν ασφαλής.

Η επιλογή από τον επαληθευτή βελτίωσε τη βαθμολογία του καταλόγου ελέγχου σε επτά από τις οκτώ εκδόσεις· για την v28, από 0,846 σε 0,879, κοντά στο oracle (0,885). Επειδή ο επαληθευτής και ο βαθμολογητής του καταλόγου ελέγχου είναι ο ίδιος ταξινομητής, μέρος αυτής της βελτίωσης ενδέχεται να αντανακλά κοινές προτιμήσεις.

Τι παρέμεινε δύσκολο

Οι επίμονες αστοχίες μειώθηκαν από 25 σε 15 από τις 164 μονάδες βαρύτητας μεταξύ της v22 και της v28. Όσα παραμένουν είναι οι πιο λεπτές κρίσεις του γνωσιακού μοντέλου: η κατάσταση μιας πεποίθησης μετά την επανενεργοποίησή της, τα εύρη πεποιθήσεων που σταματούν πριν από το πιο πρόσφατο υλικό και οι περιορισμοί πεδίου εφαρμογής. Οι αναφορές στον κίνδυνο ήταν το δυσκολότερο στοιχείο: τιμωρήθηκαν τόσο η παράλειψη μιας πρόσφατης δήλωσης όσο και η μετατροπή μιας μεταφοράς, μιας άσκησης ή μιας αξιολόγησης συναισθήματος σε ένδειξη. Ο καλύτερος σχεδιασμός διατήρησε μόνο την πιο πρόσφατη κυριολεκτική δήλωση και τη συνεδρία κατά την οποία ο θεραπευτής ρώτησε τελευταία φορά άμεσα σχετικά, αφήνοντας κάθε ερμηνεία στον θεραπευτή.

Σε 13 γύρους, το ίδιο ενημερωτικό σημείωμα αναφοράς έλαβε μέση βαθμολογία ανά γύρο 3,71, με ΤΑ 0,18 και εύρος 3,50–4,03 σε κλίμακα 1–5. Για μεμονωμένα κριτήρια, η ΤΑ έφτασε το 0,46, ακόμη και για παραθέματα που επαληθεύτηκαν μέσω δέσμης ενεργειών και ήταν πανομοιότυπα κάθε φορά. Αυτός ο θόρυβος είναι περίπου τόσο μεγάλος όσο και ολόκληρη η βελτίωση που πέτυχε ο βρόχος στην ίδια κλίμακα.

• Μόνο συνθετικά δεδομένα. Δύο συνθετικοί ασθενείς, τρία σημεία ελέγχου, τρεις εκτελέσεις ανά έκδοση. Μόνο περιγραφικά στατιστικά, χωρίς ελέγχους στατιστικής σημαντικότητας. Η μεταφορά σε άλλες εργασίες και σε πραγματικό υλικό τεκμηριώνεται ως επιχείρημα, δεν αποδεικνύεται.
• Αξιολόγηση αποκλειστικά από μοντέλα. Δεν συμμετείχαν κλινικοί ή άλλοι ανθρώπινοι αξιολογητές, εκ σχεδιασμού. Οι βαθμολογίες περιγράφουν τη συμφωνία με έναν χρυσό κατάλογο ελέγχου και την κρίση ενός επόπτη LLM, όχι την κλινική ποιότητα, την ασφάλεια ή οποιαδήποτε επίδραση στη θεραπεία.
• Βελτιστοποίηση στο σύνολο αξιολόγησης. Όλες οι εκδόσεις αναπτύχθηκαν με βάση τα ίδια σημεία ελέγχου και τους ίδιους κριτές, επομένως οι τελικές βαθμολογίες είναι αισιόδοξες. Η κατάλληλη δοκιμή θα γινόταν σε ασθενή που δεν είχε χρησιμοποιηθεί στην ανάπτυξη.
• Το «δεν διακρίνονται» δεν σημαίνει «καλύτερο». Στην τυφλή αξιολόγηση, το μικρό μοντέλο και η αναφορά αιχμής δεν μπορούσαν να διακριθούν σε αυτό το μέγεθος δείγματος· οι διαφορές βρίσκονται εντός του ίδιου του θορύβου του κριτή.
• Κοινός ταξινομητής. Ο βαθμολογητής του καταλόγου ελέγχου, ο σαρωτής προτάσεων και ο επαληθευτής είναι το ίδιο μοντέλο.
• Μέτρια αναφορά. Η αναφορά αιχμής είναι μία παλαιότερη, μη βελτιστοποιημένη εκτέλεση αγωγού με GPT-5.5, όχι ένας αγωγός αιχμής βελτιστοποιημένος με τον ίδιο βρόχο.

Περιεχόμενα του ZIP

• paper/: η εργασία σε PDF
• figures/: εννέα σχήματα και τα δεδομένα πίσω από αυτά
• scores/gold_checklists.json: 3 × 25 σταθμισμένες δηλώσεις
• scores/checklist_results.json: πιθανότητες ανά στοιχείο για 198 βαθμολογημένα ενημερωτικά σημειώματα
• scores/blind_review_R28.json, R29: επτά κριτήρια, ετυμηγορίες και ενστάσεις, με κλειδιά γραμμάτων
• example-briefs/: τρία τελικά ενημερωτικά σημειώματα v28 (στα πολωνικά, όπως και τα απομαγνητοφωνημένα κείμενα)

Δεν περιλαμβάνονται: συνθετικά απομαγνητοφωνημένα κείμενα, προτροπές και κώδικας. Διατίθενται από τους συγγραφείς κατόπιν αιτήματος για ερευνητική χρήση.

Τρόπος παραπομπής

@misc{glowacki2026smallmodel,
  title  = {Small Model, Careful Pipeline: An Autoresearch Method for Closing the Gap to Frontier LLMs on Long, Multi-Document Summarisation},
  author = {G{\l}owacki, Bart{\l}omiej and G{\l}owacka, Joanna and G{\l}owacki, Bohdan and Cylwik, Ewa},
  year   = {2026},
  note   = {Preprint, AITHENTICA P.S.A. / Therapy Support},
  url    = {https://aitherapy.support/research/small-model-careful-pipeline/}
}