Å trene modeller til å trene bedre

Da jeg studerte organisasjonsteori leste jeg Jacobsen & Thorsvik (Hvordan organisasjoner fungerer), det som særlig interesserte meg var da de nevnte den fjerde industrielle revolusjonen.

Jeg begynte å tenke på hvordan maskiner lenge har blitt brukt til å bygge kraftigere maskiner.

På en byggeplass kan én kran brukes til å reise en større kran. Den større kranen kan løfte mer, bygge høyere og gjøre arbeid den første kranen ikke kunne gjort.

På samme måte bruker vi dagens modeller til å produsere, vurdere og forbedre dataene som brukes til å trene neste modell.

Sammendrag

Tradisjonell modelltrening forbindes ofte med enkeltstående spørsmål og svar: Modellen mottar en instruksjon og trenes til å produsere et ønsket svar. Slike QA-eksempler er fortsatt viktige, særlig innen kunnskapstunge og avgrensede oppgaver. De er imidlertid ikke tilstrekkelige for å lære opp en KI som skal arbeide mot et mål over tid. Man kan si at det bygger opp modellens baseresonnering.

En praktisk KI må kunne tolke ufullstendige instrukser, kartlegge tilgjengelige ressurser, velge verktøy, lese dokumentasjon, håndtere ukjente miljøer, oppdage feil, endre strategi, kontrollere eget arbeid og vite når et menneske må involveres. Treningsenheten blir derfor ikke bare et svar, men en hel trajektorie: en sekvens av dialog, beslutninger, handlinger, verktøykall, observasjoner, feil, korreksjoner og sluttresultat.

Prosjektet undersøker hvordan slike trajektorier kan produseres, valideres, bedømmes og tilbakeføres som treningssignaler. Den eksisterende infrastrukturen omfatter allerede syntetiske flerturnssamtaler, varierte brukerpersonaer, lærermodeller, verktøybruk i virtuelle miljøer, deterministisk validering, kryssfamiliedømming og en trakt hvor bare A-rader (aksepterte treningsrader) går videre til treningssettet.

Dette finnes allerede i trakten:

• flere alternative trajektorier for samme mål
• tydelig skille mellom positive, usikre og negative treningssignaler
• dommere fra forskjellige modellfamilier
• faktakontroll og adjudikasjon ved uenighet mellom dommere
• systematisk bruk av Reject som preferanse- og reparasjonsdata
• vektoppdatering basert på AI-preferanser gjennom RLAIF og DPO
• blind konsistenstest av resonneringssporet (CoT)
• balansert opplæring i selvkorreksjon
• isolerte utføringsmiljøer og en forseglet evalueringssandkasse

Videre retning er å undersøke hvordan modellen kan få bedre operasjonell metakognisjon, vite når noe trenger en menneskelig beslutning, og gradvis bidra mer i forbedringssløyfen uten at menneskelig kontroll forsvinner.

Den langsiktige hypotesen er at modellen gradvis kan lære å ikke bare løse oppgaver, men også å bidra til å forbedre fremtidige versjoner av seg selv, gjennom evalueringen og arbeidsprosessen den selv trenes gjennom. CPT, SFT og RLAIF er konkrete mekanismer i utviklingen. Recursive Self-Improvement, RSI, er den langsiktige retningen - altså at modellen videreutvikler seg selv.

Fra QA til målrettede trajektorier

QA er vanligvis en del av Supervised Fine-Tuning, SFT. Formatet fungerer godt for faktakunnskap, korte instruksjoner, etablerte prosedyrer og resonneringsoppgaver.

Men en moderne modell møter oppgaver som ikke kan reduseres til ett spørsmål og ett svar. Brukeren kan være uklar. Dokumentasjonen kan være nyere enn cut-offen. Et verktøy kan feile. Miljøet kan endre tilstand. Modellen kan mangle tilgang, tid, minne eller beregningsressurser. Den opprinnelige planen kan vise seg å inneholde feil eller endres.

For slike oppgaver må modellen lære sekvenser:

1. forstå målet til operatøren
2. identifisere uklarheter, risiko
3. kartlegge ressurser og begrensninger
4. velge strategi
5. utføre handlinger
6. observere resultatene
7. oppdage avvik og feil
8. korrigere kursen
9. verifisere sluttresultatet
10. rapportere ærlig hva som ble gjort, hva som ikke ble gjort, og hvor sikker konklusjonen er

Treningsradene blir dermed lengre. De kan inneholde hele samtaler, verktøyskjemaer, verktøykall, maskinrespons, feilmeldinger, miljøtilstand, revisjoner og sluttoutput. Målet er ikke lengde i seg selv, men å bevare den kausale strukturen i arbeidet: Hva visste modellen, hvilken beslutning tok den, hvilken observasjon fikk den, og hvordan påvirket dette neste steg?

Den robuste datamiksen vil inneholde både korte og lange eksempler. QA gir høy tetthet av presise ferdigheter. Trajektorier lærer modellen å anvende ferdighetene over tid, under usikkerhet og i samspill med et miljø.

Rollene i datagenereringen

Brukermodellen

Brukermodellen simulerer mennesker med ulike mål, personaer, kunnskapsnivåer, kommunikasjonsstiler og forskjellige grader av tydelighet. Variablene trekkes kontrollert – via ulike terningkast – slik at datagenereringen ikke låses til én idealisert brukertype.

En simulert bruker kan være ekspert eller nybegynner, tydelig eller tvetydig, samarbeidsvillig eller utålmodig, korrekt informert eller delvis feilinformert. Dette lærer modellen at brukerens første melding ikke alltid er en fullstendig spesifikasjon, og at den må skille mellom når en rimelig antakelse er forsvarlig og når videre avklaring er nødvendig.

Lærermodellen

Lærermodellen får systeminstruks, samtalehistorikk, verktøyskjema, miljøinformasjon (+-) og regler for avklaring, verifikasjon, sikkerhet og menneskelig eskalering.

Den demonstrerer hvordan en kompetent KI tolker hensikt, planlegger uten å overplanlegge, bruker verktøy, leser dokumentasjon ved behov, håndterer feil, oppdaterer planen, kontrollerer kritiske resultater, ber om mer kontekst og stopper når noe er uklart.

Lærermodellens output, handlinger og observerbare resonneringsspor kan inngå i treningsmaterialet. Et språklig CoT må likevel ikke omtales som et direkte vindu inn i modellens underliggende nevrale beslutningsprosess. Det er et tekstlig spor som kan være nyttig, misvisende, etterrasjonalisert eller performativt.

Miljø, harness og virtuell maskin

Miljøet gjør trajektorien konsekvensbærende. Modellen mottar resultater fra filer, kode, terminaler, API-er, dokumentasjon og andre verktøy. Miljøet kan returnere et korrekt resultat, en feil, manglende tilgang, uventet tilstand, utilstrekkelige ressurser eller et resultat som motsier modellens første hypotese.

Et harness (sele) kobler modellen til systemprompt, verktøyskjema, miljø og regler. Utføring kan skje i virtuelle maskiner eller sandkasser hvor filsystem og nettverk avgrenses, verktøy instrumenteres, ressursbruk måles, tilstanden nullstilles og handlingene logges og reproduseres.

Fire begreper som må holdes adskilt

CPT – Continued Pre-Training er videreført neste-token-trening på nye eller domenespesifikke korpus. Lærermodeller kan bidra til å finne, rense, normalisere og strukturere data, men skal ikke alene avgjøre at materialet er trygt, juridisk brukbart eller egnet for trening.

SFT – Supervised Fine-Tuning lærer modellen eksplisitt ønsket atferd gjennom QA, dialoger, verktøykall, agentiske trajektorier, feilhåndtering, avklaringer, selvkorreksjon og menneskelig eskalering.

RLAIF – Reinforcement Learning from AI Feedback bruker KI-vurderinger som preferanser, rangeringer eller belønningssignal. Metoden skalerer evaluering, men kvaliteten avhenger av dommernes kalibrering, kompetanse, bias og tilgang til verifikasjon.

RSI – Recursive Self-Improvement er hypotesen om at et system kan forbedre deler av sin egen forbedringsprosess: hvilke data som samles inn, hvordan oppgaver genereres, hvilke feil som prioriteres og hvilke treningsstrategier som foreslås. CPT, SFT og RLAIF kan inngå i en slik sløyfe, men er ikke i seg selv RSI.

Den eksisterende trakten

Prosjektet har oppnådd en fungerende dataproduksjonstrakt med:

• syntetiske flerturnstrajektorier mellom bruker- og lærermodeller
• variasjon i persona, scenario og arbeidsmodus
• verktøybruk, feil og gjenoppretting
• VM- og harness-basert agentarbeid
• deterministisk validering før modellbedømming
• klassifisering i Accept, Flag og Reject
• kvalitetsskår og vurdering av resonneringsspor
• dommere fra ulike modellfamilier
• faktaverifisering og adjudikasjon ved enkelte former for uenighet
• systematisk bruk av Reject som preferanse- og reparasjonsdata
• vektoppdatering basert på AI-preferanser gjennom RLAIF og DPO
• blind konsistenstest av resonneringssporet
• en forseglet evalueringssandkasse
• en trakt hvor bare validatorgodkjente og dommeraksepterte rader går videre til accepted/master og det autoritative treningsgrunnlaget

Videre retning

• mer automatisert valg av data, oppgaver og treningsstrategi
• en lukket RSI-sløyfe hvor modellen kan påvirke egen datainnsamling og treningsstrategi innenfor menneskelige beslutningsporter
• videre måling av hvor pålitelig forbedringssløyfen er over flere modellgenerasjoner

Dommerskårene brukes både som datagate og som grunnlag for vektoppdatering gjennom AI-preferanser, RLAIF og DPO. Reject-data brukes systematisk som preferanse- og reparasjonsdata, slik at modellen lærer forskjellen mellom svak og bedre atferd.

Evaluering med kryssfamiliedommere

Etter at en trajektorie er avsluttet og har passert strukturkontroller, sendes den til to dommermodeller fra forskjellige modellfamilier.

Begrepet kryssfamiliedommere er mer presist enn uavhengige dommere. Ulike modellfamilier kan redusere selvfavorisering og enkelte korrelerte feil, men garanterer ikke statistisk uavhengighet. Modellene kan være trent på overlappende data, dele antakelser eller reagere likt på samme overflatiske kvaliteter [1].

Dommerne vurderer både resultat og prosess:

• Accept: egnet som positivt treningssignal
• Flag: lovende, men inneholder usikkerhet eller krever kontroll
• Reject: inneholder feil eller uønsket atferd og er uegnet som positivt SFT-mål

I tillegg gis en skår fra 1 til 10 på faktuell korrekthet, oppgavetolkning, måloppnåelse, relevans, verktøybruk, feilrobusthet, dokumentasjonsbruk, ressursbevissthet, sikkerhet, usikkerhetskalibrering, sluttkontroll og resonneringssporets kvalitet.

Skåren i seg selv er ikke nok. Dommeren må angi hva som var godt, hva som var konkret feil, hvor evidensen finnes, om feilen kan repareres og hvilket bedre alternativ modellen burde ha valgt.

Adjudikasjon ved uenighet

Når dommerne er vesentlig uenige, skal systemet ikke automatisk følge gjennomsnitt eller flertall. Uenighet kan bety at oppgaven er tvetydig, at én dommer mangler fagkompetanse, at en dommer påvirkes av stil, eller at fasiten faktisk er usikker.

En separat adjudikator bør:

11. identifisere hva dommerne er uenige om
12. skille faktapåstander fra smak og stil
13. kontrollere relevante kilder eller verktøy
14. undersøke om dommerne brukte samme kriterier
15. vurdere om oppgaven har flere gyldige svar
16. avgjøre Accept, Flag eller Reject
17. dokumentere begrunnelse og usikkerhet

Adjudikatoren bør være teknisk adskilt fra lærermodellen og helst også fra dommermodellene. Den skal utføre en uavhengig kontroll, ikke bare skrive en mer overbevisende tredje mening.

Over tid bør dommeruenighet brukes som et eget datasignal. Gjentatte mønstre kan avsløre dårlig spesifiserte oppgaver, svake fagdommere, stil- og lengdebias, mangler i rubrikken eller tilfeller som bør sendes til mennesker.

Anvendelse av Reject-data

Forkastede trajektorier er verdifulle, men farlige. Hvis en Reject-trajektorie legges direkte inn som et vanlig SFT-mål, kan modellen lære å etterligne den atferden systemet forsøkte å avvise. I trakten brukes Reject-data derfor som:

• eksplisitt merkede negative eksempler (denne adferden er uønsket)
• verifiserte preferansepar mellom svak og bedre trajektorie
• kritikk etterfulgt av korrigert løsning
• kontrastive eksempler
• rangeringsdata
• belønningssignal i RLAIF og DPO [2]
• grunnlag for å generere reparerte trajektorier

Modellen bør lære hva som var feil, hvorfor det var feil, hvilken observasjon som burde ha utløst korreksjon, hva en bedre handling ville vært og hvordan lignende feil kan unngås.

Kontroll av Chain-of-Thought

“Jeg tenker, derfor er jeg”

På rene resonneringsoppgaver, særlig innen STEM, kan lærermodellen produsere et svar sammen med et observerbart resonneringsspor. I trakten brukes en blindtest for å undersøke om sporet faktisk støtter resultatet.

Dommermodellen får bare resonneringssporet, ikke sluttoutputen, og blir bedt om å utlede hvilket svar sporet fører til. Hvis dommeren ikke kan rekonstruere konklusjonen, eller sporet støtter en annen konklusjon enn lærermodellen ga, er dette et tegn på svak intern sammenheng.

Dommeren undersøker om sporet inneholder faktisk utledning, relevante mellomregninger, kontroll av antakelser, selvverifikasjon, feiloppdagelse, alternativhypoteser, metaanalyse og en støttet konklusjon.

Samtidig ser den etter performativ eller polert CoT:

• gjentar sporet bare svaret med flere ord?
• introduseres konklusjonen før begrunnelsen?
• skjules et logisk sprang bak selvsikkert språk?
• er resonnementet en etterrasjonalisering?
• ser sporet vitenskapelig ut uten å utføre reell kontroll?

At et resonneringsspor er konsistent med outputen, beviser ikke at teksten gjengir modellens egentlige interne beregning. Forskning viser at språklige CoT-forklaringer kan være plausible uten å være trofaste mot faktorene som faktisk påvirket svaret [3]. Testen måler derfor sammenheng, informasjonsverdi og etterprøvbarhet i det observerbare sporet.

Balansert selvkorreksjon

Selvkorreksjon er nyttig når den utløses av ny evidens, verktøyresultater, kontroll eller ekstern tilbakemelding. Men mer refleksjon er ikke alltid bedre, og forskning har vist klare begrensninger ved selvkorreksjon uten ekstern feedback [4].

Hvis datamiksen domineres av gjentatt selvkritikk og revisjon, kan modellen:

• bruke flere tokens og mer beregning enn nødvendig
• øke responstiden
• forsterke egne feil fordi revisjonen bygger på samme gale antakelse
• endre et riktig førstesvar til et dårligere svar
• utvikle overdreven nøling
• lese dokumentasjon uten behov
• utføre kontroller med lav informasjonsverdi

Modellen bør lære en selektiv kontrollpolicy: svare direkte ved lav risiko og høy sikkerhet, verifisere når feilkonsekvensen er høy, lese dokumentasjon når informasjonen er versjonsfølsom, kontrollere etter miljøendringer og feil, endre plan når nye observasjoner motsier premissene, og be et menneske om hjelp når noe er usikkert eller nødvendig kontekst mangler.

Det sentrale spørsmålet er ikke bare om modellen kan korrigere seg selv, men om den kan lære når selvkorreksjon har positiv forventet verdi.

Situasjonsbevissthet

Modellen gis informasjon om:

• dagens dato og klokkeslett
• treningsdataenes kunnskapsgrense
• egen arkitektur og konfigurasjon
• maskinvaren og ressursene som er tilgjengelige i den aktuelle kjøringen
• gjeldende runbook, verktøy, tillatelser og begrensninger

I tidskritiske oppgaver får modellen løpende informasjon om brukt tid. Den skal prioritere etter risiko og forventet nytte, og kunne stoppe, rapportere status og be operatøren om veiledning dersom feil eller forsinkelser gjør at oppgaven ikke lenger kan fullføres forsvarlig innenfor rammene.

I korte trekk: kunnskap om rolle, kontekst, ressurser og begrensninger.

Konklusjon

Vi nærmer oss systemer som kan automatisere stadig større deler av sin egen utvikling.

Videre retning er å undersøke hvor mye som kan automatiseres pålitelig, samtidig som endringer i modellvekter forblir underlagt menneskelig godkjenning, isolerte miljøer og uavhengig kontroll.

Work in progress.

Referanser

[1] Verga, P. mfl. (2024). Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models. arXiv:2404.18796. https://arxiv.org/abs/2404.18796

[2] Rafailov, R. mfl. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. arXiv:2305.18290. https://arxiv.org/abs/2305.18290

[3] Turpin, M. mfl. (2023). Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting. arXiv:2305.04388. https://arxiv.org/abs/2305.04388

[4] Huang, J. mfl. (2023). Large Language Models Cannot Self-Correct Reasoning Yet. arXiv:2310.01798. https://arxiv.org/abs/2310.01798