Kan AI upptäcka sina egna hallucinationer?

Artificiell intelligens har blivit allt bättre på att formulera svar som låter trovärdiga, men det betyder inte att informationen alltid är korrekt. Så kallade AI-hallucinationer uppstår när en AI-modell genererar uppgifter som är felaktiga, missvisande eller helt påhittade, samtidigt som svaret kan verka övertygande. Det väcker en intressant fråga: kan AI själv upptäcka när den hallucinerar? Forskare och utvecklare arbetar med metoder för att identifiera osäkra svar, kontrollera fakta och bedöma modellernas egen tillförlitlighet. Men hur väl fungerar dessa metoder i praktiken, och kan en AI verkligen skilja mellan kunskap, osäkerhet och rena påhitt?

Hur uppstår AI-hallucinationer?

AI-hallucinationer uppstår när en artificiell intelligens genererar information som inte stämmer med verkligheten, trots att svaret kan låta både säkert och välformulerat. Problemet hänger samman med hur språkmodeller fungerar. De producerar text genom att beräkna vilka ord och formuleringar som statistiskt passar bäst utifrån den information modellen har tränats på. Modellen fungerar därför inte som en människa som automatiskt kontrollerar varje påstående mot en källa. När underlaget är bristfälligt, tvetydigt eller saknas helt kan resultatet bli ett övertygande men felaktigt svar.

Varför modeller hittar på information

En språkmodell har inget enkelt faktabibliotek där varje mening kan slås upp och verifieras innan den skrivs. I stället har den lärt sig mönster från mycket stora mängder text. När användaren ställer en fråga försöker modellen skapa ett sannolikt svar baserat på dessa mönster. Det innebär att den kan kombinera korrekta uppgifter på ett sätt som aldrig har förekommit tidigare. Den kan också fylla informationsluckor med något som språkligt verkar rimligt. Därför är en hallucination inte nödvändigtvis ett slumpmässigt misstag, utan ofta ett resultat av modellens grundläggande arbetssätt.

Risken ökar när frågan gäller detaljer som modellen har begränsad kunskap om. Det kan exempelvis handla om en okänd person, en ny vetenskaplig studie, en specifik händelse eller ett dokument som inte finns i modellens tillgängliga underlag. I sådana situationer kan modellen försöka vara hjälpsam även när den egentligen borde uttrycka osäkerhet. Den kan då skapa namn, datum, citat eller hänvisningar som ser autentiska ut. Just kombinationen av hög språklig säkerhet och låg faktisk tillförlitlighet gör AI-hallucinationer särskilt svåra för användaren att upptäcka.

När ett trovärdigt svar blir missvisande

Ett av de största problemen är att en hallucination inte alltid innehåller uppenbara fel. Ett svar kan bestå av korrekt information men samtidigt innehålla en enda avgörande detalj som är påhittad. Om resten av texten är välskriven kan användaren lätt anta att även den felaktiga uppgiften är riktig. AI-system kan dessutom uttrycka osäkra påståenden med samma självsäkra ton som verifierade fakta. Språkets säkerhet blir därmed ingen garanti för innehållets riktighet.

Det är också viktigt att skilja mellan olika typer av fel. Ibland handlar hallucinationen om ett sakfel, medan den i andra fall består av en felaktig källa eller en påhittad hänvisning. Modellen kan exempelvis hänvisa till en studie som inte existerar eller tillskriva en verklig forskare ett uttalande som personen aldrig har gjort. Ju mer specialiserat området är, desto större anledning finns det att kontrollera informationen. Mänsklig granskning och externa källor spelar därför fortfarande en viktig roll.

Kan AI själv upptäcka felaktiga svar?

Frågan om AI kan upptäcka sina egna hallucinationer är mer komplicerad än den först verkar. Ett AI-system kan tränas för att bedöma sannolikheten att ett svar innehåller fel och kan ibland identifiera motsägelser, osäkerhet eller svagt underbyggda påståenden. Det betyder dock inte att modellen automatiskt vet när den har fel. Om samma begränsade kunskap ligger bakom både svaret och kontrollen kan systemet missa hallucinationen. Förmågan att granska sitt eget svar beror därför mycket på vilken information och vilka kontrollmekanismer modellen har tillgång till.

Självkontroll kan avslöja vissa fel

En vanlig metod är att låta AI-modellen granska ett svar efter att det har genererats. Modellen kan exempelvis få i uppgift att identifiera påståenden som verkar osäkra, kontrollera om olika delar av svaret motsäger varandra eller formulera argument för och emot ett påstående. Den här typen av självkritik kan förbättra kvaliteten i vissa situationer. Om modellen upptäcker att ett datum inte passar ihop med resten av informationen kan den exempelvis korrigera sitt ursprungliga svar.

Problemet är att modellen kan använda samma felaktiga antagande under kontrollen som den gjorde när svaret skapades. Om den exempelvis har hittat på en person kan den vid en andra granskning fortfarande behandla personen som verklig. Självkontroll är därför inte samma sak som oberoende faktagranskning. Metoden fungerar bättre när AI:n får tillgång till ytterligare information eller separata kontrollsystem. Ju mer oberoende kontrollen är från den ursprungliga genereringen, desto större möjlighet finns att upptäcka fel.

Externa källor stärker kontrollen

En betydligt mer robust metod är att kombinera språkmodellen med externa informationskällor. AI:n kan då först formulera ett svar och därefter jämföra viktiga påståenden med exempelvis databaser, dokument eller andra verifierbara källor. Om uppgifterna inte stämmer överens kan systemet markera dem för ytterligare granskning. Denna princip används bland annat i system där AI får söka efter relevant information innan ett slutligt svar formuleras. Då behöver modellen inte enbart förlita sig på vad den har lärt sig under träningen.

Samtidigt löser externa källor inte alla problem. Källorna kan vara felaktiga, inaktuella eller tvetydiga, och AI:n måste fortfarande tolka innehållet korrekt. Ett system kan också välja en källa som verkar relevant men egentligen inte stöder påståendet. Därför behöver kontrollprocessen ta hänsyn till både källans kvalitet och hur väl informationen faktiskt motsvarar svaret. AI kan alltså hjälpa till att upptäcka sina egna hallucinationer, men resultatet blir betydligt mer tillförlitligt när kontrollen bygger på oberoende och verifierbar information.

Metoder för att minska och identifiera hallucinationer

Att minska AI-hallucinationer handlar inte om en enda teknisk lösning. I stället används flera metoder som angriper problemet från olika håll. AI-modeller kan tränas för att bättre uttrycka osäkerhet, få tillgång till aktuella källor och instrueras att inte svara när underlaget är otillräckligt. Dessutom kan särskilda kontrollsystem granska modellens påståenden innan användaren får det slutliga svaret. Målet är inte bara att få modellen att skriva bättre, utan att göra det svårare för felaktig information att passera obemärkt.

Att lära AI att uttrycka osäkerhet

En viktig strategi är att utveckla modeller som bättre kan skilja mellan säkra och osäkra svar. Om systemet inte har tillräckligt med information kan det i stället för att gissa ange att uppgiften är osäker. Detta kan verka enkelt, men är tekniskt krävande eftersom språkmodeller ofta är optimerade för att ge användbara svar. En modell behöver därför lära sig att osäkerhet ibland är ett bättre resultat än en detaljerad men felaktig förklaring. Det kan minska antalet situationer där modellen fyller informationsluckor med påhitt.

Andra metoder fokuserar på att analysera hur modellen kommer fram till sina svar. Genom att undersöka flera möjliga svar eller jämföra olika formuleringar kan systemet identifiera situationer där modellen ger motsägelsefulla resultat. Om samma fråga leder till flera tydligt olika svar kan det vara en signal om låg säkerhet. Sådana tekniker kan användas som varningssystem, men de garanterar inte att det mest konsekventa svaret är det korrekta. Även ett konsekvent svar kan bygga på en felaktig premiss.

Kontroll genom sökning och verifiering

Ett annat viktigt angreppssätt är att låta AI använda informationssökning och källkontroll. I stället för att enbart generera ett svar från tidigare träningsdata kan modellen hämta relevant information och använda den som grund. Detta är särskilt användbart när frågan gäller aktuella händelser, statistik, lagstiftning eller andra områden där informationen förändras över tid. Genom att koppla svaret till konkreta källor blir det dessutom lättare för användaren att själv kontrollera uppgifterna.

Tekniska system kan också dela upp svaret i enskilda påståenden och kontrollera dem separat. Ett längre svar kan exempelvis innehålla flera faktapåståenden där vissa är korrekta och andra tveksamma. Genom att granska varje centralt påstående ökar möjligheten att hitta specifika fel. Kontroll kan ske genom databaser, dokument eller andra modeller som har en separat funktion för verifiering. Ändå krävs försiktighet. Ingen automatiserad metod är felfri, och även avancerade system kan missa subtila fel eller felaktigt godkänna information som verkar trovärdig.