Hallucineren bij AI: wat betekent het?

Hallucineren noemen we het als een chatbot (een taalmodel) een antwoord geeft dat overtuigend klinkt, maar niet klopt. Denk aan een verzonnen boektitel, een jaartal dat niet klopt of een rechtszaak die nooit bestond. De chatbot liegt niet: hij kiest woorden die waarschijnlijk passen, zonder te controleren of het waar is.

Waarom gebeurt het?

Een taalmodel kiest woord voor woord wat waarschijnlijk volgt. Dat doet hij op basis van patronen in heel veel tekst. Hij heeft geen ingebouwde feitencheck. Hij weet niet goed wat hij niet weet.

Voor het model is een passend antwoord hetzelfde soort ding als een waar antwoord.

Onderzoekers van OpenAI wijzen er ook op dat modellen in training en bij tests beloond worden voor gokken, meer dan voor “weet ik niet”. Zij beschrijven dat in Why language models hallucinate.

Kinderen zien dit zelf gebeuren in module 1. Daar telt Flap welk woord na welk woord komt. Vraagt een kind om een woord dat nooit in het verhaal stond, dan gokt Flap toch, superzeker. Een echte chatbot werkt ongeveer zo, maar dan veel groter.

Een voorbeeld

Een verzonnen voorbeeld. Een kind vraagt een chatbot iets over een dier:

chatbot

Hoe oud kan een octopus worden?

Een octopus wordt wel 150 jaar oud. Dat weet ik zeker.

Andere voorbeelden zijn een verzonnen boektitel met schrijver en jaartal, een verzonnen rechtszaak of wetsartikel, en iets wat het model niet kan weten, zoals wat de juf vanochtend heeft gegeten. De chatbot geeft dan gewoon een antwoord.

Waarom klinkt het zo overtuigend?

Omdat het model geen verschil maakt tussen weten en raden. Het maakt een zin die past. Een fout antwoord klinkt vaak net zo zeker als een goed antwoord, zonder waarschuwing en zonder aarzeling. Daarom helpt de toon je niet bij het beoordelen.

Dit is de kernzin voor kinderen: zeker klinken zegt niets over of het klopt. In module 3 heeft Flap ook weleens gelijk, bijvoorbeeld over de giraf. Je kunt het dus niet aan het antwoord zien.

Waar komt het woord vandaan?

Het Engelse “hallucinate” werd in 2023 door Cambridge Dictionary uitgeroepen tot woord van het jaar, vanwege de nieuwe betekenis voor AI. Je leest erover bij Cambridge English. Wie de term bedacht heeft, weten wij niet.

Niet iedereen vindt het een goed woord. Een model ziet niets, dus sommigen vinden “verzinnen” juister. In onze lessen gebruiken we beide: kinderen praten over verzinnen en leren daarnaast het woord hallucineren. Ze betekenen hetzelfde.

Wat helpt en wat helpt niet?

Wat helpt:

• Een tweede, onafhankelijke bron, of iemand die het weet, zoals de juf of de bibliotheek.
• Vragen naar bronnen. Zoek daarna zelf na of die bronnen bestaan, en of het er echt in staat. Kinderen doen dit samen met een volwassene.
• Extra alert zijn bij getallen, namen, citaten en jaartallen.

Wat niet helpt:

• De chatbot vragen: “Weet je het zeker?” Hij antwoordt dan vaak “honderd procent”. Hij kan zijn eigen antwoord niet controleren.
• Aannemen dat het opgelost is omdat de chatbot meezoekt. Dat verlaagt de kans, maar sluit hallucineren niet uit.

Wat zeg je beter niet in de klas?

• “AI liegt.” Liegen vraagt opzet. Een chatbot raadt en verzint. Zeg liever: “Hij verzint soms iets dat klinkt als een feit.”
• “AI is altijd fout.” Dat klopt niet, een chatbot heeft ook vaak gelijk. Zeg: “Soms klopt het, soms niet, en je hoort het niet aan het antwoord.”
• “Nieuwe versies hallucineren niet meer.” Zeg: “Minder vaak, maar nooit uitgesloten.”
• “Het klinkt zeker, dus het klopt.” Zeker klinken zegt niets over of het klopt.

Hallucineren in de klas

Module 1 is gratis en laat zien hoe een woordmachine kiest. Na module 1 en 2 volgt module 3, De machine crasht, die met een schoolcode werkt. In die les gebeurt dit:

1. Flap leert rijden door te kijken. Hij rijdt perfect op een droge baan en crasht op sneeuw, terwijl hij “97% zeker” is.
2. In duo’s beoordelen kinderen vier antwoorden van Flap (in groep 5-6 drie): Klopt of Verzonnen.
3. Keuzeverhaal “Professor Zeker”: Sam maakt een spreekbeurt over de octopus. Een chatbot noemt een verzonnen boek en “150 jaar”.
4. De klas kiest op drie momenten wat Sam doet (in groep 5-6 twee keer). Aan de chatbot vragen “Weet je het zeker?” helpt niet. Een tweede bron, de juf of de bibliotheek wel.
5. Slot: “Zeker klinken zegt niets over of het klopt.” Het woord hallucineren valt aan het eind (in groep 7-8 kwam het in module 1 al langs).

Het is een gesloten simulatie: er wordt niets verstuurd.

Voor groep 5-6 is er een aparte variant van module 3 (?groep=56). Die heeft kortere zinnen, grotere letters en knoppen, en “SUPERZEKER” zonder percentage. Elke crash wacht op een klik, dus er zijn geen timers. Je leest belangrijke ballonnen voor. Het woord hallucineren komt pas in les 3 aan bod. Je zegt erbij dat veel chatbots voor oudere kinderen bedoeld zijn en dat je ze samen met een volwassene gebruikt.

En echte chatbots?

Slimmer dan AI stuurt kinderen niet naar een echte chatbot. De lessen gebruiken alleen Flap. Veel chatbots hebben een minimumleeftijd: kijk in de voorwaarden van de aanbieder en naar het beleid van je school. Wat kinderen leren geldt voor elke chatbot: zeker klinken zegt niets over of het klopt. Bij twijfel vragen ze een volwassene. Meer over de lesopzet per groep lees je bij een les over AI.

Veelgestelde vragen