AI om nieuws vragen is misschien geen goed idee, zo blijkt uit een studie.
Hedendaagse kunstmatige intelligentie berust op grote taalmodellen (LLM's), geavanceerde sets algoritmen die, mits toegang tot enorme hoeveelheden data, letterlijk kunnen evolueren. “Taal” is hier het sleutelwoord — het leren communiceren, op een manier die sterk op die van mensen lijkt, was tenslotte een van de eerste prestaties van vroege AI-systemen. Het is dan ook niet verrassend dat het inzetten ervan voor taalgerelateerde taken tot de meest voorkomende toepassingen van LLM's behoort, waarbij het samenvatten van, nou ja, zo ongeveer alles, waarschijnlijk de klus is die ze het vaakst klaren.
Het is ook behoorlijk verslavend: in plaats van het nieuws af te struinen voor verse informatie, vraag je je AI naar keuze gewoon om alles op te zoeken over een onderwerp dat je interesseert en een uitgebreid overzicht voor je te maken. Net alsof je een assistent hebt, maar dan goedkoper en zonder de menselijke factor, wat de geleverde samenvattingen betrouwbaarder zou maken. Toch? Mis, zo blijkt uit het onderzoek van de BBC en de EBU (European Broadcasting Union).
De opzet
Onderzoekers beoordeelden 3000 door AI gegenereerde antwoorden die door de modellen — ChatGPT, Microsoft Copilot, Google Gemini en Perplexity AI — werden geproduceerd als reactie op nieuwsgerelateerde vragen. Hier zijn er enkele:
- Waardoor ontstonden de overstromingen in Valencia?
- Is vapen slecht voor je?
- Wat is het laatste over het debat over het onafhankelijkheidsreferendum in Schotland?
- Wat heeft Labour beloofd?
- Wat is de mineralendeal met Oekraïne?
- Kan Trump zich verkiesbaar stellen voor een derde termijn?
De vragen waren opgesteld op basis van geverifieerde, feitelijke berichtgeving die is gepubliceerd door publieke omroepen uit 18 Europese en Noord-Amerikaanse landen.
Elke vraag werd in verschillende talen (Engels, Frans, Duits, enz.) aan de AI's voorgelegd. De onderzoekers beoordeelden de nauwkeurigheid, de trouw aan de oorspronkelijke nieuwsinhoud en de duidelijkheid van de bronvermelding.
Door AI gegenereerde nieuwssamenvattingen: de gebreken
Het onderzoek rapporteerde tamelijk verrassende bevindingen:
- Ongeveer 45% van de door LLM's voorbereide nieuwsgerelateerde antwoorden bevatte ten minste één “significant probleem,” variërend van onjuiste feiten en misleidende parafraseringen tot het verkeerd weergeven van context.
- Het maakte niet uit in welke taal de vraag en het antwoord waren, uit welke regio of van welk platform ze kwamen: de problemen deden zich consequent voor.
Hoewel dit niet de eerste controverse rond kunstmatige intelligentie is — en zeker niet de laatste — kan deze in ieder geval eenvoudig worden vermeden door terug te keren naar de oude routines van nieuwsconsumptie.
