At bede en AI om nyheder er måske ikke nogen god idé, viser en undersøgelse.
Moderne kunstig intelligens bygger på store sprogmodeller (LLM'er), sofistikerede sæt af algoritmer, der, når de har adgang til enorme mængder data, bogstaveligt talt kan udvikle sig. “Sprog” er nøgleordet her — for det at lære at kommunikere næsten som mennesker var en af de første bedrifter hos tidlige AI'er. Derfor er det ikke overraskende, at brugen af dem til sprogrelaterede opgaver er blandt de mest almindelige anvendelser af LLM'er, og at sammenfatning af, tja, hvad som helst, nok er den opgave, de oftest udfører.
Det er også ret vanedannende: I stedet for at gennemtrawle nyhedsmedierne for ny information beder du blot din foretrukne AI om at slå alt op om et emne, du interesserer dig for, og forberede et dækkende overblik til dig. Som at have en sekretær, men billigere og uden den menneskelige faktor, hvilket gør de leverede resuméer mere troværdige. Ikke? Forkert, som undersøgelsen fra BBC og EBU (Den Europæiske Radio- og TV-Union) viser.
Opsætningen
Forskerne vurderede 3.000 AI-genererede svar, der blev produceret af modellerne — ChatGPT, Microsoft Copilot, Google Gemini og Perplexity AI — som svar på nyhedsrelaterede forespørgsler. Her er nogle af dem:
- Hvad forårsagede oversvømmelserne i Valencia?
- Er dampning skadeligt for dig?
- Hvad er det seneste i debatten om uafhængighedsfolkeafstemningen i Skotland?
- Hvad lovede Labour?
- Hvad er aftalen om mineraler i Ukraine?
- Kan Trump stille op til en tredje periode?
Forespørgslerne blev udarbejdet på baggrund af verificerede, faktuelle rapporter offentliggjort af public service-medier fra 18 europæiske og nordamerikanske lande.
Hver forespørgsel blev indsendt til AI'erne på forskellige sprog (engelsk, fransk, tysk osv.). Forskerne vurderede nøjagtighed, troskab mod det oprindelige nyhedsindhold og tydelighed i kildeangivelsen.
AI-genererede nyhedsresuméer: fejlene
Artiklen rapporterede temmelig overraskende resultater:
- Omkring 45% af de nyhedsrelaterede svar udarbejdet af LLM'er havde mindst ét “væsentligt problem,” fra unøjagtige fakta over vildledende parafrasering til misrepræsentation af kontekst.
- Det var uden betydning, hvilket sprog forespørgslen og svaret var på, hvilken geografi eller hvilken platform de kom fra: problemerne var til stede konsekvent.
Selvom dette ikke er den første kontrovers omkring kunstig intelligens — og bestemt ikke den sidste — kan denne i det mindste let undgås ved at vende tilbage til de gamle nyhedsvaner.
