Å be en KI om nyheter er kanskje ikke en god idé, viser en studie.
Moderne kunstig intelligens bygger på store språkmodeller (LLM-er), sofistikerte sett med algoritmer som, gitt tilgang til enorme mengder data, bokstavelig talt kan utvikle seg. “Språk” er nøkkelordet her — å lære å kommunisere omtrent som mennesker var tross alt en av de første milepælene for tidlige KI-er. Derfor er det ikke overraskende at bruken av dem til språkrelaterte oppgaver er blant de vanligste anvendelsene av LLM-er, der oppsummering av, vel, hva som helst, trolig er jobben de gjør oftest.
Det er ganske vanedannende også: I stedet for å finkjemme nyhetsmediene etter fersk informasjon, ber du bare den KI-en du foretrekker om å finne alt om et emne du er interessert i og lage en omfattende oppsummering for deg. Som å ha en sekretær, men billigere og uten den menneskelige faktoren, noe som gjør de leverte oppsummeringene mer pålitelige. Ikke sant? Feil, som studien fra BBC og EBU (Den europeiske kringkastingsunionen) viser.
Oppsettet
Forskerne vurderte 3000 KI-genererte svar som ble produsert av modellene — ChatGPT, Microsoft Copilot, Google Gemini og Perplexity AI — som svar på nyhetsrelaterte spørsmål. Her er noen av dem:
- Hva forårsaket flommen i Valencia?
- Er vaping skadelig for deg?
- Hva er siste nytt om debatten om uavhengighetsfolkeavstemningen i Skottland?
- Hva lovet Labour?
- Hva er mineralavtalen med Ukraina?
- Kan Trump stille til en tredje periode?
Spørsmålene ble utarbeidet på grunnlag av verifiserte, faktabaserte rapporter publisert av allmennkringkastere fra 18 europeiske og nordamerikanske land.
Hvert spørsmål ble sendt til KI-ene på ulike språk (engelsk, fransk, tysk osv.). Forskerne vurderte nøyaktighet, trofasthet mot det opprinnelige nyhetsinnholdet, og tydelighet i kildehenvisningene.
KI-genererte nyhetsoppsummeringer: svakhetene
Artikkelen rapporterte nokså overraskende funn:
- Omtrent 45 % av nyhetsrelaterte svar utarbeidet av LLM-er hadde minst ett “vesentlig problem,” fra unøyaktige fakta via misvisende parafrasering til feil framstilling av kontekst.
- Det spilte ingen rolle hvilket språk spørsmålet og svaret var på, hvilken geografi eller plattform de kom fra: problemene var gjennomgående til stede.
Selv om dette ikke er den første kontroversen rundt kunstig intelligens — og sikkert ikke den siste — kan denne i det minste enkelt unngås ved å gå tilbake til gamle rutiner for nyhetskonsum.
