Att be en AI om nyheter är kanske ingen bra idé, visar en studie.
Modern artificiell intelligens bygger på stora språkmodeller (LLM:er), sofistikerade uppsättningar algoritmer som, med tillgång till enorma mängder data, bokstavligen kan utvecklas. ”Språk” är nyckelordet här — att lära sig att kommunicera ungefär som människor var trots allt en av de första bedrifterna för tidiga AI-system. Det är därför inte förvånande att användningen av dem för språkrelaterade uppgifter är en av de vanligaste tillämpningarna av LLM:er, där sammanfattning av, tja, nästan vad som helst, förmodligen är den uppgift de utför oftast.
Det är ganska beroendeframkallande också: i stället för att finkamma nyhetsmedierna efter färsk information ber du helt enkelt din valda AI att ta reda på allt om ett ämne du är intresserad av och ta fram en heltäckande sammanställning åt dig. Som att ha en sekreterare, fast billigare och utan den mänskliga faktorn, vilket gör de tillhandahållna sammanfattningarna mer tillförlitliga. Eller? Fel, visar studien från BBC och EBU (Europeiska radio- och TV-unionen).
Upplägget
Forskarna bedömde 3000 AI-genererade svar som producerades av modellerna — ChatGPT, Microsoft Copilot, Google Gemini och Perplexity AI — som svar på nyhetsrelaterade frågor. Här är några av dem:
- Vad orsakade översvämningarna i Valencia?
- Är vejping skadligt för dig?
- Vad är det senaste i debatten om självständighetsfolkomröstningen i Skottland?
- Vad lovade Labour?
- Vad är Ukrainas mineralavtal?
- Kan Trump ställa upp för en tredje mandatperiod?
Frågorna utformades utifrån verifierade, faktabaserade rapporter som publicerats av public service-bolag från 18 europeiska och nordamerikanska länder.
Varje fråga skickades till AI:erna på olika språk (engelska, franska, tyska osv.). Forskarna bedömde korrekthet, trohet mot det ursprungliga nyhetsinnehållet och tydlighet i källredovisningen.
AI-genererade nyhetssammanfattningar: bristerna
Artikeln redovisade ganska förvånande resultat:
- Cirka 45 % av nyhetsrelaterade svar som LLM:er tog fram hade minst ett “betydande problem”, från felaktiga fakta, via vilseledande parafrasering, till missvisande kontext.
- Det spelade ingen roll vilket språk frågan och svaret var på, vilken geografi eller plattform de kom från: problemen förekom genomgående.
Detta är inte den första kontroversen kring artificiell intelligens — och knappast den sista — men just denna kan åtminstone enkelt undvikas genom att återgå till gamla nyhetsvanor.
