Eine KI nach Nachrichten zu fragen, ist vielleicht keine gute Idee, zeigt eine Studie.
Die moderne künstliche Intelligenz stützt sich auf große Sprachmodelle (LLMs), ausgefeilte Algorithmenverbünde, die bei Zugriff auf enorme Datenmengen sich buchstäblich weiterentwickeln können. “Sprache” ist hier das Schlüsselwort — schließlich war das Erlernen einer menschenähnlichen Kommunikation eine der ersten Errungenschaften früher KI-Systeme. Daher ist es nicht überraschend, dass ihr Einsatz für sprachbezogene Aufgaben zu den häufigsten Anwendungen von LLMs gehört, wobei das Zusammenfassen von, nun ja, so ziemlich allem vermutlich die am häufigsten von ihnen erledigte Aufgabe ist.
Das ist zudem ziemlich verführerisch: Anstatt die Nachrichtenmedien nach frischen Informationen zu durchforsten, weist man die KI seiner Wahl einfach an, alles zu einem Thema von Interesse zu recherchieren und eine umfassende Zusammenfassung vorzubereiten. Wie eine Sekretärin zu haben, nur günstiger und ohne den Humanfaktor, was die gelieferten Zusammenfassungen vertrauenswürdiger macht. Oder? Falsch, wie die Studie von BBC und EBU (European Broadcasting Union) zeigt.
Der Versuchsaufbau
Die Forschenden bewerteten 3000 KI-generierte Antworten, die von den Modellen — ChatGPT, Microsoft Copilot, Google Gemini und Perplexity AI — auf nachrichtenbezogene Anfragen hin erzeugt wurden. Hier sind einige davon:
- Was verursachte die Überschwemmungen in Valencia?
- Ist Dampfen schädlich?
- Was ist der neueste Stand der Debatte über das Unabhängigkeitsreferendum in Schottland?
- Was hat Labour versprochen?
- Was ist das Mineralienabkommen der Ukraine?
- Kann Trump für eine dritte Amtszeit kandidieren?
Die Anfragen basierten auf verifizierten, faktenbasierten Berichten, die von öffentlich-rechtlichen Rundfunkanstalten aus 18 europäischen und nordamerikanischen Ländern veröffentlicht wurden.
Jede Anfrage wurde den KIs in verschiedenen Sprachen vorgelegt (Englisch, Französisch, Deutsch usw.). Die Forschenden bewerteten Genauigkeit, Treue zum ursprünglichen Nachrichteninhalt und Transparenz der Quellenangaben.
KI-generierte Nachrichten-Zusammenfassungen: die Mängel
Die Studie berichtete über recht überraschende Ergebnisse:
- Etwa 45 % der nachrichtenbezogenen Antworten, die von LLMs erstellt wurden, wiesen mindestens ein “erhebliches Problem” auf, von ungenauen Fakten über irreführende Paraphrasen bis hin zu Kontextverzerrungen.
- Es spielte keine Rolle, in welcher Sprache Anfrage und Antwort verfasst waren, aus welcher Region oder von welcher Plattform sie stammten: Die Probleme traten durchgängig auf.
Dies ist zwar nicht die erste Kontroverse rund um künstliche Intelligenz — und gewiss nicht die letzte — doch lässt sie sich zumindest leicht vermeiden, indem man zu den alten Routinen des Nachrichtenkonsums zurückkehrt.
