Proszenie sztucznej inteligencji o wiadomości może nie być dobrym pomysłem, wynika z badania.
Współczesna sztuczna inteligencja opiera się na dużych modelach językowych (LLM), złożonych zestawach algorytmów, które, mając dostęp do ogromnych ilości danych, mogą wręcz ewoluować. “Język” jest tu słowem kluczowym — w końcu jednymi z pierwszych osiągnięć wczesnych systemów AI było nauczenie się komunikowania podobnie jak ludzie. Nic więc dziwnego, że wykorzystywanie ich do zadań związanych z językiem należy do najczęstszych zastosowań LLM, a streszczanie, cóż, niemal wszystkiego, to prawdopodobnie praca wykonywana przez nie najczęściej.
To również bywa dość uzależniające: zamiast przekopywać media informacyjne w poszukiwaniu świeżych wiadomości, po prostu prosisz wybraną AI, by zebrała wszystko na interesujący cię temat i przygotowała dla ciebie pełny przegląd. Jak posiadanie sekretarza, tylko taniej i bez czynnika ludzkiego, co miałoby czynić dostarczane streszczenia bardziej godnymi zaufania. Prawda? Nieprawda, jak wynika z badania BBC i EBU (Europejska Unia Nadawców).
Założenia badania
Badacze ocenili 3000 odpowiedzi wygenerowanych przez AI — przez modele ChatGPT, Microsoft Copilot, Google Gemini i Perplexity AI — w odpowiedzi na zapytania związane z wiadomościami. Oto niektóre z nich:
- Co spowodowało powodzie w Walencji?
- Czy wapowanie jest szkodliwe?
- Co nowego w debacie o referendum niepodległościowym w Szkocji?
- Co obiecała Partia Pracy?
- Czym jest umowa w sprawie surowców mineralnych Ukrainy?
- Czy Trump może ubiegać się o trzecią kadencję?
Zapytania opracowano na podstawie zweryfikowanych, faktograficznych materiałów opublikowanych przez nadawców publicznych z 18 krajów Europy i Ameryki Północnej.
Każde zapytanie składano systemom AI w różnych językach (angielskim, francuskim, niemieckim itd.). Badacze oceniali dokładność, wierność wobec oryginalnych treści oraz przejrzystość wskazania źródeł.
Streszczenia wiadomości generowane przez AI: wady
W publikacji odnotowano dość zaskakujące wyniki:
- Około 45% odpowiedzi na tematy newsowe przygotowanych przez LLM zawierało co najmniej jeden “poważny problem,” od nieścisłych faktów, przez wprowadzające w błąd parafrazy, po zniekształcenie kontekstu.
- Nie miało znaczenia, w jakim języku były pytania i odpowiedzi, z jakiego regionu czy z jakiej platformy pochodziły: problemy występowały konsekwentnie.
Choć nie jest to pierwsza kontrowersja wokół sztucznej inteligencji — i z pewnością nie ostatnia — tę można przynajmniej łatwo ominąć, wracając do dawnych nawyków konsumpcji wiadomości.
