ChatGPT czy wyszukiwarka?

Shiri Melumad i Jin Ho Yun z University of Pennsylvania (USA) przeprowadzili siedem eksperymentów z udziałem tysięcy uczestników online, którzy zostali losowo przydzieleni do nauki różnych tematów, takich jak zakładanie ogrodu warzywnego, prowadzenie zdrowszego stylu życia czy radzenie sobie z oszustwami finansowymi, korzystając z dużych modeli językowych (LLM) lub tradycyjnych linków wyszukiwarki Google.

Wzbogaceni nabytą wiedzą uczestnicy wystąpili następnie w roli ekspertów, pisząc porady. Osoby korzystające z modeli LLM poświęcały mniej czasu na interakcję z wynikami wyszukiwania i deklarowały, że zdobyły płytszą wiedzę w porównaniu z osobami korzystającymi z linków internetowych, nawet gdy fakty były identyczne.

Podczas tworzenia porad użytkownicy modeli LLM wkładali mniej wysiłku i tworzyli treści, które były obiektywnie krótsze, zawierały mniej odniesień do faktów, a także były mniej oryginalne - wykazywały większe podobieństwo do porad innych uczestników.

Oceną porad zajęło się 1501 niezależnych odbiorców, którzy nie wiedzieli, skąd pochodzą oceniane treści. Porady napisane dzięki wiedzy nabytej z pomocą LLM zostały ocenione jako mniej pomocne, mniej pouczające i mniej wiarygodne w porównaniu z poradami opartymi na wyszukiwaniu w internecie, toteż oceniający byli mniej skłonni do korzystania z porad osób korzystających z pomocy LLM.

Jak wskazują autorzy, chociaż LLM są niewątpliwie skuteczne, poleganie na wstępnie zsyntetyzowanych podsumowaniach może przekształcić naukę z aktywnego poszukiwania w bierność. LLM są zatem potencjalnie mniej przydatne niż wyszukiwanie w internecie, jeśli celem jest rozwijanie wiedzy proceduralnej - zrozumienia, jak faktycznie coś zrobić.

Paweł Wernicki (PAP)