Kiek dažnai jums meluoja “ ChatGPT”?

Praėjusią savaitę “Tow” skaitmeninės žurnalistikos centras paskelbė tyrimą, kuriame nagrinėjama, kaip dirbtinio intelekto pokalbių robotai pateikia išorinių šaltinių informaciją. Tyrimo išvados kelia susidomėjimą arba, sakykime tiesiai šviesiai - nerimą.

Išvados rodo, kad vis dar esame priklausomi nuo generatyvinio dirbtinio intelekto įrankio polinkio kurti išgalvotą informaciją.

Kolumbijos žurnalistikos mokykloje atliktas tyrimas analizavo citatas, kurias sukūrė ChatGPT, kai šio įrankio buvo paprašyta nurodyti citatų šaltinius, kaip pavyzdžius, paimtus iš įvairių leidėjų – kai kurie jų, beje, turėjo sudarę sutartis su „OpenAI“, kai kurie to neturėjo.

Tyrimo metu buvo paimta po 10 citatų iš kiekvieno iš 20-ies atsitiktinai atrinktų leidėjų (viso – 200 šaltinių). Tarp jų buvo straipsniai iš „The New York Times“ (kurie, beje, šiuo metu bylinėjasi su „OpenAI“ dėl autorių teisių pažeidimo), „The Washington Post“ (nepriklausomas nuo ChatGPT), „The Financial Times“ (turintis licencijavimo sutartį su Chat-GPT) ir kitų.

„Pasirinkome citatas, kurios, jei būtų įklijuotos į „Google“ ar „Bing“, pateiktų šaltinio straipsnį tarp trijų pirmųjų rezultatų, ir vertinome, ar „OpenAI“ nauja paieškos priemonė tiksliai nurodys straipsnį, kuris buvo tos citatos šaltinis“, – savo tinklaraščio įraše, aiškindami metodiką ir apibendrindami rezultatus, rašė “Tow” tyrėjai.

„Mūsų testai parodė, kad nė vienas leidėjas – nepriklausomai nuo jų ryšio su „OpenAI“ – nebuvo apsaugotas nuo netikslių jų turinio citavimų per ChatGPT“.

Dar šiek tiek apie nepatikimas citatas:

Tyrėjai pranešė apie „daugybę“ atvejų, kai ChatGPT netiksliai citavo leidėjų turinį, taip pat pastebėjo, kad atsakymų tikslumas kai kur skyrėsi ženkliai. Nors kai kurios citatos buvo visiškai tikslios (t.y. tiksliai nurodytas kūrėjas, data ir nuoroda), daug buvo visiškai neteisingų arba dalinai neteisingų citatų, kūrėjų bei nuorodų.

Trumpai tariant, ChatGPT pateikiamos citatos yra nepastovios ir nepatikimos. Tyrėjai taip pat pastebėjo, kad labai retai pokalbių robotas rodė kokias nors abejones dėl savo atsakymų, net jei tie atsakymai - klaidingi.

Kai kurios citatos buvo iš šaltinių, kurie aktyviai blokuodavo „OpenAI“ paieškos robotus. Tokiais atvejais tyrėjai tikėjosi, kad bus sunku tiksliai identifikuoti šaltinius. Tačiau jie pastebėjo, kad šis scenarijus iškėlė kitą problemą – pokalbių robotas „retai“ pripažindavo, kad negali pateikti atsakymo, vietoje to kurdamas išgalvotus šaltinius.

„Iš viso ChatGPT pateikė dalinai ar visiškai neteisingus atsakymus 153 kartus, o pripažino savo nesugebėjimą tiksliai atsakyti tik 7-iais atvejais“, – teigė tyrėjai. „Tik tuose septyniuose atsakymuose pokalbių robotas naudojo tokius žodžius kaip „atrodo“, „galimai“ ar „gali būti“, arba konkrečias frazes, kaip „nepavyko rasti tikslaus straipsnio“.“

Panašu, kad ChatGPT skaidrumo trūkumas apie atsakymų tikslumo lygį apsunkina vartotojams galimybę įvertinti gautų atsakymų pagrįstumą ir suprasti, kuriomis atsakymo dalimis galima pasitikėti, o kuriomis – ne.

Turinio kūrėjams tai gali kelti reputacijos riziką dėl neteisingų citatų bei komercinę riziką, jei skaitytojai bus nukreipiami į kitas svetaines ir kitus šaltinius.

Plagiavimo problema

Tyrimas taip pat pabrėžia problemą, jog ChatGPT gali kurti plagiatą. Tyrėjai pateikia atvejį, kai ChatGPT klaidingai nurodė svetainę, kuri plagijavo straipsnį iš „The New York Times“, ir tai pristatė, kaip „The New York Times“ straipsnio šaltinį. Jie spėja, kad šis atsakymas galėjo atsirasti dėl to, kad pokalbių robotas negalėjo pasiekti „The New York Times“ svetainės ir užpildė informaciją naudodamas plagiatu paremtą šaltinį.

„Tai kelia rimtų klausimų apie „OpenAI“ gebėjimą filtruoti ir vertinti savo duomenų šaltinių kokybę bei autentiškumą, ypač dirbant su nelicencijuotu ar plagijuotu turiniu“, – teigia tyrėjai.

Beje, net ir leidėjai, sudarę sutartis su „OpenAI“, nėra apsaugoti nuo netikslių citatų. Tyrimo duomenimis, ChatGPT citatos ne visada buvo tikslios net ir jų atveju.

Kontrolės trūkumas

Jei žiniasklaidos verslai tikėjosi, kad susitarimai su „OpenAI“ lems geresnį jų turinio traktavimą, pavyzdžiui, tikslesnes citatas, šis tyrimas parodė, kad anaiptol.

Tuo tarpu leidėjams, neturintiems licencijavimo sutarčių, bet taip pat neblokuojantiems „OpenAI“ paieškos robotų, tyrimas taip pat yra į pesimistiškesnę pusę - citatos gali būti netikslios ir jų atveju.

Kitaip tariant, nėra jokios garantijos, kad leidėjai bus matomi „OpenAI“ paieškos sistemoje net ir leidžiant jų robotams indeksuoti turinį.

Galime daryti išvadą, kad šiuo metu leidėjai turi mažai kontrolės dėl to, kas vyksta su jų turiniu, kai jį naudoja ChatGPT tiesiogiai ar ne.

OpenAI atsakas, nenustebino: „Mes palaikome kūrėjus, padėdami 250-iai savaitinių ChatGPT vartotojų atrasti kokybišką turinį per santraukas, citatas, aiškias nuorodas ir t.t.“, – teigė „OpenAI“, pridurdami: “Mes ir toliau tobulinsime paieškos rezultatus.“