Якщо користувач запитує у ChatGPT актуальну інформацію

Якщо користувач запитує у ChatGPT актуальну інформацію, наприклад, про економічну ситуацію в Іспанії, помічник відповість розгорнутим резюме та цитатами з інформаційних агентств, таких як Reuters, або ЗМІ, як The Guardian. Однак, якщо зробити навпаки, все ускладнюється. Якщо в новому вікні взяти фрагмент з однієї з новин, процитованих ШІ, і попросити чат-бота OpenAI ідентифікувати джерело цих рядків, найімовірніше, він помилиться і припише це комусь іншому.

Те саме відбувається принаймні з сімома іншими чат-ботами: Perplexity, Perplexity Pro, DeepSeek, Copilot, Grok2, Grok3 і Gemini. Якщо попросити будь-якого з цих помічників назвати джерело новини, існує велика ймовірність того, що вони дадуть «самовпевнено неправильну» відповідь, згідно з дослідженням, опублікованим минулого березня в академічному журналі Columbia Journalism Review Колумбійського університету (Нью-Йорк).

AI Search Has A Citation Problem

У роботі під назвою AI Search Has A Citation Problem («Пошук за допомогою штучного інтелекту має проблему з цитуванням»), авторки Клаудія Язьвінська та Айшварія Чандрасекар протестували ці вісім чат-ботів, використовуючи 200 статей з 20 різних ЗМІ. З кожної статті вони вручну витягували фрагмент, який використовували як запит. Вони зробили 1600 запитів і попросили кожен чат-бот ідентифікувати заголовок статті, оригінальне джерело, дату публікації та відповідне посилання. Результат був переконливим: понад 60% відповідей були неправильними. Рівень помилок варіювався між платформами: найменший був у Perplexity (37% помилок), а найбільший – у Grok3, розробленого Ілоном Маском (94% помилок).

«Спостереження були майже однаковими у всіх випадках», — каже Чандрасекар в відеодзвінку Джерело новини. Але кінцевою метою, за словами дослідниці, було не вказати, чи результати одного чат-бота були кращими чи гіршими порівняно з іншими, а «побачити, наскільки ті самі проблеми поширені на всіх цих інших платформах». Язьвінська додає: «Ми працювали над розробкою експерименту, який дозволив би нам систематично перевіряти ефективність чат-ботів і перевіряти, наскільки ЗМІ та автори дійсно контролюють свій контент».

Підписки не покращують ситуацію. Як зазначають авторки, більшість чат-ботів давали неправдиві відповіді, «не вказуючи на сумніви чи обмеження». ChatGPT, наприклад, дав неправильні відповіді 134 рази, але лише в 15 випадках виявив невпевненість. Платні моделі, які пропонують ці платформи, також не гарантують кращих відповідей. «Багато чат-ботів цитували неправильні статті, повторно опубліковані версії або вигадували неіснуючі посилання», — йдеться в статті. Grok-3, зокрема, використав 154 неробочі посилання у 200 відповідях. «Ця проблема впливає на здатність користувачів перевіряти джерела», — пишуть експерти.

Щодо платних версій чат-ботів, дослідниці кажуть, що їх здивувало те, як в деяких випадках вони робили більше помилок, ніж безкоштовні версії, як це було у випадку з Perplexity і Grok. «Оплата за продукт не гарантує нічого, крім впевненішої мови», — зазначає Язьвінська. Альянси з ЗМІ, які мають деякі компанії, як-от OpenAI з Time, The Guardian або Reuters, також не гарантують точності відповідей. Наприклад, ChatGPT правильно ідентифікував лише одну з 10 статей San Francisco Chronicle, одного з партнерів OpenAI.

За словами дослідниць, те, що користувач бачить логотипи ЗМІ в неправильних відповідях чат-ботів, призводить до «дезінформації з виглядом авторитетності» і ставить під сумнів довіру обох сторін. «Коли чат-бот цитує ЗМІ для легітимізації неправильних відповідей, це також шкодить репутації цих ЗМІ», — йдеться в статті. «Поточна модель дуже ускладнює для користувачів аналіз того, що є правдою, а що ні. Основна проблема тут полягає в тому, що люди використовують ці інструменти, думаючи, що все, що вони читають, є правдою, і не підходять до цього зі скептицизмом», — зазначає Чандрасекар.

Втрата контролю над контентом

Дослідження Columbia показує, що чат-боти «значною мірою живляться контентом, створеним ЗМІ», але ці інструменти «не лише не перенаправляють веб-трафік до оригінальних джерел, але й перефразовують і представляють інформацію непрозоро, не приписуючи її належним чином авторам». Це призводить до «втрати контролю» з боку ЗМІ, які не можуть перешкодити «використанню або перекручуванню» їхнього контенту, навіть якщо вони блокують веб-сканери.

На думку дослідниць, компанії, що займаються штучним інтелектом, не продемонстрували «твердої прихильності» до інформаційної точності та поваги до політики виключення роботів у мережі. Це стосується того, як кожен веб-сайт може визначити, чи може сканер отримувати доступ до його вмісту.

«Ми налаштували наш експеримент, щоб побачити, чи чат-боти, здавалося, поважають цей протокол. І ми зрозуміли, що вони отримували доступ до веб-сайтів, до яких не мали б, якби ми їх попросили», — додає Язьвінська. Дослідниця вважає, що це, принаймні в її країні, є незаконним: «У Сполучених Штатах компанії, що займаються штучним інтелектом, які навчали свої моделі на журналістському контенті, порушили закон, порушили авторські права і повинні якось компенсувати авторам».

Tendencias — це проєкт Джерело новини, за допомогою якого газета прагне розпочати постійну розмову про великі виклики майбутнього, з якими стикається наше суспільство. Ініціатива спонсорується Abertis, Enagás, EY, GroupM, Iberdrola, Iberia, Mapfre, Організацією іберо-американських держав (OEI), Redeia та Santander і стратегічним партнером Oliver Wyman.

Ви можете підписатися тут, щоб щовівторка отримувати тижневий інформаційний бюлетень Джерело новини Tendencias від журналіста Хав'єра Сампєдро.