Сотрудники Центра цифровой журналистики Тоw при Колумбийском университете провели исследование и выяснили, что ИИ-поисковики допускают серьезные ошибки в цитировании источников.
Тесты восьми поисковых инструментов с генеративным ИИ показали, что они неправильно отвечают более чем на 60 % запросов о новостных источниках, передает incrussia.ru
Уровень ошибок существенно различается между платформами. Perplexity предоставлял неверную информацию в 37 % случаев, ChatGPT Search ошибался в 67 % запросов (134 из 200), а Grok 3 продемонстрировал наивысший показатель ошибок — 94 %. Исследователи выявили, что вместо отказа отвечать при отсутствии надежной информации ИИ-модели часто выдавали правдоподобно звучащие, но неверные ответы.
Платные версии этих сервисов оказались в некоторых аспектах еще хуже. Perplexity Pro ($20/месяц) и премиум-версия Grok 3 ($40/месяц) давали неправильные ответы чаще, чем их бесплатные аналоги.
Исследователи также обнаружили, что некоторые ИИ-инструменты игнорировали настройки Robot Exclusion Protocol, которые издатели используют для предотвращения несанкционированного доступа. Например, бесплатная версия Perplexity правильно идентифицировала все 10 фрагментов из материалов National Geographic, защищенных платным доступом, несмотря на то, что журнал явно запретил веб-краулерам Perplexity индексировать свой контент.
Другой серьезной проблемой оказалось создание ложных URL-адресов. Более половины ссылок от Google’s Gemini и Grok 3 вели пользователей на несуществующие или нерабочие URL. Из 200 протестированных ссылок от Grok 3, 154 оказались нерабочими.