LLM's против поисковых систем: оценка пользовательских предпочтений в разных сценариях поиска информации

Исследование «Large Language Models vs. Search Engines: Evaluating User Preferences Across Varied Information Retrieval Scenarios» опубликовано на arXiv и посвящено сравнению пользовательских предпочтений при работе с поисковыми системами и большими языковыми моделями (LLM). В эксперименте участвовали 100 человек из США, которым предлагалось решить задачи в 20 сценариях поиска: от получения проверяемой фактологической информации (например, статистики или медицинских рекомендаций) до интерпретации сложных понятий простым языком, изучения новых навыков, историко-культурных запросов и повседневных прикладных задач.

Мы пытались связаться с автором, чтобы получить доступ к датасету, однако указанная почта оказалась недействительной, а сайт исследователя не работает. В результате — полного списка запросов и сырых данных исследования в открытом доступе нет.

Выводы и наблюдения

• Поисковые системы предпочтительнее, когда нужны проверяемые данные, статистика и широкий охват источников.
• LLM ценятся за скорость и удобство: ответы даются в диалоговой форме, проще для понимания.
• Пользователи считают поисковые системы более надежными при необходимости собрать разные точки зрения.
• LLM и поисковые системы — не взаимозаменяемые, а взаимодополняющие инструменты.
• Будущее поиска — гибридное: классический поиск + диалоговый формат. Такие модели уже тестируются и используются в Google и Яндексе.
• Доверие и проверка фактов: пользователи пока не готовы полагаться на нейросети в чувствительных областях (здоровье, финансы). Это подталкивает к развитию встроенных механизмов факт-чекинга в LLM.

В этом исследовании проведён всесторонний анализ предпочтений пользователей между поисковыми системами и большими языковыми моделями (LLMs) в контексте различных сценариев информационного поиска. Исследование выполнено на выборке из 100 интернет-пользователей (N = 100) из разных штатов США. Было рассмотрено 20 различных кейсов использования — от фактических запросов, таких как поиск руководств по COVID-19, до более субъективных задач, например, запроса толкований сложных понятий простым языком.

Участников просили указать, что они предпочли бы использовать в каждом сценарии: традиционную поисковую систему или языковую модель. Такой подход позволил получить тонкое понимание того, как пользователи воспринимают и используют эти два доминирующих цифровых инструмента в разных контекстах. Кейсы были специально подобраны так, чтобы охватить широкий спектр типичных онлайн-запросов, обеспечивая комплексный анализ пользовательских предпочтений.

Результаты выявляют интересные закономерности в выборе пользователей: явная склонность к поисковым системам при прямых, фактологических запросах, в то время как языковые модели чаще предпочитают для задач, требующих нюансированного понимания и работы с языком. Эти результаты дают ценные представления о текущем состоянии цифрового поиска информации и открывают путь для будущих инноваций в этой области.

Исследование не только показывает конкретные контексты, в которых один инструмент оказывается предпочтительнее другого, но и намекает на потенциал создания гибридных моделей, которые могли бы использовать сильные стороны как поисковых систем, так и языковых моделей. Полученные выводы важны для разработчиков, исследователей и политиков, поскольку помогают понять, как меняется ландшафт цифрового поиска информации и как пользователи взаимодействуют с этими технологиями.

В стремительно меняющемся пространстве информационных технологий мощь и потенциал поисковых систем и больших языковых моделей (LLMs) привлекают внимание пользователей по всему миру. Поскольку эти два доминантных инструмента конкурируют за первенство в задачах поиска информации, понимание пользовательских предпочтений при разнообразии сценариев становится крайне важным. Это исследование призвано пролить свет на этот критический поворотный момент в технологии, предложив всесторонний анализ выбора пользователей при наличии опций использования либо поисковых систем, либо LLMs в разных ситуациях. Исследование направлено следующими вопросами:

• RQ1: Когда перед пользователями встают разные информационные потребности — от последних рекомендаций по здравоохранению до понимания сложных научных концепций — предпочитают ли они способности поисковой системы или интерактивное взаимодействие, предлагаемое большой языковой моделью?
• RQ2: Какие закономерности выявляются в предпочтениях пользователей между поисковыми системами и LLMs, когда задачи включают разнообразную деятельность, такую как изучение новых навыков, поиск советов или работа с культурным и историческим содержанием?

Поисковые системы и большие языковые модели (LLMs) представляют собой два краеугольных столпа современного поиска информации, каждый из которых обладает своими преимуществами и ограничениями.

Поисковые системы, давним образом укоренившиеся в интернете, функционируют путём индексирования [1] огромных объёмов данных и предоставляют пользователям исчерпывающий список ресурсов в ответ на их запросы — они выступают в роли ворот к необъятным просторам сети, способных вернуть множество точек зрения по любой теме.

С другой стороны, LLMs — выраженные через их разговорную способность и возможности глубокого обучения [2] — предлагают более интерактивное и человечное взаимодействие: они синтезируют информацию и представляют её в контекстуально релевантном виде. Такое динамичное взаимодействие между алгоритмической точностью поисковых систем и развивающимся интеллектом LLMs составляет суть этого исследования.

В эпоху, отмеченной распространением дезинформации и misinformation [3], авторитет источника информации в утверждении того, что является точным, становится неоценимым. Есть огромная сила в источнике, который может указать, что правильно, а что нет — особенно в эпоху, когда ложная информация может быстро распространяться. Именно эта сила формирует доверие и надёжность, которые пользователи возлагают на эти инструменты. Поисковые системы, обладая способностью извлекать информацию из обширного и разнообразного массива контента, предлагают небывалую широту охвата. Однако обязанность проверять достоверность и оценивать надёжность этой информации часто лежит на самом пользователе. В то же время LLMs — со своими сложными алгоритмами — обещают упрощение и разъяснение содержимого, потенциально направляя пользователей более прямо к достоверной информации. Однако и они не освобождены от неточностей и предвзятостей [4], присущих обучению на больших и разнообразных наборах данных.

Сравнивая возможности поисковых систем и LLMs, это исследование стремится выявить тонкие аспекты каждого подхода и то, как пользователи ориентируются в этой области. Сравнительный анализ, проведённый в работе, не просто академическое упражнение; он имеет реальные последствия для того, как мы потребляем и доверяем информации, формирующей наши представления, решения и понимание мира. Путём изучения предпочтений интернет-пользователей в контролируемом исследовании, автор намерен внести существенный вклад в становление практик цифрового поиска информации.

Цель работы — обогатить дискурс о цифровом информационном поиске, предоставив эмпирические данные о процессах принятия решений пользователей. Также исследование стремится информировать разработчиков, исследователей и политиков о тех контекстах, в которых один инструмент оказывается предпочтительнее другого, что может влиять на будущее развитие этих технологий.

Структура статьи продумана так, чтобы обеспечить ясное понимание методологии и выводов. После этого введения рассматривается фон (Background), раскрывающий нюансы сравнения. Затем описывается исследовательская методология, что позволяет воспроизводимость и прозрачность. Далее следуют разделы с результатами, глубоким обсуждением их значимости, а также рассмотрением ограничений подхода. В заключении синтезируются основные идеи и намечаются направления будущих исследований в этой быстро развивающейся области.

Эволюция и влияние поисковых систем в информационном поиске

Поисковые системы являются краеугольным камнем современного поиска информации, развиваясь от простых систем, основанных на ключевых словах, до сложных алгоритмов, способных понимать намерения пользователя. Они работают путём сканирования интернета с целью создания индексов, которые затем сортируются и выдаются в ответ на запросы. Развитие этих платформ сыграло ключевую роль в формировании пользовательского поведения и ожиданий относительно того, как люди получают доступ к информации. Обсуждение также включает тонкости оптимизации под поисковые системы (SEO), практики, направленные на повышение видимости веб-контента в результатах поиска, и критическую роль поисковых систем в курировании надёжной информации как важного механизма борьбы с дезинформацией и ложной информацией.

Появление и возможности больших языковых моделей (LLMs)

Большие языковые модели, такие как GPT-3 от OpenAI, внесли интерактивное измерение в цифровой поиск информации благодаря их возможности понимать и генерировать текст, подобный человеческому. Их способность вступать в диалог и вырабатывать когерентные ответы основана на передовых методах машинного обучения, включая обработку естественного языка (NLP).

Рассматриваются их потенциальные применения, а также ограничения, такие как предубеждения, обусловленные тренировочными данными, чтобы представить сбалансированное представление о влиянии этой технологии на поиск информации.

C. Роль источников информации в эпоху дезинформации и misinformation

В цифровую эпоху достоверность источника информации крайне важна, особенно из-за быстрого распространения дезинформации и ложных сведений. Анализ рассматривает, как доверие к поисковым системам и LLM формируется в обществе, и как это влияет на восприятие информации. Поисковые системы, обладая способностью извлекать информацию из обширного и разнообразного массива контента, предлагают беспрецедентную широту охвата. Однако обязанность оценивать достоверность и надёжность этой информации часто ложится на пользователя. С другой стороны, LLMs обещают синтезировать и разъяснять содержимое более прямо, направлять пользователей к достоверной информации. Но они также подвержены ошибкам и предвзятостям, обусловленным данными, на которых были обучены.

Динамика пользовательских предпочтений: выбор между поисковыми системами и LLM

Предпочтения пользователей при выборе между поисковыми системами и LLMs зависят от ряда факторов: характера искомой информации, контекста запроса, и уровня знакомства пользователя с технологиями.

Исследование анализирует удовлетворённость пользователей в зависимости от таких параметров как скорость, точность и общий опыт взаимодействия. Важную роль играет воспринимаемая надёжность и удобство использования каждого из источников информации.

Сравнительная эффективность в конкретных сценариях использования

Оценка работы поисковых систем и LLMs в разных сценариях позволяет выявить их сильные и слабые стороны. В исследовании особое внимание уделяется задачам, требующим точности, глубины понимания или оперативности, например, академическим исследованиям, решению повседневных проблем или пониманию культурного/исторического контекста.

Литературный пробел: синтез в исследовании предпочтений пользователей между поисковыми системами и LLMs

Хотя уже есть много работ, посвящённых отдельным характеристикам поисковых систем и характеристикам LLMs, сравнительных исследований с точки зрения предпочтений пользователей в широком наборе сценариев пока меньше. Работа подчёркивает необходимость целостного подхода, который помимо технических возможностей учитывает опыт пользователя и ситуационный контекст.

Чтобы всесторонне изучить пользовательские предпочтения между поисковыми системами и большими языковыми моделями (LLMs), было проведено исследование с участием 100 интернет-пользователей из разных регионов США (N = 100). Цель состояла в том, чтобы оценить выбор участников в 20 тщательно подобранных сценариях использования, охватывающих широкий спектр задач поиска информации. Эти сценарии варьировались от поиска фактических данных (например, новейших медицинских рекомендаций) до задач, требующих толкования, синтеза или объяснения сложных понятий простым языком. Такой дизайн позволил выявить закономерности и нюансы в поведении пользователей при взаимодействии с двумя цифровыми инструментами.

Участники были набраны через онлайн-платформы и представляли собой разнообразную выборку по демографическим параметрам, включая возраст, образование и уровень цифровой грамотности. Целью было создать репрезентативную группу, которая отражает различный опыт и ожидания пользователей в отношении технологий поиска информации. Каждый участник давал согласие на участие и был проинформирован о целях исследования.

Было разработано 20 сценариев поиска информации, разделённых на категории:

1. Фактические запросы — поиск точных данных (например, статистики или медицинских рекомендаций).
2. Объяснительные запросы — интерпретация сложных понятий доступным языком.
3. Навыки и обучение — поиск информации для освоения новых навыков.
4. Культурные и исторические запросы — работа с контентом, связанным с обществом, культурой или историей.
5. Практические советы и повседневные задачи — решение бытовых или прикладных вопросов.

Каждый сценарий был сформулирован так, чтобы быть одновременно реалистичным и достаточно универсальным для сравнения между поисковыми системами и LLMs.

В ходе эксперимента участникам предлагалось выбрать инструмент, который они предпочли бы использовать для каждого сценария:

1. Поисковая система (например, Google, Bing).
2. Большая языковая модель (например, ChatGPT, Claude).

Выбор фиксировался, а также собирались дополнительные комментарии участников о причинах предпочтений. Такой подход позволил выявить не только количественные закономерности, но и качественные мотивы выбора.

Собранные данные были проанализированы в два этапа:

1. Количественный анализ — подсчёт предпочтений в каждом сценарии, построение распределений и выявление общих трендов.
2. Качественный анализ — обработка открытых ответов участников для выделения факторов, влияющих на выбор (например, доверие, удобство, скорость, точность).

Такой комбинированный подход позволил выявить как числовые, так и смысловые закономерности в пользовательских предпочтениях.

Анализ ответов 100 участников по 20 сценариям показал отчётливые закономерности. Пользователи в целом склонялись к использованию поисковых систем при задачах, требующих точных и проверяемых фактов, но отдавали предпочтение большим языковым моделям (LLMs) в ситуациях, где было необходимо объяснение, переформулировка или синтез информации.

• Фактические запросы: подавляющее большинство участников выбирали поисковые системы.
• Объяснительные и толковательные запросы: LLMs демонстрировали явное превосходство.
• Учебные и познавательные задачи: наблюдалась смешанная картина, хотя значительная часть участников отмечала, что LLM удобнее для быстрых и простых объяснений.
• Культурные и исторические запросы: предпочтения распределились более равномерно, при этом часть пользователей выбирала поиск ради широты источников, а другая часть — LLM ради удобства.
• Практические советы и повседневные задачи: у LLM отмечался явный перевес благодаря их способности формулировать персонализированные ответы.

1. Фактическая информация (например, COVID-19, статистика)
   Большинство участников полагались на поисковые системы. Это объяснялось тем, что такие системы предоставляют множество проверяемых источников, что повышает доверие.
2. Интерпретация сложных концепций простым языком
   Участники чаще выбирали LLMs, отмечая их способность давать прямые, понятные и адаптированные к запросу объяснения.
3. Обучение новым навыкам
   Пользователи оценили как широту информации, доступной через поиск, так и ясность объяснений LLM. В этой категории наблюдался баланс предпочтений.
4. Культурные и исторические запросы
   Здесь выявилось большее разнообразие в ответах: некоторые пользователи доверяли проверенным источникам в поиске, другие же отмечали удобство диалога с LLM.
5. Практические и повседневные задачи
   LLM получили преимущество благодаря способности давать советы в разговорной форме, учитывая контекст и предлагая конкретные шаги.

В качественных комментариях участников выделились следующие факторы:

1. Доверие и проверяемость: поисковые системы предпочтительнее для проверяемых данных.
2. Удобство и экономия времени: LLM ценились за способность быстро формулировать релевантные ответы без необходимости переходить по ссылкам.
3. Широта охвата: поисковые системы воспринимались как более надёжные при необходимости получить много точек зрения.
4. Персонализация и доступность языка: LLM отмечались как более гибкие и «человечные» в объяснениях.

Результаты показывают, что поисковые системы и LLM не рассматриваются пользователями как взаимозаменяемые, а скорее как взаимодополняющие инструменты. Участники выбирали каждый из них в зависимости от характера задачи. При этом LLM продемонстрировали особенно высокую привлекательность в сценариях, где важны ясность, объяснение и удобство, в то время как поисковые системы сохраняли преимущество в ситуациях, требующих проверяемости и многообразия источников.

Результаты исследования показывают, что поисковые системы и большие языковые модели (LLMs) выполняют разные роли в информационном поиске и не являются взаимозаменяемыми. Участники последовательно выбирали поисковые системы для задач, требующих фактической точности и проверяемости, тогда как LLM предпочитались при заданиях, связанных с объяснением, упрощением и синтезом информации.

Такое распределение подчёркивает, что пользователи ценят широту охвата и многообразие источников, которые предоставляют поисковые системы, но также ищут удобство и ясность, свойственные диалоговому взаимодействию с LLM.

Эти результаты имеют несколько ключевых последствий:

1. Гибридное будущее поиска. Скорее всего, поиск информации будет развиваться не в сторону полной замены одного инструмента другим, а через их интеграцию. Комбинированные системы могут использовать сильные стороны обеих технологий: масштабность поиска и человеческоподобное объяснение.
2. Доверие и проверка фактов. Пользователи по-прежнему осторожны в отношении LLM, особенно когда речь идёт о чувствительных данных (например, здоровье). Это подчёркивает необходимость внедрения механизмов проверки фактов и прозрачности источников в системах на базе LLM.
3. Образовательные и познавательные сценарии. В задачах, где важно быстрое понимание концепций или обучение, LLM показали значительный потенциал. Это открывает путь к их интеграции в образовательные и профессиональные среды.
4. Дизайн интерфейсов. Поскольку предпочтения пользователей зависят от типа задач, будущее развитие инструментов поиска должно учитывать контекст и предлагать пользователю оптимальный путь — либо в сторону традиционного поиска, либо в сторону диалогового взаимодействия.

Таким образом, исследование подтверждает, что пользовательский опыт в информационном поиске не является статичным: он зависит от природы задачи, доверия к инструменту и ожиданий относительно удобства и качества результата.

Это исследование показало, что предпочтения пользователей в отношении поисковых систем и больших языковых моделей (LLMs) зависят от контекста задач.

• Поисковые системы остаются доминирующим инструментом для запросов, требующих точных фактов и доступа к множеству источников.
• LLMs демонстрируют сильное преимущество в сценариях, где пользователям важно объяснение, упрощение и синтез информации.

Таким образом, оба инструмента следует рассматривать не как конкурентов, а как взаимодополняющие решения. Будущее информационного поиска, скорее всего, будет гибридным, объединяющим алгоритмическую мощь поисковых систем и удобство диалогового взаимодействия с LLM.
Эти результаты дают ценную основу для разработчиков, исследователей и политиков, помогая лучше понимать меняющийся ландшафт цифрового поиска информации. Кроме того, выводы подчеркивают необходимость в гибридных моделях, которые смогут использовать сильные стороны обеих технологий для повышения качества и доверия к результатам поиска.

Кевин Матте Карамансьон
Кафедра математики, статистики и компьютерных наук
Университет Висконсин–Стоут
Меномони, Висконсин, США
caramancionk@uwstout.edu / www.kevincaramancion.com

1. Van den Bosch, A., Bogers, T., & De Kunder, M. — Оценка изменчивости размера индекса поисковых систем: 9-летнее исследование (2016) ссылка
2. Kelleher, J. D. — Глубокое обучение (2019) ссылка
3. Caramancion, K. M. — Исследование дезинформации как угрозы кибербезопасности (2020) ссылка
4. Caramancion, K. M. — Сравнительная оценка ChatGPT, Bing AI и Bard при факт-чекинге (2023) ссылка
5. Grechanik, M., Fu, C., Xie, Q., McMillan, C., Poshyvanyk, D., & Cumby, C. — Поисковая система для нахождения релевантных приложений (2010) ссылка
6. Gaoua, S., Bekkari, A., El Mabrouk, M., & Zouhri, A. — Оптимизация поиска для выявления пользовательского намерения (2017) ссылка
7. Sharma, D., Shukla, R., Giri, A. K., & Kumar, S. — Обзор поисковой оптимизации (2019) ссылка
8. Chowdhary, K., & Chowdhary, K. R. — Обработка естественного языка (2020) ссылка
9. Caramancion, K. M. — Использование ChatGPT для обнаружения фейковых новостей (2023) ссылка
10. Caramancion, K. M. — Междисциплинарная оценка образовательных вмешательств против дезинформации (2022) ссылка
11. Caramancion, K. M. — Предпочтение устройства как предиктор уязвимости к мис-/дезинформации (2022) ссылка
12. Caramancion, K. M. — Сравнительная векторная оценка атак DDoS и дезинформации (2022) ссылка