🫧 Есть известные эффекты “информационных пузырей” (а также смежные эффекты “эхо-камер” - с акцентом на социальное взаимодействие), заключающиеся в эмерджентной информационной изоляции [1,2]. Работает в социальных сетях (для кого-то твиттер (X) - про политику, для кого-то - про науку, для кого-то - про мемы). Работает в поиске, в т.ч. (но не только) в рамках идеей персонализации, со смещением и фильтрацией выдачи [3]. Сегодня у нас есть LLM: гугл выдает ответ нас вопрос перед результатами поиска, квен с памятью учитывает историю историю запросов и пр. Возникает вопрос: насколько память агентов ИИ усиливает или ослабляет пузыри?

⚖️ Во-первых, надо упомянуть, что на модели в этом направлении влияет и смещенность выборки [4] и механизмов в составе RAG - в первую очередь в части retrieval [5]. Так что все информаионные пузыри из поиска никуда не пропадают. Однако с генерацией они усиливаются [6] в силу ориентации LLM на внутреннюю целостность, а могут и перерастать в галюцинации.

👉 Во-вторых, механизмы формирования пузырей основываются в первую очередь на обратной связи, а генеративные (особенно в режиме цепочек рассуждений) ИИ могут обеспечить ее сами себе. Например, учитывая механизмы типа retrieval-infuced forgetting (RIF) могут вытеснять из памяти часть информации, в принципе возможет “дрейф” в сторону более устойчивых, замкнутых и сильнее изолированных пузырей. Например в силу “‘сглаживания разнородности” (diversity erosion) в LLM [7], отбрасывания противоречащих эпизодов вместо их анализа (механизм формирования мнений и пузырей также и у людей). При этом усиливается однажды найденный “локальный минимум” и порядок рассуждений (path dependency).

🏋️ В-третьих, механизмы LLM могут усиливать смещенность как в долгосрочной [8], так и в краткосрочной [9] перспективе. А если позволить агентам формировать свою память или память других агентов [10], возникает эмерджентный эффект, в т.ч. для усиливаемых смещений. При этом при многоступенчатой генерации отклонения и смещения часто остаются скрытыми или как минимум сложно выявляемыми для пользователя.

🤔 В итоге, ИИ может формировать пузыри, причем быстрее и сильнее, чем люди, используя в качестве “затравки” информацию из смещенных источников, пользователя, других агентов. Механизмы противодействия, которые чаще всего предлагаются - контроль и усиление разнородности в RAG, управление неопределенностью, ограничения персонализации, периодический “сброс памяти”. Однако, часто они выглядят как временные эвристики. представляется же, что центральным инструментом должна быть правильно настроенная и структурированная память агентов с правильными механизмами консолидации памяти [10], учетом ее природы как долгосрочной и краткосрочной, эпизодической и семантической.

🦆 А тем временем, например, по результатам опроса поисковика DuckDuckGo, известного своей борьбой с информационными пузырями, больше 90% пользователей не хотят видеть вывод ИИ в результатах поиска. 😁

Ссылки
[1] Hipsters on networks: How a minority group of individuals can lead to an antiestablishment majority
[2] Echo Chambers and Algorithmic Bias: The Homogenization of Online Culture in a Smart Society
[3] Algorithmic amplification of biases on Google Search
[4] The Echo Chamber of Algorithm Bias
[5] No Free Lunch: Retrieval-Augmented Generation Undermines Fairness in LLMs, Even for Vigilant Users
[6] Evaluating the Effect of Retrieval Augmentation on Social Biases
[7] The Price of Format: Diversity Collapse in LLMs
[8] Large language models show amplified cognitive biases in moral decision-making
[9] Who is in the Spotlight: The Hidden Bias Undermining Multimodal Retrieval-Augmented Generation
[10] Memory consolidation as an adaptive process