Сначала проверить на цифровом обществе: ИИ научился предсказывать результаты социальных экспериментов

Исследователи из Гарварда и Стэнфорда проверили, способен ли искусственный интеллект заранее предсказывать результаты социальных экспериментов. Для этого они собрали архив из 70 заранее зарегистрированных исследований, проведённых на национально репрезентативных выборках в США. В общей сложности в них участвовали 119 330 человек, а исследователи измерили 469 отдельных эффектов — изменений во взглядах и намерениях людей после предъявления различных сообщений и аргументов.

GPT-4 получал описание эксперимента, материалы, которые показывали участникам, и демографические профили предполагаемых респондентов. После этого модель имитировала ответы контрольной и экспериментальной групп, а исследователи сравнивали предсказанные изменения с теми, которые действительно произошли.

Прогнозы модели оказались тесно связаны с реальными результатами и по точности были сопоставимы с объединёнными прогнозами людей. Высокая точность сохранялась и для исследований, опубликованных уже после окончания обучающей выборки GPT-4, поэтому результат нельзя объяснить только тем, что модель запомнила готовые ответы. При этом ИИ систематически преувеличивал силу воздействия: он сравнительно хорошо определял, какое сообщение окажется эффективнее другого, но хуже оценивал, насколько именно изменится мнение людей.

На дополнительном наборе из 15 крупных исследований, включавших ещё 606 экспериментальных эффектов, результаты были слабее, хотя оставались сопоставимыми с прогнозами объединённых групп экспертов. Особенно заметно точность падала там, где требовалось предсказать не ответ в анкете, а реальное действие человека.

Это существенное ограничение. Новая система пока не является точной цифровой копией общества и не позволяет надёжно предсказать, как проголосует конкретный человек, сделает ли он покупку или выйдет ли на улицу.

Но для практического применения абсолютная точность может быть и не нужна.

Модели достаточно быть немного полезнее случайного выбора

Политическая или рекламная команда редко ищет единственную безошибочную формулу. Обычно ей требуется выбрать несколько наиболее перспективных вариантов из десятков или тысяч сообщений.

Одну и ту же мысль можно выразить через страх, надежду, чувство несправедливости, личную выгоду, принадлежность к группе или недоверие к противнику. Можно менять тон, лексику, порядок аргументов, визуальные образы и предполагаемого автора сообщения.

Раньше для надёжного сравнения множества вариантов требовались фокус-группы, опросы и реальные эксперименты. Теперь первый отсев можно провести на искусственной выборке. Даже слабая цифровая модель общества способна убрать очевидно неудачные варианты и выделить те, которые с большей вероятностью заслуживают проверки на настоящих людях.

Это не предсказание будущего. Это снижение стоимости перебора.

Если из тысячи сообщений модель немного чаще случайного угадывает десять наиболее эффективных, а затем эти десять проходят обычное тестирование, система уже даёт практическое преимущество. Чем дешевле становится генерация вариантов, тем ценнее оказывается даже несовершенный механизм их предварительного отбора.

От модели группы к модели человека

Параллельно развиваются системы, которые пытаются воспроизводить не среднюю общественную реакцию, а ответы конкретных людей.

В одном из крупнейших таких исследований учёные создали цифровых агентов 1 052 американцев. Каждый участник прошёл двухчасовое интервью о своей биографии, взглядах, отношениях, жизненном опыте и ценностях. На основании интервью языковая модель создавала агента, который затем отвечал на вопросы и участвовал в экспериментах вместо человека.

Цифровые агенты воспроизводили ответы участников в General Social Survey с точностью, равной примерно 85% той согласованности, которую демонстрировали сами люди, повторно отвечая на те же вопросы через две недели. Это важная оговорка: речь идёт не о 85-процентном совпадении со всеми поступками человека, а о 85% от его собственной способности сохранять прежние ответы.

Тем не менее исследование показывает направление развития. Вместо условного «мужчины 40 лет с высшим образованием» можно строить более подробные модели людей, включающие их биографию, политические установки, моральные основания и характерные способы рассуждения.

А значит, проверять можно уже не только среднюю эффективность сообщения, но и то, какие аргументы вероятнее подействуют на разные типы людей.

ИИ не только предсказывает воздействие, но и создаёт его

Отдельные эксперименты показывают, что языковые модели уже способны самостоятельно создавать персонализированные убеждающие сообщения.

В исследовании, опубликованном в Nature Human Behaviour, 900 участников вступали в короткие дискуссии на общественно-политические темы. Их оппонентом был либо другой человек, либо GPT-4. В некоторых случаях оппоненту сообщали возраст, пол, этническую принадлежность, образование, занятость и политическую ориентацию участника.

Когда модель не получала персональных данных, её убедительность в среднем не имела статистически значимого преимущества перед человеком. Но персонализированный GPT-4 оказался убедительнее: вероятность того, что участник после разговора сильнее согласится с его позицией, была на 81,2% выше, чем после разговора с человеческим оппонентом. Среди дискуссий, в которых один из участников действительно оказался убедительнее другого, персонализированный GPT-4 выигрывал у человека в 64,4% случаев.

В другом цикле исследований приняли участие 1 788 человек. Персонализированные сообщения, созданные ChatGPT, оказались эффективнее неперсонализированных в рекламе потребительских товаров, политических обращениях и коммуникации по вопросам климата. Для настройки использовались личностные черты, политическая идеология и моральные установки адресатов.

Пока эти результаты получены в контролируемых экспериментах и не доказывают возможность автоматически управлять поведением миллионов людей. Но они показывают, что две прежде дорогие операции — подбор аргумента и его адаптация под конкретного адресата — постепенно автоматизируются.

Замкнутый контур воздействия

Если соединить эти направления, возникает новая технологическая последовательность.

Сначала цифровая модель общества сравнивает сотни или тысячи возможных сообщений. Затем генеративная система создаёт отдельные версии для различных социальных и психологических групп. Автоматизированные аккаунты, рекламные инструменты и рекомендательные системы позволяют распространить выбранные сообщения в большом масштабе. Реакции настоящих пользователей — просмотры, комментарии, переходы, покупки, подписки или изменения поведения — возвращаются в систему как новые данные.

Цифровая модель используется для предварительного эксперимента. Реальное общество — для контрольного. А результаты реального эксперимента улучшают следующий цикл.

Исследование Nature не проверяло эту систему целиком. Оно не доказывает существование готового устройства для управления обществом. Однако отдельные компоненты уже продемонстрированы экспериментально: прогнозирование социальных эффектов, моделирование конкретных людей, автоматизированная персонализация аргументов и измеримое превосходство персонализированного ИИ в некоторых форматах убеждения.

Конкуренция манипуляторов

Даже появление такой системы не означает, что одна политическая сила сможет получить полный контроль над обществом.

Теми же инструментами будут пользоваться конкурирующие партии, государства, корпорации, общественные движения, маркетологи и политические авантюристы. Они станут одновременно испытывать разные версии действительности, направлять людям противоположные сообщения и разрушать результаты экспериментов друг друга.

С этой точки зрения некоторой защитой общества становится не невозможность манипуляции, а конкуренция манипуляторов.

Любая цифровая модель строится на предположении, что среда остаётся относительно стабильной. Но человек, одновременно подвергающийся десяткам противоречивых воздействий, ведёт себя иначе, чем виртуальный участник изолированного эксперимента. Успех одной кампании меняет условия для всех остальных. Сообщение, которое хорошо работало вчера, сегодня может вызвать раздражение именно потому, что сходными приёмами уже воспользовались конкуренты.

Общество сохраняет часть непредсказуемости не только из-за сложности человека, но и потому, что слишком многие одновременно пытаются изменить результат расчёта.

Однако такое равновесие существует лишь до тех пор, пока участники действительно имеют сопоставимый доступ к аудитории.

Владелец среды

Над конкурирующими политическими и коммерческими командами находится ещё один субъект — цифровая платформа.

На первый взгляд она может представить себя нейтральной инфраструктурой. Платформа не обязательно придумывает политические лозунги, создаёт агитационных ботов или заказывает цифровую модель общества. Она разрабатывает рекламные инструменты, собирает данные о поведении пользователей, совершенствует рекомендации и продаёт доступ к аудитории ради собственного бизнеса.

Когда этими возможностями начинают пользоваться политики и манипуляторы, платформа может вполне искренне утверждать, что сама к их целям отношения не имеет.

Но нейтральной она от этого не становится.

Платформа определяет, какое сообщение будет показано миллиону человек, а какое — нескольким тысячам. Она решает, какие аккаунты считать подлинными, какие действия признать координированной манипуляцией, какие темы ограничить и какие данные разрешить использовать для персонализации. Она устанавливает правила рекламы, ранжирования, модерации и доступа к аналитике.

Поэтому платформа способна предоставить преимущество манипулятору А перед манипулятором Б, не создавая ни одного собственного политического сообщения.

Причина может быть политической, коммерческой или административной. Один клиент приносит больше денег. Другой создаёт меньше репутационных рисков. Третий поддерживается государством, от которого зависит работа компании. Четвёртый ближе руководству платформы по ценностям. Иногда решение может быть следствием не общей стратегии, а серии частных настроек, интересов подразделений и непрозрачных алгоритмических изменений.

Важно не то, почему платформа предпочла одного участника другому. Важно, что такая возможность у неё существует.

Не канал, а политический субъект

Получается система из трёх уровней.

На первом цифровая модель общества позволяет предварительно испытывать воздействия и отбирать наиболее перспективные.

На втором политические команды, рекламные агентства, государства, активисты и автоматизированные сети создают и распространяют сообщения.

На третьем платформа управляет доступом к аудитории, данными о её реакции и правилами конкуренции между всеми остальными участниками.

Именно третий уровень обладает наибольшей властью. Разработчик модели может лучше понимать общество. Политический технолог может придумать более убедительное сообщение. Боты могут создать видимость массовой поддержки. Но без доступа к системе распространения все эти преимущества остаются ограниченными.

Платформе не обязательно непосредственно управлять общественным мнением. Ей достаточно управлять конкуренцией тех, кто пытается им управлять.

И тогда главная проблема цифровой модели общества состоит не в том, что она однажды станет абсолютно точной. Гораздо важнее, что даже несовершенная модель может оказаться частью инфраструктуры, в которой один частный или государственный субъект определяет, кто получит право применять её с максимальной эффективностью.

Мы ещё не построили точную цифровую копию общества. Но уже создаём рынок инструментов для экспериментов над ней — и владельцев среды, которые смогут выбирать победителей этого рынка.

Изображение сгенерировано нейросетями

Продолжаем разговор во ВКонтакте — обсуждение, споры и позиции.
Подписывайтесь и включайтесь