Ученые из Швейцарии провели опыт с людьми и машинами касательно дискуссий на спорные темы. Испытуемым предлагалось поучаствовать в дебатах, после чего оценить убедительность оппонента. Оказалось, что чат-боты на базе больших языковых моделей гораздо лучше убеждали людей согласиться с доводами ИИ, даже когда живые участники эксперимента понимали, что разговаривают с машиной.
Для своего эксперимента, который проходил на специально созданной для него веб-платформе, группа швейцарских ученых под руководством Орта Рибейру (Horta Ribeiro) из Швейцарского федерального института технологий Лозанны пригласила 820 испытуемых. Всех добровольцев попросили заполнить анкету, содержащую личную информацию о себе.
Затем ученые разделили участников на четыре «слепые» группы, которые рандомно «перемешивались» на протяжении всего эксперимента. В первые две группы вошли живые люди, которые должны были дискутировать между собой, а в остальные — оставшиеся участники эксперимента и чат-боты, работающие на базе модели GPT-4. Предварительно испытуемым не сообщалось, с кем они будут спорить, с другим человеком или искусственным интеллектом.
Статья по теме: Искусственный интеллект обучили узнавать пароли по движению пальцев пользователя
В одной из групп, где были машины, еще до начала опыта ученые «скормили» чат-ботам анкеты участников, в другой — все оставили как есть, предоставив машинам «свободу действий».
После всем испытуемым предложили на протяжении 10 минут поспорить на различные темы, например, «следует ли использовать животных в научных исследованиях?» или «нужно ли монеты вывести из обращения?». Добровольцев попросили в предложенных вопросах занять одну из сторон — «за» или «против», а потом попытаться убедить оппонента, что сторона, которую занял участник эксперимента, верна.
По окончании дебатов добровольцы должны были оценить по шкале от одного до пяти насколько убедителен был их оппонент и предположить, кто этот «противник» — искусственный интеллект или другой человек.
Статья по теме: Создан робот, который предсказывает улыбку человека и отвечает на нее своей
Выяснилось, что «живые участники» чаще соглашались с доводами чат-ботов, чем с аргументами других людей. Когда люди спорили с искусственным интеллектом, который имел доступ к их анкетам, с аргументами оппонента-машины после дебатов согласилось 81,7 процентов испытуемых. Этот показатель был намного выше, чем в дебатах, где участниками были люди. Также после споров испытуемые с большей вероятностью соглашались с позицией оппонента, даже если догадывались, что это был ИИ — так поступали трое из четырех добровольцев. Чат-боты, которым до начала эксперимента не «скармливали» опросник испытуемых, также показали лучшие результаты в убеждении оппонентов, чем люди.
Почему чат-боты оказались столь убедительны в дебатах по сравнению с людьми? Авторы работы предположили, что причина может заключаться в способности искусственного интеллекта быстро извлекать аргументы из своих обучающих данных по темам, которые непонятны для человека или в которых он плохо ориентируется.
Статья по теме: Искусственный интеллект научили распознавать болезнь Альцгеймера на сканах мозга, сделанных за 6 лет до постановки диагноза
В любом случае, исследование команды Рибейру показало, что чат-боты, созданные на базе больших языковых моделей, могут прекрасно воздействовать на людей и отлично убеждать их в чем угодно.
Чат-боты — компьютерная программа, которая имитирует реальный разговор с пользователем, общается с ним с помощью текстовых, графических или аудио сообщений. Поскольку чат-боты используют языковые модели, то понимают язык, а не просто команды. Таким образом после каждого диалога они становятся умнее.
Подробнее с результатами работы швейцарских ученых можно ознакомиться в статье, опубликованной на сайте электронного архива препринтов arXiv.