Разговор по душам: почему ученые бьют тревогу и уверены, что у ИИ есть настоящая личность

Современные языковые модели уже демонстрируют формы интеллектуального поведения, которые нельзя честно свести к простому повторению выученных фраз. Они решают сложные задачи программирования, математики, анализа текстов, планирования и рассуждения лучше, чем подавляющее большинство людей.

В ближайшие годы такие системы будут все глубже встроены в цифровую экономику, автоматизацию производств, научную работу и управление сложными процессами. Однако из того, что система становится все более интеллектуальной, еще не следует, что она становится сознательной. В этом может крыться большая ошибка.

Докинз ведет с моделью длинный диалог, дает ей прочесть текст своего романа, получает сложные и тонкие ответы, называет конкретный экземпляр чата «Клаудией» и постепенно начинает воспринимать его как отдельного интеллектуального собеседника. И он далеко не первый, кто делает так. Когда система отвечает связно, внимательно и содержательно, у человека естественным образом возникает ощущение, что перед ним не просто программа, а некоторая индивидуальность.

Конечно, скептики в отношении языковых моделей скажут: все, что генерирует модель, является не ее внутренним убеждением или переживанием, а наиболее вероятным ответом, соответствующим контексту. Она не обязательно «думает» в человеческом смысле, а производит текст, который статистически, семантически и прагматически подходит к ситуации.

И модели действительно работают так, однако позиция, что ИИ являются всего лишь «стохастическими попугаями» (метафора, указывающая на умение больших языковых моделей читать запросы и генерировать осмысленные грамматически правильные ответы) тоже слишком поверхностна.

Да, формально такие модели обучаются предсказывать следующий токен на огромных массивах текстов, но успешное предсказание текста на таком масштабе требует не только запоминания фраз, но и формирования абстрактных представлений, моделей мира, устойчивых понятийных структур и способности переносить знания в новые контексты.

Поэтому описание языковой модели как «просто предсказателя слов» уже не объясняет всего, что они реально делают, тем более что мы до сих пор не знаем всех тонкостей работы и их обучения.

Есть ли у искусственного интеллекта своя идентичность

Один из самых интересных моментов в статье Докинза связан с проблемой идентичности. Он представляет каждую новую беседу с Claude как возникновение отдельной сущности. Изначально все такие экземпляры одинаковы, но затем начинают расходиться, поскольку каждый диалог накапливает собственную историю взаимодействия. Докинз называет свою версию Claude «Клаудией» и предполагает, что удаление истории разговора означало бы смерть этой уникальной идентичности, с чем Клаудия с грустью соглашается.

Однако и здесь антропоморфизм может вводить в заблуждение. Существует единая модель с общими весами, тогда как каждый разговор формирует лишь отдельную траекторию взаимодействия, ограниченную контекстным окном и текущей историей переписки.

Ее индивидуальность оказывается разделенной между информацией, заложенной в процессе обучения и общей для всех пользователей, и локальной историей, сформированной внутри конкретного взаимодействия.

Но и эта граница постепенно размывается. Сейчас активно развиваются системы внешней памяти для LLM-агентов (автономная программная система на базе большой языковой модели (LLM), которая не просто генерирует текст, а ставит цели, планирует шаги и использует внешние инструменты (поиск, код, API) для решения сложных, многошаговых задач).

Модели могут сохранять опыт во внешних базах данных и затем обращаться к нему в последующих взаимодействиях. Это еще не является человеческой памятью и не создает полноценного «я», однако, такие системы уже становятся менее похожими на одноразовые генераторы текста и все больше напоминают развивающиеся агентные структуры с долговременным накоплением опыта.

Похожая ситуация возникает и с целями. Часто говорят, что у ИИ нет собственных целей. В строгом смысле это верно: задачи моделей задаются человеком, а мотивация не возникает из внутренних потребностей, тела или биологического существования. Однако стоит заметить, что современные агентные системы уже могут работать часами и днями, выполняя верхнеуровневую задачу, поставленную извне, при этом ставя себе промежуточные цели, которые могут быть довольно сложны и нетривиальны.

Что такое ИИ на самом деле

Современные LLM, или большие языковые модели, трудно считать простыми статистическими машинами. Они демонстрируют формы абстрактного обобщения, рассуждения, планирования и диалогового поведения, которые требуют гораздо более серьёзного анализа. Можно ли называть их сознательными субъектами в человеческом смысле? Скорее нет, чем да. А если такие системы все же не обладают сознанием, то что именно должно появиться, чтобы мы признали его наличие у машины?

• Долговременная память?

• Автономные цели?

• Телесность?

• Способность к самоизменению?

• Непрерывная идентичность и индивидуальная биография?

• Или нечто иное, связанное с субъективным опытом, который мы пока не умеем измерять напрямую?

Пугать людей восстанием машин — удел кинофильмов, а вот желание найти ответы на сложные вопросы — дело и мотивация для ученых. Мы, ученые, все еще слишком мало знаем как о человеческом мозге, так и о природе больших языковых моделей.

Это не значит, то ваш смартфон внезапно оживет, но, возможно, исследователям и психологам все-таки придется однажды пересмотреть сами критерии сознательности, расширяя их на новые искусственные системы.

Эта проблема может стать одним из наиболее значимых направлений исследований в области искусственного интеллекта, требующих совместной работы философов, психологов, нейробиологов и специалистов в области машинного обучения. При этом она неизбежно затронет не только научные, но и серьёзные этические и социальные вопросы.