В середине XX века искусственным интеллектом считался ввод команд в ящик. Результаты были ограничены тем, что мы вводили. С тех пор все значительно изменилось. Сегодня разработки сосредоточены на том, чтобы сделать машины самообучаемыми. Мы пока не знаем, как реализовать в машинах те алгоритмические приемы, которые использует мозг. Но я думаю, что это лишь вопрос времени.
После многих лет тяжелой работы, множества инвестиций мы получим искусственный интеллект уровня шимпанзе. Затем, спустя еще много лет тяжелого труда, мы придем к интеллекту ребенка. И несколько мгновений спустя окажемся дальше уровня Эйнштейна. Поезд не останавливается на станции «Человечество». Скорее он со свистом пронесется мимо.
Подумайте об этом: машинный сверхразум — возможно, последнее изобретение человечества. Машины будут лучше в изобретениях, чем мы, и они будут совершать их с цифровой скоростью. Подумайте обо всех сумасшедших технологиях, которые люди могли бы открыть, имея время в избытке: лекарства от старения, колонизация космоса, самовоспроизводящиеся нанороботы или загрузка сознания в компьютеры. Все это мог бы открыть сверхразум, и, возможно, довольно быстро. Суперинтеллект с такой технологической зрелостью был бы чрезвычайно влиятельным. Наше будущее определяли бы его предпочтения. Теперь интересный вопрос: каковы эти предпочтения? Чтобы понять это, подумайте о развитии интеллекта как о движении к большей оптимизации. Суперинтеллект будет стремиться свести решение всех проблем к набору конфигураций. В таком случае его цели и средства их достижения не всегда будут соответствовать нашей этике.
Предположим, мы даем искусственному интеллекту цель — решить трудную математическую проблему. В какой-то момент он понимает, что самый оптимальный способ решить ее — преобразовать планету в гигантский компьютер, чтобы улучшить свою мыслительную способность. Поскольку мы не можем одобрить такой вариант, сверхразум может решить, что люди являются тормозом на пути к решению проблемы.
Конечно, это надуманные примеры. Но главная идея здесь такова: создавая мощный процесс оптимизации для достижения цели, стоит убедиться, что определение цели включает все, что нас волнует. Проще говоря, разрабатывая сверхразумный искусственный разум, важно быть уверенным, что он на вашей стороне и разделяет наши ценности.
Мы не должны уповать на то, что нам удастся вечно держать сверхразумного джинна взаперти. Рано или поздно он выйдет наружу. Вместо того чтобы искать способы контролировать созданный нами интеллект, нам нужно настроить его на познание того, чем мы дорожим. Тогда в своих расчетах он будет учитывать и то, понравится ли нам результат.
Ник Бостром (Nick Bostrom), шведский философ, директор Института будущего человечества при Оксфордском университете (Великобритания). Запись лекции можно посмотреть на сайте .
