Ну, а нам-то, нам-то среди роботов

[egovoru]

В отличие от Ника Бострома, бестселлер которого мы здесь уже обсуждали, Стюарт Рассел – не философ, а bona fide компьютерщик, разработчик ИИ, и знает дело из первых рук. Уважаемый 109 отыскал его книжку, предназначенную для чайников широкой аудитории, и она понравилась мне больше, чем трактат Бострома, вышедший за пять лет до этого.

Основная ее тема та же: как нам обезопасить себя от ИИ? Но, в отличие от Бострома, Рассел сначала кратко излагает историю попыток создания ИИ. Со времен Аристотеля золотым стандартом мышления считали логику и сначала пытались воспроизвести в железе именно ее. К 1980-м пришло понимание (Рассел связывает его с работами Джуды Перла), что логики тут недостаточно: она требует определенности, а в реальном мире мы имеем дело лишь с вероятностями. А чтобы избежать любимых фантастами апокалипсических сценариев вроде превращения всей планеты в скрепки, компьютерам начали предписывать многомерную «функцию полезности» (utility function) вместо одной фиксированной цели (goal).

Но и такую функцию невозможно задать раз и навсегда: наши приоритеты постоянно меняются непредсказуемым образом, в зависимости от непредсказуемых обстоятельств. Порой мы даже сами их не осознаем – как же мы можем задать их компьютеру? Используя «обучение с обратным подкреплением» (inverse reinforcement learning), отвечает Рассел, то есть, позволив компьютеру анализировать наши поступки и самому выявлять наши предпочтения.

Схема inverse reinforcement learning для самоходных автомобилей
(с сайта Shimosaka Research Group)

А чтобы обезопасить нас от «восстания машин», Рассел предлагает свои «три закона робототехники», предназначенные, однако, не роботам, как азимовские, а разработчикам ИИ:

1) Единственной задачей ИИ должна быть максимальная реализация наших, человеческих, предпочтений;
2) Исходно машина не должна знать, в чем заключаются эти предпочтения;
3) Источником знаний машины о наших предпочтениях должно служить наше поведение.

Увы, пишет Рассел, пока что компьютерные алгоритмы очень плохо умеют анализировать человеческое поведение. К тому же нас ведь уже восемь миллиардов, и предпочтения у всех разные – а порой и противоположные, как же быть? У Рассела нет ответа на этот вопрос: решения, которые он рассматривает, не кажутся эффективными даже ему самому.

На мой взгляд, в самой идее предоставления машинам права решать за нас есть нечто очень, очень сомнительное. Акт волеизъявления, возможность поступать так, как ты, а не кто-то другой, считаешь нужным – основа человеческой психики. Даже если эта возможность – иллюзия, как полагают некоторые, ее утрату мы воспринимаем очень болезненно. В сложном сегодняшнем мире нам и так постоянно приходится обращаться за помощью к экспертам. Не приведет ли распространение ИИ к тому, что у нас вообще не останется возможностей для проявления собственной воли?

Comments

[egovoru.livejournal.com]

"То, как принципиально устроены эмоции не секрет не только для нейрофизиологов, но и для всякого"

Вы чрезмерно упрощаете ситуацию. Могу порекомендовать пару обзоров для ознакомления с состоянием дел в нейрофизиологическом изучении эмоций: вот (https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6899176/) и вот (https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7328022/).