Ну, а нам-то, нам-то среди роботов

[egovoru]

В отличие от Ника Бострома, бестселлер которого мы здесь уже обсуждали, Стюарт Рассел – не философ, а bona fide компьютерщик, разработчик ИИ, и знает дело из первых рук. Уважаемый 109 отыскал его книжку, предназначенную для чайников широкой аудитории, и она понравилась мне больше, чем трактат Бострома, вышедший за пять лет до этого.

Основная ее тема та же: как нам обезопасить себя от ИИ? Но, в отличие от Бострома, Рассел сначала кратко излагает историю попыток создания ИИ. Со времен Аристотеля золотым стандартом мышления считали логику и сначала пытались воспроизвести в железе именно ее. К 1980-м пришло понимание (Рассел связывает его с работами Джуды Перла), что логики тут недостаточно: она требует определенности, а в реальном мире мы имеем дело лишь с вероятностями. А чтобы избежать любимых фантастами апокалипсических сценариев вроде превращения всей планеты в скрепки, компьютерам начали предписывать многомерную «функцию полезности» (utility function) вместо одной фиксированной цели (goal).

Но и такую функцию невозможно задать раз и навсегда: наши приоритеты постоянно меняются непредсказуемым образом, в зависимости от непредсказуемых обстоятельств. Порой мы даже сами их не осознаем – как же мы можем задать их компьютеру? Используя «обучение с обратным подкреплением» (inverse reinforcement learning), отвечает Рассел, то есть, позволив компьютеру анализировать наши поступки и самому выявлять наши предпочтения.

Схема inverse reinforcement learning для самоходных автомобилей
(с сайта Shimosaka Research Group)

А чтобы обезопасить нас от «восстания машин», Рассел предлагает свои «три закона робототехники», предназначенные, однако, не роботам, как азимовские, а разработчикам ИИ:

1) Единственной задачей ИИ должна быть максимальная реализация наших, человеческих, предпочтений;
2) Исходно машина не должна знать, в чем заключаются эти предпочтения;
3) Источником знаний машины о наших предпочтениях должно служить наше поведение.

Увы, пишет Рассел, пока что компьютерные алгоритмы очень плохо умеют анализировать человеческое поведение. К тому же нас ведь уже восемь миллиардов, и предпочтения у всех разные – а порой и противоположные, как же быть? У Рассела нет ответа на этот вопрос: решения, которые он рассматривает, не кажутся эффективными даже ему самому.

На мой взгляд, в самой идее предоставления машинам права решать за нас есть нечто очень, очень сомнительное. Акт волеизъявления, возможность поступать так, как ты, а не кто-то другой, считаешь нужным – основа человеческой психики. Даже если эта возможность – иллюзия, как полагают некоторые, ее утрату мы воспринимаем очень болезненно. В сложном сегодняшнем мире нам и так постоянно приходится обращаться за помощью к экспертам. Не приведет ли распространение ИИ к тому, что у нас вообще не останется возможностей для проявления собственной воли?

Comments

[egovoru.livejournal.com]

С аксиомой я согласна, но вопрос в том, как именно эти сети работают? Если принять, что то, что у них на выходе, определяется тем, что у них на входе, то мы неизбежно приходим к абсолютному детерминизму - если угодно, предопределению. Из чего вроде бы следует, что наши собственные волевые усилия ничего не значат: все равно все будет так, как сложится паззл. А в таком случае какой же смысл наказывать преступника, если он все равно не мог не совершить преступление, и какой смысл выдавать нобелевскую премию, если то, за что ее присудили, не потребовало от лауреата никаких личных усилий - он просто подчинился неизбежному?

[109.livejournal.com]

Вы не посмотрели видео с лекуном, которое я рекомендовал? Я согласен с его ответом про свободу воли.

В вашем тексте — извините заранее, не хочу обидеть — мало смысла. Вы используете плохо определенные понятия, чтобы задать вопрос. Ответ зависит от того, что вы вкладываете в слова "наши собственные волевые усилия".

Вообще, ваше рассуждение напоминает аргумент про китайскую комнату, или рассуждение 18 или 19 века о том, почему машина никогда не сможет играть в шахматы. Не встречали такое? Очень логично, очень смешно, и немножко обидно, что половина наших рассуждений сегодня будет так же смотреться лет через 50.

[egovoru.livejournal.com]

Посмотрела небольшой кусочек видео, которое Вы рекомендовали, но там не совсем о том. Согласна, что плохо сформулировала вопрос, но это не моя вина - мне кажется, у нас просто нет адекватной терминологии для этих вещей. Но попробую еще раз.

Меня занимает то субъективное ощущение трудности, которое у нас возникает, когда мы заставляем себя делать то, что нам делать не хочется, но мы считаем, что делать нужно. Чтобы лежать на диване, волевого усилия не нужно, а вот чтобы встать и пойти на работу - да. Какова природа этого усилия, откуда оно берется?

[109.livejournal.com]

Я вижу тут несколько интересных ответов, на разных уровнях.

На одном — это instrumental goal (о которых Бостром тоже пишет), возникающая при оптимизации over long time horizon. Если учитывать только короткий горизонт, такой цели нет. "Трудность" — это feedback from short-term systems.

Некоторые животные, попавшие в капкан, отгрызают себе ногу. Там short-term systems вообще взрываются от отрицательного фидбэка, а вот поди ж ты. Это я специально привожу extreme example, чтобы континуум очертить.

Ответ на другом уровне похож на ответ, что ощущение consciousness — это просто byproduct работы супервайзора.

ЛеКун explicitly упоминает и неправильно заданные вопросы, и китайскую комнату. Жаль, что вы не нашли.

[egovoru.livejournal.com]

Да, конфликт между short- and long-term goals - это понятно. Это разные отделы мозга, порождающие каждый свои сигналы. Интегратор, принимающий решение, сравнивает силу этих сигналов и действует по результирующей. Но при этом у нас есть ощущение, что, "напрягая волю", мы способны изменить решение в пользу long-term goal, а про человека, к этому неспособного, мы говорим "безвольный". Меня интересует, что происходит в мозгу, когда мы "напрягаем волю"?

"ощущение consciousness — это просто byproduct работы супервайзора"

А объясните, пожалуйста, подробнее, что же представляет собой этот "супервайзор", а то мне кажется, что это тот самый гомункулюс, о котором я писала в предыдущем комментарии? На всякий случай поясню, что условный "интегратор", упомянутый выше - это механизм, просто подводящий баланс, он не способен к волеизъявлению (то есть, принятию произвольного решения). Вопрос в том, есть ли в мозгу что-то, что к нему способно, и если да, то каков механизм его действия?

[109.livejournal.com]

https://109.livejournal.com/686919.html

also вот тут, https://youtu.be/rK7ux_JhHM4?t=8133, Joscha говорит примерно то же, что и я

[egovoru.livejournal.com]

Спасибо, но, может, Вы все-таки - своими словами?

[109.livejournal.com]

Я гарантирую, что из слов ЛеКуна и Джоши вы извлечёт больше полезного, чем из моих.

Ну и плюс мы тут с вами по кругу в основном ходим. Чтобы был прогресс, нам обоим нужно прилагать усилия — в частности, в форме ознакомления с тем, что по этому поводу думают ведущие мыслители.

И я прямо трепещу от предвкушения, как вы послушаете Джошу Баха и перескажете своими словами. Это должно быть феерически интересно.

[egovoru.livejournal.com]

Так я же уже писала, что не люблю видео, предпочитаю текст. Кроме того, переформулировка услышанного своими словами - полезное упражнение. По следам нашей беседы написала отдельный пост, выйдет в среду.

[109.livejournal.com]

> переформулировка услышанного своими словами - полезное упражнение

Так сделайте же это! И Вам польза, и мне удовольствие.

Я вас отправляю к первоисточникам, потому что они лучше меня отвечают на ваши вопросы, и уж точно более детально. У меня физически нет времени пересказывать здесь двухчасовые видео, сколько бы раз вы ни просили меня это сделать. Лучшее, что я могу сделать, это послать вас к первоисточнику, уж не взыщите.

[egovoru.livejournal.com]

Спасибо, но у меня уж тем более нет времени смотреть двухчасовые видео :(

[109.livejournal.com]

> он не способен к волеизъявлению (то есть, принятию произвольного решения

Я повторяться сейчас буду, потому что я уже отвечал, а вы игнорируете, а потом спрашиваете опять.

Если бы вы не игнорировали, то вам бы пришлось или другой вопрос задать, или переформулировать, а вы просто повторяете. Поэтому я предлагаю сначала подумать, что вас не устраивает в следующих ответах:

Свобода воли — это ощущение, возникающее тогда, когда до супервайзора доходят конфликтующие сигналы от разных подсистем о том, как действовать дальше, и ему приходится совершать выбор. Заметьте, что это редкий случай, огромное количество действий совершается без участия супервайзора.

Абсолютная произвольность решения — это самообман. Количество вариантов действий, из которых супервайзор выбирает, обычно очень мало. "Спрятаться, напасть, или убежать" — вот типичный выбор, супервайзор этот выбор совершает, и мы ощущаем это как свободу воли. "Я сам решил дать ему в морду, и несу за это полную ответственность"

[egovoru.livejournal.com]

Мне непонятно, каким образом этот супервайзер "принимает решения"? Супервайзер - это интегратор из моего предыдущего комментария? Если да, то какой же смысл в нашем законодательстве, которое строже наказывает за "преднамеренное" убийство, когда все наши "намерения" - только иллюзия?

Мало или много возможных вариантов решений - совершенно не важно: если их хотя бы два, уже приходится выбирать.

[109.livejournal.com]

> Мне непонятно, каким образом этот супервайзер "принимает решения"?

А как alpha zero выбирает, какой следующий ход в го сделать, понятно?

[egovoru.livejournal.com]

Про alpha zero я совсем ничего не знаю - тут уж Вам карты в руки. Но, заметьте, наперед никак нельзя ожидать, что наш мозг работает точно так же, как alpha zero! Мы уже много раз наступали на эти грабли - Вселенная как часы и т.д.

[109.livejournal.com]

Это то, что я вам пытаюсь сказать из раза в раз (и другие мыслители тоже, на которых я пытался ссылаться).

Вы упорно задаёте один вопрос там, где должно быть два или даже три разных.

Волновая функция всей вселенной, раз задана, развивается совершенно детерминистическим образом. Где тут свобода воли? У меня есть несколько вариантов ответа, ни один из них меня не удовлетворяет полностью. Вот этот вопрос не надо тащить в нейронные сети, пожалуйста, it has nothing to do with neural nets, как очевидно из такой его формулировки.

Почему, когда "мы" принимаем "решения", это ощущается определенным образом, который мы называем "ощущение свободы воли", или whatever. Это другой вопрос, ответ на который лежит примерно там же, где ответ, почему orangeness апельсина ощущается именно так, а не по-другому как-нибудь.

[egovoru.livejournal.com]

Мне кажется, в своем новом посте (который выйдет в среду) мне удалось более или менее внятно изложить свое понимание этой проблемы - полагаю, что и Вы с ним согласитесь.

[109.livejournal.com]

Буду ждать с нетерпением!

Но ответьте мне — вы согласны, что тут как минимум два разных вопроса? Согласны ли вы с моими формулировками этих вопросов?

[egovoru.livejournal.com]

Что касается субъективного ощущения свободы воли, то тут вопроса нет, поскольку никто из нас вроде бы не сомневается в этом ощущении.

[109.livejournal.com]

Боюсь, что мой пойнт не дошел :(

[Андрей Гаврилов (from livejournal.com)]

Смысл (законодательства, наказывающего за решения) в том, что высокая вероятность этого наказания меняет вводные для принятия решений у всех. У данного индивидуума и у всех остальных.

Превенция — основная функция наказания. Ваш вопрос выглядит как вопрос из логики "основная функция — возмездие". Это не так. Точнее реальная функция того, что людьми/ прочими животными ощущается как месть/ восстановление справедливости — именно превенция (иногда и в предельной форме, "убить обидчика", "изолировать от меня", или в более гуманистической ("перевоспитать, изменить")), но шире — именно снижение риска повтора такого "от всех".