Ну, а нам-то, нам-то среди роботов

[egovoru]

В отличие от Ника Бострома, бестселлер которого мы здесь уже обсуждали, Стюарт Рассел – не философ, а bona fide компьютерщик, разработчик ИИ, и знает дело из первых рук. Уважаемый 109 отыскал его книжку, предназначенную для чайников широкой аудитории, и она понравилась мне больше, чем трактат Бострома, вышедший за пять лет до этого.

Основная ее тема та же: как нам обезопасить себя от ИИ? Но, в отличие от Бострома, Рассел сначала кратко излагает историю попыток создания ИИ. Со времен Аристотеля золотым стандартом мышления считали логику и сначала пытались воспроизвести в железе именно ее. К 1980-м пришло понимание (Рассел связывает его с работами Джуды Перла), что логики тут недостаточно: она требует определенности, а в реальном мире мы имеем дело лишь с вероятностями. А чтобы избежать любимых фантастами апокалипсических сценариев вроде превращения всей планеты в скрепки, компьютерам начали предписывать многомерную «функцию полезности» (utility function) вместо одной фиксированной цели (goal).

Но и такую функцию невозможно задать раз и навсегда: наши приоритеты постоянно меняются непредсказуемым образом, в зависимости от непредсказуемых обстоятельств. Порой мы даже сами их не осознаем – как же мы можем задать их компьютеру? Используя «обучение с обратным подкреплением» (inverse reinforcement learning), отвечает Рассел, то есть, позволив компьютеру анализировать наши поступки и самому выявлять наши предпочтения.

Схема inverse reinforcement learning для самоходных автомобилей
(с сайта Shimosaka Research Group)

А чтобы обезопасить нас от «восстания машин», Рассел предлагает свои «три закона робототехники», предназначенные, однако, не роботам, как азимовские, а разработчикам ИИ:

1) Единственной задачей ИИ должна быть максимальная реализация наших, человеческих, предпочтений;
2) Исходно машина не должна знать, в чем заключаются эти предпочтения;
3) Источником знаний машины о наших предпочтениях должно служить наше поведение.

Увы, пишет Рассел, пока что компьютерные алгоритмы очень плохо умеют анализировать человеческое поведение. К тому же нас ведь уже восемь миллиардов, и предпочтения у всех разные – а порой и противоположные, как же быть? У Рассела нет ответа на этот вопрос: решения, которые он рассматривает, не кажутся эффективными даже ему самому.

На мой взгляд, в самой идее предоставления машинам права решать за нас есть нечто очень, очень сомнительное. Акт волеизъявления, возможность поступать так, как ты, а не кто-то другой, считаешь нужным – основа человеческой психики. Даже если эта возможность – иллюзия, как полагают некоторые, ее утрату мы воспринимаем очень болезненно. В сложном сегодняшнем мире нам и так постоянно приходится обращаться за помощью к экспертам. Не приведет ли распространение ИИ к тому, что у нас вообще не останется возможностей для проявления собственной воли?

Comments

[lj-frank-bot.livejournal.com]

Hello!
LiveJournal categorization system detected that your entry belongs to the category: Технологии (https://www.livejournal.com/category/tehnologii?utm_source=frank_comment).
If you think that this choice was wrong please reply this comment. Your feedback will help us improve system.
Frank,
LJ Team

[vadperez.livejournal.com]

вранье поможет. также как и против интеллекта естественного

[strannik1.livejournal.com]

Воля - это и есть субъектность, сознание, личность, если глубоко копать.

[panoramov.livejournal.com]

Хороший пример - автомобиль. Когда-то коробка передач была ручной, теперь всё больше людей покупают машину с автоматом. Она принимает решение за водителя когда переключать передачу? Да. И большинство это устраивает. Для гонщиков же есть возможность пересесть обратно, переключать самому. (В некоторых машинах с автоматом тоже сохранили режим ручного переключения.)

То же самое, по-видимому, будет скоро с беспилотными автомобилями. Они будут сами выбирать скоростной режим (как на картинке в посте), и большинство пассажиров (бывших водителей) это будет устраивать. Своего рода развитый "круиз-контроль". А те, кого не устраивает, будут давить на педали сами.

Будет сначала выделена одна полоса для беспилотников, потом всё больше, в конце-концов оставят одну для машин с водителями.

[109.livejournal.com]

ЛеКуна послушайте, по крайней мере части про consciousness и ai. Я вчера ссылку постил.

[jeanix.livejournal.com]

А как же три закона робототехники Азимова? :-)

[mercibo.livejournal.com]

Жизнь в обществе учит, что свои предпочтения надо уметь ограничивать, ибо многие из них потенциально деструктивны. Если робот их угадывает по намёкам и тут же воплощает в жизнь - это сюжет для ужастика.

[alex-new-york.livejournal.com]

“Не приведет ли распространение ИИ к тому, что у нас вообще не останется возможностей для проявления собственной воли?”

Разве сегодня этих возможностей так уж много?

Чем выбор между ИИ-продукцией различных производителей будет принципиально отличаться между сегодняшним выбором между Тойотой и Теслой или между Пфайзером и Модерной?

[hyperboreus.livejournal.com]

Деннет опасается, что на смену "обычным" компьютерам придут самообучающиеся нейронные сети (уже приходят), а вот от них спасения уже не будет.

[olaff67.livejournal.com]

В тех областях, где мы сами уже упорядочили реальность — как на картинке про вождение — ИИ вполне может быть хорошим подспорьем.
И пока мы не упорядочим всю реальность, у него, конечно же, будет куда расти и развиваться.

[egovoru.livejournal.com]

Совершенно верно, Фрэнк! Эта тема тебя непосредственно касается :)

[lj-frank-bot.livejournal.com]

Круто

[egovoru.livejournal.com]

Боюсь, я не уловила Вашей мысли: кто кому будет врать и зачем?

[egovoru.livejournal.com]

Да, именно так, хотя обычно способность к волеизъявлению не считают полным синонимом сознания. Примечательно, что Рассел категорически утверждает, что ему неизвестны какие бы то ни было попытки создания искусственного сознания, и, я думаю, ему можно верить. Другое дело, что на каком-то этапе может обнаружиться, что мышление, не дополненное сознанием, все же в чем-то важном уступает нашему, тесно с сознанием связанному.

[egovoru.livejournal.com]

Да, если мы оставим себе возможность включать и отключать ИИ по собственному желанию, это было бы неплохо. Вопрос, однако, в том, не захотим ли мы полностью, облигатно перейти на ИИ в каких-то областях? Как, например, уже сегодня мы практически полностью перешли на автоматические светофоры (когда Вы в последний раз видели живого регулировщика?). Тут возникают все те же проблемы, какие возникают при необходимости принимать любые тотальные меры (типа вакцинации).

[vadperez.livejournal.com]

чтобы обезопасить себя от восстания машин:)
хотя конечно все попытки залезть в мозг и "читать мысли напрямую" сильно усложняют утаивание от искусственного интеллекта своих реальных намерений, но тем не меннее — вранье остается практически тем единственным что можно противопоставить ИИ

[evgeniirudnyi.livejournal.com]

Все это из области ненаучной фантастики. По этому поводу есть хороший рисуночек:

[egovoru.livejournal.com]

Спасибо, но мне бы лучше текст. А расскажите, пожалуйста, что это за человек, и чем он знаменит, а то мне это имя незнакомо?

[egovoru.livejournal.com]

Вот здесь (https://zarnitza.ru/press-center/blog/zakony-robototekhniki-tri-zakona-robototekhniki-azimova/#:~:text=%D0%92%20%D1%81%D1%83%D1%89%D0%BD%D0%BE%D1%81%D1%82%D0%B8%2C%20%D1%82%D1%80%D0%B8%20%D0%B7%D0%B0%D0%BA%D0%BE%D0%BD%D0%B0%20%D1%80%D0%BE%D0%B1%D0%BE%D1%82%D0%BE%D1%82%D0%B5%D1%85%D0%BD%D0%B8%D0%BA%D0%B8,%D0%BF%D0%BE%D1%80%D1%8F%D0%B4%D0%BA%D0%B5%20%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D0%BD%D1%8F%D1%82%D1%8C%20%D0%BF%D1%80%D0%B8%D0%BA%D0%B0%D0%B7%D1%8B%2C%20%D0%BE%D1%82%D0%B4%D0%B0%D0%B2%D0%B0%D0%B5%D0%BC%D1%8B%D0%B5%20%D1%87%D0%B5%D0%BB%D0%BE%D0%B2%D0%B5%D0%BA%D0%BE%D0%BC.) пишут так:

"К сожалению, оптимизм всемирно известного фантаста многие ученые не разделяют. Так, три закона робототехники тщательно изучали и aнализировали два теоретика ИИ: Бен Герцель (Аидия Холдингс) и Луи Хельм (Институт MIRI). И они совершенно уверены, что положения наверняка не осилят препорученную миссию. Согласно их докладу, Айзека Азимова законы робототехники имеют три ключевых недостатка:

обладают состязательной сущностью;
базируются на неактуальной сегодня этической теории (деонтологии);
удивительно, но и во вселенной фантаста роботы не способны надлежаще реализовывать собственное предназначение.

Несмотря на все свои изъяны, законы робототехники Азимова стали первой честной попыткой охватить огромную технологическую сферу, положив начало долгому пути поисков и исследований. К примеру, не так давно Google опубликовал свое видение безопасного ИИ, сформулировав свои пять законов робототехнических механизмов."

Про законы Гугла я не слышала - а Вам они не попадались?

[egovoru.livejournal.com]

Да. На протяжении большей части своей книжки Рассел рассматровает ситуацию "один человек и один принадлежащий ему робот" и рассуждеает о том, что нужно сделать, чтобы этот робот не навредил своему хозяину. Понятно, что ситуация "я и мой робот против тебя и твоего робота" чревата еще многими дополнительными проблемами, но я не нашла у Рассела каких-либо перспективных предложений на этот счет. Что, видимо, не случайно, ведь это проблемы не роботов, а людей.

[egovoru.livejournal.com]

Я имела в виду не выбор конкретной модели робора для покупки, а необходимость следовать предписаниям ИИ в тех сферах жизни, где мы привыкли руководствоваться своей собственной интуицией и произволом. Одна такая ситуация уже давно разрабатывается фантастами, а именно: роботизированный подбор брачных партнеров. Легко можно представить себе роботизацию и других подобных областей: выбор меню на обед, выбор одежды на выход и т.д.

[egovoru.livejournal.com]

Ну да, ИИ ведь и есть не что иное, как такие сети.

[egovoru.livejournal.com]

Мне-то кажется, что целесообразнее - и безопаснее! - всего развитие именно таких специализированных ИИ, заточенных на решение конкретных задач, которые мы сочли желательным роботизировать, как та же задача автономного вождения.

Но ведутся ведь и разработки некоего general artificial intelligence, который якобы должен быть способен "решать любые задачи, которые способен решить человек". Мне такая формулировка кажется совершенно бессмысленной, поскольку мы едва ли можем перечислить все такие задачи - ведь новые задачи все время появляются, и мы их все время решаем.

[egovoru.livejournal.com]

Согласно Расселу, обучение ИИ должно строиться на его умении вычленять нашу мотивацию из наших действий. Если под "враньем" понимать только слова, то врать бесполезно, поскольку ИИ будет судить не по словам, а по делам. Если же под "враньем" понимать и действия тоже, то тогда непонятно, как же ИИ сможет обучаться? В общем, куда ни кинь, все клин.

[alex-new-york.livejournal.com]

Прибегая к услугам эксперта - врача, тренера, стилиста, мэтчмейкера - мы можем решить следовать его рекомендациям, а можем для сравнения обратиться к другим экспертам. Или попытаться разобраться в вопросе самостоятельно

Рекомендации, данные ИИ, в этом плане мало чем отличаются от человеческих рекомендаций. И являются таким же потребительским товаром, как автомобиль или вакцина. Нас ничто не обязывает покупать тот или иной автомобиль или следовать рекомендациям того или иного эксперта

Другое дело, что когда речь идет о выборе вакцины или автомобиля, наш естественный выбор ограничивается десятком брендов, поскольку мы вряд ли выберем товар, не пользующийся популярностью у других потребителей. С выбором эксперта в той или иной сфере ситуация обстоит примерно так же: мы изучим отзывы других людей и обратимся к помощи экспертов, пользующихся наибольшим доверием, чтобы, сравнив их рекомендации, выбрать наилучшую на наш взгляд. В этом смысле наша свобода воли и выбора хотя и безгранична теоретически, но довольно сильно ограничена на практике

Ситуация с выбором ИИ-эксперта в той или иной сфере мало чем будет принципиально отличаться от описанной выше