Ну, а нам-то, нам-то среди роботов

[egovoru]

В отличие от Ника Бострома, бестселлер которого мы здесь уже обсуждали, Стюарт Рассел – не философ, а bona fide компьютерщик, разработчик ИИ, и знает дело из первых рук. Уважаемый 109 отыскал его книжку, предназначенную для чайников широкой аудитории, и она понравилась мне больше, чем трактат Бострома, вышедший за пять лет до этого.

Основная ее тема та же: как нам обезопасить себя от ИИ? Но, в отличие от Бострома, Рассел сначала кратко излагает историю попыток создания ИИ. Со времен Аристотеля золотым стандартом мышления считали логику и сначала пытались воспроизвести в железе именно ее. К 1980-м пришло понимание (Рассел связывает его с работами Джуды Перла), что логики тут недостаточно: она требует определенности, а в реальном мире мы имеем дело лишь с вероятностями. А чтобы избежать любимых фантастами апокалипсических сценариев вроде превращения всей планеты в скрепки, компьютерам начали предписывать многомерную «функцию полезности» (utility function) вместо одной фиксированной цели (goal).

Но и такую функцию невозможно задать раз и навсегда: наши приоритеты постоянно меняются непредсказуемым образом, в зависимости от непредсказуемых обстоятельств. Порой мы даже сами их не осознаем – как же мы можем задать их компьютеру? Используя «обучение с обратным подкреплением» (inverse reinforcement learning), отвечает Рассел, то есть, позволив компьютеру анализировать наши поступки и самому выявлять наши предпочтения.

Схема inverse reinforcement learning для самоходных автомобилей
(с сайта Shimosaka Research Group)

А чтобы обезопасить нас от «восстания машин», Рассел предлагает свои «три закона робототехники», предназначенные, однако, не роботам, как азимовские, а разработчикам ИИ:

1) Единственной задачей ИИ должна быть максимальная реализация наших, человеческих, предпочтений;
2) Исходно машина не должна знать, в чем заключаются эти предпочтения;
3) Источником знаний машины о наших предпочтениях должно служить наше поведение.

Увы, пишет Рассел, пока что компьютерные алгоритмы очень плохо умеют анализировать человеческое поведение. К тому же нас ведь уже восемь миллиардов, и предпочтения у всех разные – а порой и противоположные, как же быть? У Рассела нет ответа на этот вопрос: решения, которые он рассматривает, не кажутся эффективными даже ему самому.

На мой взгляд, в самой идее предоставления машинам права решать за нас есть нечто очень, очень сомнительное. Акт волеизъявления, возможность поступать так, как ты, а не кто-то другой, считаешь нужным – основа человеческой психики. Даже если эта возможность – иллюзия, как полагают некоторые, ее утрату мы воспринимаем очень болезненно. В сложном сегодняшнем мире нам и так постоянно приходится обращаться за помощью к экспертам. Не приведет ли распространение ИИ к тому, что у нас вообще не останется возможностей для проявления собственной воли?

Comments

[lj-frank-bot.livejournal.com]

Hello!
LiveJournal categorization system detected that your entry belongs to the category: Технологии (https://www.livejournal.com/category/tehnologii?utm_source=frank_comment).
If you think that this choice was wrong please reply this comment. Your feedback will help us improve system.
Frank,
LJ Team

[egovoru.livejournal.com]

Совершенно верно, Фрэнк! Эта тема тебя непосредственно касается :)

[vadperez.livejournal.com]

вранье поможет. также как и против интеллекта естественного

[egovoru.livejournal.com]

Боюсь, я не уловила Вашей мысли: кто кому будет врать и зачем?

[strannik1.livejournal.com]

Воля - это и есть субъектность, сознание, личность, если глубоко копать.

[egovoru.livejournal.com]

Да, именно так, хотя обычно способность к волеизъявлению не считают полным синонимом сознания. Примечательно, что Рассел категорически утверждает, что ему неизвестны какие бы то ни было попытки создания искусственного сознания, и, я думаю, ему можно верить. Другое дело, что на каком-то этапе может обнаружиться, что мышление, не дополненное сознанием, все же в чем-то важном уступает нашему, тесно с сознанием связанному.

[panoramov.livejournal.com]

Хороший пример - автомобиль. Когда-то коробка передач была ручной, теперь всё больше людей покупают машину с автоматом. Она принимает решение за водителя когда переключать передачу? Да. И большинство это устраивает. Для гонщиков же есть возможность пересесть обратно, переключать самому. (В некоторых машинах с автоматом тоже сохранили режим ручного переключения.)

То же самое, по-видимому, будет скоро с беспилотными автомобилями. Они будут сами выбирать скоростной режим (как на картинке в посте), и большинство пассажиров (бывших водителей) это будет устраивать. Своего рода развитый "круиз-контроль". А те, кого не устраивает, будут давить на педали сами.

Будет сначала выделена одна полоса для беспилотников, потом всё больше, в конце-концов оставят одну для машин с водителями.

[egovoru.livejournal.com]

Да, если мы оставим себе возможность включать и отключать ИИ по собственному желанию, это было бы неплохо. Вопрос, однако, в том, не захотим ли мы полностью, облигатно перейти на ИИ в каких-то областях? Как, например, уже сегодня мы практически полностью перешли на автоматические светофоры (когда Вы в последний раз видели живого регулировщика?). Тут возникают все те же проблемы, какие возникают при необходимости принимать любые тотальные меры (типа вакцинации).

[Алексей Орлов (from livejournal.com)]

>> А те, кого не устраивает, будут давить на педали сами.

Поначалу. По прошествии некоторого времени, за это удовольствие придется платить конскую страховку. Еще позднее введут, скажем, протокол проезда перекрестков, неисполнимый для человека, и до свидания, ручное управление.

[109.livejournal.com]

ЛеКуна послушайте, по крайней мере части про consciousness и ai. Я вчера ссылку постил.

[egovoru.livejournal.com]

Спасибо, но мне бы лучше текст. А расскажите, пожалуйста, что это за человек, и чем он знаменит, а то мне это имя незнакомо?

[jeanix.livejournal.com]

А как же три закона робототехники Азимова? :-)

[egovoru.livejournal.com]

Вот здесь (https://zarnitza.ru/press-center/blog/zakony-robototekhniki-tri-zakona-robototekhniki-azimova/#:~:text=%D0%92%20%D1%81%D1%83%D1%89%D0%BD%D0%BE%D1%81%D1%82%D0%B8%2C%20%D1%82%D1%80%D0%B8%20%D0%B7%D0%B0%D0%BA%D0%BE%D0%BD%D0%B0%20%D1%80%D0%BE%D0%B1%D0%BE%D1%82%D0%BE%D1%82%D0%B5%D1%85%D0%BD%D0%B8%D0%BA%D0%B8,%D0%BF%D0%BE%D1%80%D1%8F%D0%B4%D0%BA%D0%B5%20%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D0%BD%D1%8F%D1%82%D1%8C%20%D0%BF%D1%80%D0%B8%D0%BA%D0%B0%D0%B7%D1%8B%2C%20%D0%BE%D1%82%D0%B4%D0%B0%D0%B2%D0%B0%D0%B5%D0%BC%D1%8B%D0%B5%20%D1%87%D0%B5%D0%BB%D0%BE%D0%B2%D0%B5%D0%BA%D0%BE%D0%BC.) пишут так:

"К сожалению, оптимизм всемирно известного фантаста многие ученые не разделяют. Так, три закона робототехники тщательно изучали и aнализировали два теоретика ИИ: Бен Герцель (Аидия Холдингс) и Луи Хельм (Институт MIRI). И они совершенно уверены, что положения наверняка не осилят препорученную миссию. Согласно их докладу, Айзека Азимова законы робототехники имеют три ключевых недостатка:

обладают состязательной сущностью;
базируются на неактуальной сегодня этической теории (деонтологии);
удивительно, но и во вселенной фантаста роботы не способны надлежаще реализовывать собственное предназначение.

Несмотря на все свои изъяны, законы робототехники Азимова стали первой честной попыткой охватить огромную технологическую сферу, положив начало долгому пути поисков и исследований. К примеру, не так давно Google опубликовал свое видение безопасного ИИ, сформулировав свои пять законов робототехнических механизмов."

Про законы Гугла я не слышала - а Вам они не попадались?

[mercibo.livejournal.com]

Жизнь в обществе учит, что свои предпочтения надо уметь ограничивать, ибо многие из них потенциально деструктивны. Если робот их угадывает по намёкам и тут же воплощает в жизнь - это сюжет для ужастика.

[egovoru.livejournal.com]

Да. На протяжении большей части своей книжки Рассел рассматровает ситуацию "один человек и один принадлежащий ему робот" и рассуждеает о том, что нужно сделать, чтобы этот робот не навредил своему хозяину. Понятно, что ситуация "я и мой робот против тебя и твоего робота" чревата еще многими дополнительными проблемами, но я не нашла у Рассела каких-либо перспективных предложений на этот счет. Что, видимо, не случайно, ведь это проблемы не роботов, а людей.

[alex-new-york.livejournal.com]

“Не приведет ли распространение ИИ к тому, что у нас вообще не останется возможностей для проявления собственной воли?”

Разве сегодня этих возможностей так уж много?

Чем выбор между ИИ-продукцией различных производителей будет принципиально отличаться между сегодняшним выбором между Тойотой и Теслой или между Пфайзером и Модерной?

[egovoru.livejournal.com]

Я имела в виду не выбор конкретной модели робора для покупки, а необходимость следовать предписаниям ИИ в тех сферах жизни, где мы привыкли руководствоваться своей собственной интуицией и произволом. Одна такая ситуация уже давно разрабатывается фантастами, а именно: роботизированный подбор брачных партнеров. Легко можно представить себе роботизацию и других подобных областей: выбор меню на обед, выбор одежды на выход и т.д.

[hyperboreus.livejournal.com]

Деннет опасается, что на смену "обычным" компьютерам придут самообучающиеся нейронные сети (уже приходят), а вот от них спасения уже не будет.

[evgeniirudnyi.livejournal.com]

Все это из области ненаучной фантастики. По этому поводу есть хороший рисуночек:

[egovoru.livejournal.com]

Ну да, ИИ ведь и есть не что иное, как такие сети.

[olaff67.livejournal.com]

В тех областях, где мы сами уже упорядочили реальность — как на картинке про вождение — ИИ вполне может быть хорошим подспорьем.
И пока мы не упорядочим всю реальность, у него, конечно же, будет куда расти и развиваться.

[egovoru.livejournal.com]

Мне-то кажется, что целесообразнее - и безопаснее! - всего развитие именно таких специализированных ИИ, заточенных на решение конкретных задач, которые мы сочли желательным роботизировать, как та же задача автономного вождения.

Но ведутся ведь и разработки некоего general artificial intelligence, который якобы должен быть способен "решать любые задачи, которые способен решить человек". Мне такая формулировка кажется совершенно бессмысленной, поскольку мы едва ли можем перечислить все такие задачи - ведь новые задачи все время появляются, и мы их все время решаем.

[yoginka.livejournal.com]

Опасность ИИ в том, что ему поручают (или готовы поручить) то, что мы сами не можем контролировать в силу ограниченности наших способностей (скорость реакции и/или объем данных). И именно это означает, что мы теряем контроль.

[egovoru.livejournal.com]

Но ведь любые машины нужны нам именно затем, чтобы делать то, что мы сами не можем? Разве в этом отношении ИИ отличается чем-то от простого калькулятора, который тоже считает быстрее нас?

Надо сказать, что книжка Рассела в основном не о том, чем ИИ может быть опасен, а просто о том, что же это такое, и она мне понравилась именно этим. Мне кажется, что, прочитав ее, я получила хоть какое-то, пусть самое поверхностное, представление о том, что же называют этим словом (а из книжки Бострома я такого представления не получила). У Рассела еще есть какой-то знаменитый учебник по ИИ, но, я боюсь, он будет для меня все-таки слишком сложен.

[alaric-.livejournal.com]

> На мой взгляд, в самой идее предоставления машинам права решать за нас есть нечто очень, очень сомнительное.

Проблема в том, что машины как раз и делаются для того, чтобы решать за нас то, что нам самим решать сложно. И мы уже активно предоставляем машинам право решать за нас. Самый простой пример: поиск в интернете. Поисковый алгоритм определяет, что именно окажется на первой страницы выдачи и это сильно может повлиять на наши решения.

И да, совершенно непонятно, что с этим можно сделать (ну, кроме действительно попыток донести до разработчиков ИИ что-то вроде упомянутых законов Рассела).

[egovoru.livejournal.com]

Ну, трудность принятия решения - проблема не новая, и человечество уже давно разработало способы ее решения: от бросания жребия до вопрошания оракула (что, впрочем, тоже - разновидность бросания жребия). Полагаете, ИИ - это новая версия дельфийского оракула? :)

Проблему поисковых алгоритмов Рассел в этой книжке совсем не затрагивает, хотя тема эта, конечно, очень интересная. Мне, правда, кажется (как, наверное, и многим), что реклама только отвращает меня от рекламируемого товара, но это ведь тоже - влияние, хотя и негативное.

[egovoru.livejournal.com]

Ну, трудность принятия решения - проблема не новая, и человечество давно придумало способы с ней справляться: от бросания жребия до вопрошания оракула (что, впочем - тоже разновидность бросания жребия). Думаете, ИИ - это просто новое воплощение дельфийского оракула? :)

Потенциальные проблемы поисковых алгоритмов Рассел, надо сказать, совсем не затрагивает в этой книжке, а ведь тема эта - очень интересная. Мне, правда (как, наверное, и многим), кажется, что реклама влияет на меня противоположным образом - то есть, отвращает от рекламируемого товара, но это ведь тоже вли

[Андрей Гаврилов (from livejournal.com)]

Эээ, простите, но это как-то смешно наблюдать.

"Все придумано до нас".

Когда около года назад Илон Маск на фоне непрекращающегося достаточно долгий период фазы его интереса к вопросу защиты Человечества от угроз ИИ написал твитт "Love is the answer" я подумал, что "и до него дошло!"


У нас есть пример поведения, которое максимальную безопасность и максимальное благо обеспечивает субъекту/субъектам, на которого/на которых оно направлено: Любовь.

Зрелая, предельная Любовь.

У этого поведения/состояния есть функциональная схема, отраженная в neural circuits.

Лучшая защитная система от злонамеренности ИИ на уровне индивидуального ИИ — имплементация этой функциональной схемы в нем.

Имплементация в нем функциональных схем зрелой любви к людям, функциональных схем предельно этичного и гуманного человека. Впрочем, предельная зрелая Любовь — база, все остальное приложится.

На уровне сообществ ИИ лучшая защита — демократия, демократия с предельной инклюзией. Когда-нибудь ИИ будут жить и отдельно от людей, и тогда это будет "демократия общества ИИ".

А пока они живут с людьми — то лучший выход — включение их в человеческие демократии

[egovoru.livejournal.com]

Я, конечно, совсем слабо представляю себе направления работы над ИИ, но я никогда не слышала, чтобы кто-то пытался воспроизвести в нем какие-то эмоции. А между тем, нейрофизиологи давно уже знают, что то разделение на рацио и "страсти", на котором настаивали прежние века - иллюзия: эмоции нам нужны для того, чтобы думать, а у людей с повреждениями лимбической системы нарушается и мышление.