Рай – в конечном достиженьи духом вечного безличья

[egovoru]

Вторая книжка современного пифагорейца Макса Тегмарка называется «Life 3.0» (есть и русский перевод, но, кажется, небесплатный). «Жизнь 1.0» характеризуется только дарвиновской эволюцией, «Жизнь 2.0» (наша с вами) – еще и культурной, ну, а «Жизнь 3.0» будет обладать возможностью дизайна не только своего программного обеспечения, но и своего «железа».

На одно возникшее у меня замечание к этой схеме автор отвечает тут же в тексте: да, нашу способность протезировать собственные зубы и сердечные клапаны можно назвать «Жизнью 2.1». Но остается другое, более существенное. Верно, что освоение, например, иностранного языка не требует изменений в нашей ДНК. Но разве только ДНК составляет наше «железо»? А где же в этой схеме учитываются те – вполне физические – изменения числа и структуры синапсов, которыми сопровождается приобретение нового навыка? Так что освоение иностранного языка никак нельзя назвать переписыванием только программы. Другое дело, что, как и в случае с зубными протезами, связанные с ним изменения в структуре мозга не слишком радикальны – но и радикальные изменения, о которых мечтает Тегмарк, не были бы какой-то принципиально новой ступенью.

Столь же проблематична и предложенная Тегмарком классификация мнений об искусственом интеллекте, но по другой причине. Заметьте, речь идет именно об «общем интеллекте», не о способности решать узкий класс конкретных задач. Ну, а как же выяснить, превосходит ли ИИ в этом отношении человеческий разум или нет, если возможных задач – бесконечное множество? На любую задачу, которую ИИ решит успешнее человека, найдется новая задача, для которой он может оказаться непригодным. А раз так, то вся эта схема (как и генерализованный тест Тьюринга, кстати), летит к чертям.

Две иллюстрации из книжки Макса Тегмарка.
Слева – три версии жизни, справа – классификация мнений об ИИ

К счастью, ни одна из этих картинок не важна для основного содержания книжки Тегмарка, посвященной проблеме безопасности ИИ. Я совершенно согласна с автором, что предпринимать шаги для обеспечения этой безопасности нам нужно уже сейчас, независимо от того, насколько далеко нам удастся продвинуться в усовершенствовании ИИ.

Comments

[egovoru.livejournal.com]

А как еще понимать ИИ?

[olaff67.livejournal.com]

Когда я начинаю представлять разум, подобный человеческому, без свободной воли обойтись не получается.
Если же ИИ есть "просто" быстрее думающий компьютер, то качественного скачка не вижу — возрастают только количественные показатели того, что уже есть сейчас. Собственно, в инженерии уже спокойно называют ИИ системы, использующиеся в практике — та же Тесла, например.

[egovoru.livejournal.com]

Насколько я понимаю (но я далеко не сшециалист), большинство коллективов по разработке ИИ все же не ставят себе целью создание устройств со свободной волей. На мой взгляд, такую задачу было бы и трудно поставить, принимая во внимание, как мало мы знаем о том, что обеспечивает ощущение свободы воли у нас самих.

Другое дело - принятие автономных решений в строго заданных условиях. С этим отлично справляется и термостат: он ведь "сам" "принимает решение" выключить нагреватель, когда температура превосходит заранее заданный уровень. Чем это отличается (и отличается ли?) от нашей человеческой свободы воли - вопрос очень философский. А что Вы об этом думаете?

[olaff67.livejournal.com]

Я считаю, что свобода воли не есть то, что программируется (задается) внешними условиями, как у термостата. Если ИИ подразумевает принятие "правильного" решения при наличии большого количества условий, то тут понятно, что нужно просто увеличивать вычислительную мощность. Тогда ИИ уже существует — шахматные компьютеры.
Другое дело (и качество)когда нужно принимать решение при неограниченном количестве условий (данных) — тогда без воли не обойтись.

[egovoru.livejournal.com]

А что значит "неограниченное количество условий"? Не хотите же Вы сказать, что, принимая решение, наш мозг перебирает бесконечное число условий? Такая процедура ведь заняла бы бесконечное время, не правда ли?

[olaff67.livejournal.com]

Я говорю противоплложное: при неограниченном количестве вариантов для принятия решения требуется наличие воли, а не расчет-перебирание вариантов. Т.е. индукция, а не дедукция.
Мы волевым усилием перестаем перебирать безграничное количество вариантов и условий, чтобы принять решение. Прикрывая иногда для себя этот волюнтаризм дедукцией.

[egovoru.livejournal.com]

Погодите, индукция - это когда на основании анализа некоторого конечного числа элементов множества мы делаем вывод о свойствах следующего (и, каким образом, произвольно взятого) элемента множества. Вы же, насколько я понимаю, имеете в виду нечто другое?

Может быть, Вы имеете в виду то, что, столкнувшись со слишком большим числом факторов, которые мы не в состоянии рационально (сознательно) проанализировать за отпущенное для принятия решения время, мы полагаемся на интуицию - то есть, бессознательный механизм принятия решений? Но такой механизм принятия решений ведь есть и у других животных - более того, у некоторых из них только он и есть? Что же, нам следует и их считать сознательными?

[olaff67.livejournal.com]

Логическая индукция это несколько иное:

В логике (см. Логика) термин «индукция» используется как синоним более точного, но более громоздкого, термина «индуктивное рассуждение» и понимается в более узком смысле: как умозаключение, в котором общий вывод строится на основе частных посылок. При этом посылки могут подтверждать или подразумевать истину, но не гарантируют её получения. Этим индукция принципиально отличается от дедукции (см. Дедукция), посредством которой из истинных посылок при соблюдении правил логического вывода всегда получаются истинные заключения

Т.е. при слишком большом объеме данных мы делаем обобщения, прекращая перебор волевым, не всегда сознательным, усилием.
Да, у высших животных есть нечто подобное, ведь мы эту способность не получили свыше, а развили.
А вот есть ли такое у компьютера — вопрос открытый.

[egovoru.livejournal.com]

Обобщение - это и есть утверждение, что свойства любого объекта из данной их совокупности обладает теми же свойствами, что и те (немногие в числе) объекты, которые мы уже исследовали.

"прекращая перебор волевым, не всегда сознательным, усилием"

Это как же волевое усилие может быть бессознательным? Ведь, если бессознательное, то это уж никак не волевое?

"у высших животных есть нечто подобное, ведь мы эту способность не получили свыше, а развили"

Мне кажется, уж скорее наоборот: у низших животных все решения принимаются автоматически, бессознательно, а вот появление разума и сознания означает, что мы как бы задерживаем некоторые решения в уме для более детального рассмотрения всех влияющих на них факторов. Разве нет?

[olaff67.livejournal.com]

обладает теми же свойствами, что и те (немногие в числе) объекты, которые мы уже исследовали.
Но распространяется и на неисследованные и неисчислимые объекты - просто по нашему мнению и желанию.

Волевое усилие запросто может быть несознательным — когда натренировано и становится навыком. Мы же не говорим себе каждый раз: " Стоп. А теперь я буду обобщение делать.", мы просто делаем его автоматически.

для более детального рассмотрения всех влияющих на них факторов

Вариант, когда мы (и животные) имеем в распоряжении все факторы, очень и очень редок в реальном мире, а не его модели — даже исчезающе ничтожен.

[egovoru.livejournal.com]

"Но распространяется и на неисследованные и неисчислимые объекты - просто по нашему мнению и желанию"

Да, индукционный переход означает, что мы относим те же свойства к любому из объектов данной совокупности. Правда, я бы не назвала это "по желанию", потому что мы же считаем эту операцию способом рационального рассуждения!

"Волевое усилие запросто может быть несознательным — когда натренировано и становится навыком"

Насколько я понимаю, такую ситуацию называют "выработкой условного рефлекса". Да, убедившись в целесообразности неких действий в некоей ситуации, мы передаем их контроль бессознательным механизмам нашего мозга - потому что они действуют быстрее и экономнее, чем сознательные. Но, когда наша реакция становится автоматической (бессознательной), к воле это уже перестает иметь отношение.

"Вариант, когда мы (и животные) имеем в распоряжении все факторы, очень и очень редок в реальном мире, а не его модели — даже исчезающе ничтожен"

Разумеется, мы рассматриваем только осознаваемые нами факторы.

[olaff67.livejournal.com]

Не все осознаваемые, часто мы просто не тратим время на рассмотрение всего остального — особенно когда понимаем, что оно неисчислимо.

Вопрос же, как будет делать ИИ такие обобщения, не обладая волей для остановки себя в рассмотрении всего множества данных, остается для меня открытым.

[egovoru.livejournal.com]

"мы просто не тратим время на рассмотрение всего остального — особенно когда понимаем, что оно неисчислимо"

Фактор ведь только и становится фактором, когда мы - сознательным усилием - выделяем его из фона и называем "фактором". Таким образом, число факторов - всегда конечное. Разумеется, в мире все на все влияет, но мы и не пытаемся учитывать все возможные влияния - мы выделяем только наиболее существенные из них. А бесконечное число факторов возможно только в математических моделях.

"Вопрос же, как будет делать ИИ такие обобщения, не обладая волей для остановки себя в рассмотрении всего множества данных, остается для меня открытым"

Мне кажется, тут нет никакой проблемы: мы просто зададим ИИ конечное время для принятия решения. Собственно, то же самое происходит и с нами: у нас ведь всегда имеется только вполне определенное время для принятия решения, и это-то и спасает нас от превращения в буридановых ослов :) Интересно, что, когда выбор вариантов слишком велик, мы просто перестаем рационально искать лучший, а выбираем первый попавшийся - это показано в многочисленных экспериментах.

[olaff67.livejournal.com]

Кто задает время нам, или как мы определяем, что время у нас ограничено? Ответ есть, да: мы в конечном итоге знаем, что умрем.
Можно ли этому же научить компьютер, для которого нет проблемы конечности времени в принципе? Он должен осознать свою конечность - именно осознать, т.е. отрефлексировать и раздвоиться в себе самом, оставаясь собой. Эта способность и есть первый признак разума.

"Просто перестать перебирать данные" — есть волевой акт, даже если он делается автоматически.

Фактор ведь только и становится фактором, когда мы - сознательным усилием - выделяем его из фона и называем "фактором"


"Человек есть мера всех вещей — существующих что они существуют, несуществующих что они не существуют."
Вот когда то же самое сможет делать компьютер, тогда у него и будет разум.

[egovoru.livejournal.com]

"Кто задает время нам, или как мы определяем, что время у нас ограничено? Ответ есть, да: мы в конечном итоге знаем, что умрем"

У нас есть множество других ограничителей по времени: например, водитель за рулем автомобиля, увидевший внезапно выскочившего на проезжую часть пешехода, должен принять решение нажать на тормоз за считанные доли секунды - иначе уже будет слишком поздно пить боржоми. То же ограничение по времени, естественно, относится и к автономному (беспилотному) транспортному устройству.

"Вот когда то же самое сможет делать компьютер, тогда у него и будет разум"

Боюсь, я не уловила - что именно делать?

[olaff67.livejournal.com]

У нас есть множество других ограничителей по времени: например, водитель за рулем автомобиля, увидевший внезапно выскочившего на проезжую часть пешехода...

Именно. Каждую секунду нашей жизни мы сталкиваемся с этим, и это нас формирует. И как это все засунуть в компьютер, чтобы у него возникло такое же, по большей части неосознанное понимание — мне не представить.


что именно делать?

Раздвоиться в себе самом, оставшись единым. Только через это возможно самосознание и разум. Даже для того, чтобы вывести упомянутое вами множество ограничителей и из них получить конечность отпущенного времени, нужно уметь рефлексировать: я за рулем и я, делающий вывод о конечности времени на основании произошедшего.

И еще из этой модельки: с какого перепугу для компьютера ценность жизни и здоровья пешехода должна быть выше чем усилие по изменению траектории своего пути? Нужны:
а. ценность человека
б. воля по определению этой ценности как высшей по отношению к цели своей поездки.

[egovoru.livejournal.com]

"как это все засунуть в компьютер, чтобы у него возникло такое же, по большей части неосознанное понимание — мне не представить"

Тем не менее, беспилотные автомобили уже собираются выпускать на улицы. Думаю, проблема решается так, как я описала выше: задается ограниченное время на принятие решения.

"для того, чтобы вывести упомянутое вами множество ограничителей и из них получить конечность отпущенного времени"

Временное ограничение можно задать просто извне - вовсе не обязательно добиваться, чтобы компьютер его сам выводил из других данных.

"с какого перепугу для компьютера ценность жизни и здоровья пешехода должна быть выше чем усилие по изменению траектории своего пути"

Уже Азимов сформулировал три закона робототехники, помните? "Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред" и т.д. Все это можно тоже исходно запрограммировать. Другое дело, что в программе всегда может случиться сбой. Как собираются учитывать это, я не знаю. На сбои в нашей человеческой "программе" мы реагируем либо клиникой, либо тюрьмой - но робота ведь в тюрьму не посадишь? Что ли, будут сдавать в переплавку?

[olaff67.livejournal.com]

Т.е. ИИ уже существует, как я и говорю, и это просто более мощный и быстрый компьютер, а не самостоятельный разум.
И опасность, о которой вы говорите, уже тоже осуществлена — компьютеры доступны каждому.

[109.livejournal.com]

Да нет же. Sql server, чтобы исполнить sql, сначала вычисляет оптимальный план, а потом исполняет его. Если возможных планов слишком много, он исполняет лучший из тех, которые он успел проанализировать за конечное время, которое ему отведено для поиска плана. В общем, почти то же самое.

[egovoru.livejournal.com]

"В общем, почти то же самое"

За исключением того, что, когда решение принимает человек, то на него влияют эмоции, а вот о попытках создать эмоции у машины я еще не слышала. Интересно, почему? Потому ли, что мы считаем, что эмоции обычно мешают принимать нам верное решение, а не помогают?

[olaff67.livejournal.com]

Если мы на этом успокоимся, то тогда надо успокоиться и на том факте, что ИИ уже среди нас довольно давно.
А если не успокоимся, то спросим себя: если кто-то вовне отводит время для пересчета, то является ли тот, кто пересчитывает, разумным?

[109.livejournal.com]

Свобода — это осознанная необходимость, слышали? :)

Мы все оперируем в рамках каких-то ограничений.

[olaff67.livejournal.com]

Не возражаю. Просто интересуюсь: для компьютера это тоже обстоит уже так, или он еще не осознает свою свободу и ограничения, которые она накладывает.

[akor168.livejournal.com]

Другое дело (и качество)когда нужно принимать решение при неограниченном количестве условий (данных) — тогда без воли не обойтись.

Муравей(таракан) вполне умеет принимать решения при любых условиях и данных. У него есть свобода воли?

[olaff67.livejournal.com]

Не сказано, что это умение есть единственное условие наличия воли. С равной степенью скажу, что они ближе к компьютеру