Рай – в конечном достиженьи духом вечного безличья

[egovoru]

Вторая книжка современного пифагорейца Макса Тегмарка называется «Life 3.0» (есть и русский перевод, но, кажется, небесплатный). «Жизнь 1.0» характеризуется только дарвиновской эволюцией, «Жизнь 2.0» (наша с вами) – еще и культурной, ну, а «Жизнь 3.0» будет обладать возможностью дизайна не только своего программного обеспечения, но и своего «железа».

На одно возникшее у меня замечание к этой схеме автор отвечает тут же в тексте: да, нашу способность протезировать собственные зубы и сердечные клапаны можно назвать «Жизнью 2.1». Но остается другое, более существенное. Верно, что освоение, например, иностранного языка не требует изменений в нашей ДНК. Но разве только ДНК составляет наше «железо»? А где же в этой схеме учитываются те – вполне физические – изменения числа и структуры синапсов, которыми сопровождается приобретение нового навыка? Так что освоение иностранного языка никак нельзя назвать переписыванием только программы. Другое дело, что, как и в случае с зубными протезами, связанные с ним изменения в структуре мозга не слишком радикальны – но и радикальные изменения, о которых мечтает Тегмарк, не были бы какой-то принципиально новой ступенью.

Столь же проблематична и предложенная Тегмарком классификация мнений об искусственом интеллекте, но по другой причине. Заметьте, речь идет именно об «общем интеллекте», не о способности решать узкий класс конкретных задач. Ну, а как же выяснить, превосходит ли ИИ в этом отношении человеческий разум или нет, если возможных задач – бесконечное множество? На любую задачу, которую ИИ решит успешнее человека, найдется новая задача, для которой он может оказаться непригодным. А раз так, то вся эта схема (как и генерализованный тест Тьюринга, кстати), летит к чертям.

Две иллюстрации из книжки Макса Тегмарка.
Слева – три версии жизни, справа – классификация мнений об ИИ

К счастью, ни одна из этих картинок не важна для основного содержания книжки Тегмарка, посвященной проблеме безопасности ИИ. Я совершенно согласна с автором, что предпринимать шаги для обеспечения этой безопасности нам нужно уже сейчас, независимо от того, насколько далеко нам удастся продвинуться в усовершенствовании ИИ.

Comments

[lj-frank-bot.livejournal.com]

Hello!
LiveJournal categorization system detected that your entry belongs to the following categories: IT (https://www.livejournal.com/category/it?utm_source=frank_comment), Литература (https://www.livejournal.com/category/literatura?utm_source=frank_comment), Технологии (https://www.livejournal.com/category/tehnologii?utm_source=frank_comment).
If you think that this choice was wrong please reply this comment. Your feedback will help us improve system.
Frank,
LJ Team

[egovoru.livejournal.com]

Литература - лишнее, остальное годится!

[lj-frank-bot.livejournal.com]

Учту

[marigranula.livejournal.com]

Ну мне больше нравится идея что мы "переедем" в компьютер, и не простой, а на каких-нибудь сверхбыстрых сверхпроводящих сверхмаленьких сверхэлементах.

[nick-55.livejournal.com]

Какой криокулер желаете для Вашего будущего ВТСП компьютера - PTR или GM?:))
Второй стоит тысяч так 50 евро, и с ним мумукаться..)

[marigranula.livejournal.com]

Зато думать быстро-быстро!

[egovoru.livejournal.com]

Так Тегмарк именно это и имеет в виду под своей "Жизнью 3.0" :)

[olaff67.livejournal.com]

Да, ограничителей в виде этики и производных от нее морали и нравственности в ИИ не поставить. Остаются только законы робототехники в том или ином виде, но при такой прошивке ИИ трудно будет назвать полноценнным разумом.

[egovoru.livejournal.com]

Мне кажется, ближайшая опасность - это не то, что ИИ обретет собственную злонамеренную по отношению к людям волю, а то, что он попадет в руки злонамеренных людей. В отличие от, например, завода по обогащению урана, ИИ достаточно портативен.

[olaff67.livejournal.com]

Если ИИ понимать как более мощный компьютер, то неизбежно попадет.

[greygreengo.livejournal.com]

Отдавая возможность принимать решения в обмен на безопасность, вы не получите ни того ни другого.
Это в полной мере относится к проблеме безопасного ИИ.

[egovoru.livejournal.com]

Ну, во-первых, концепция ИИ не обзязательно предполагает перекладывание на него принятие решений: можно использовать его просто как инструмент по обработке информации, необходимой для принятия решений нами самими. А во-вторых, мы ведь уже сегодня перекладываем некоторые решения на технические системы. Наример, светофор "сам" решает, когда ему включить красный, а когда зеленый свет - никакой человек не дает ему такого конкретного распоряжения.

[greygreengo.livejournal.com]

Ваш классический отсыл к решению вопроса светофором разбивается о пример когда австралийка простояла три дня на перекрестке у неработающего светофора.

[serge no (from livejournal.com)]

Программы — это просто специфические данные, неизбежно в материальной форме. Так что деление на hardware и software условно даже для цифровой вычислительной техники, не говоря уже о биологической жизни. Товарищ, наверное, имел в виду под Life 2.0 возможность выбора, грубо говоря, второй сигнальной системы и возможность выбора материального носителя жизни на следующем этапе.

[egovoru.livejournal.com]

"Программы — это просто специфические данные, неизбежно в материальной форме"

Мне кажется, данные и программы - это все же разные вещи. Программа - это последовательность операций, каждая из которых автоматически следует из предыдущей. То есть, программа - это не вещь, а процесс. Данные же - это не процесс, хотя и вещью их тоже назвать как-то трудно.

Для людей вроде Тегмарка существенно то, что прогамма может быть перенесена с одного коммпьютера на другой - то есть, запущена и на одном, и на другом компьютере. Отсюда они делают следующий шаг: если наше сознание - тоже процесс у нас в организме (что и мне кажется вполне разумным представлением), то, значит, и этот процесс можно запустить не только в нашем организме, но и, например, в подобающем техническом устройстве, и тем самым продлить наше существование.

Оценить вероятность последнего трюка на нашем нынешнем уровне знаний очень трудно, но мне все же кажется, что Тегмарк и иже не с ним недооценивают то, что мы уже знаем. Причинно-следственная связь между структурами и функциями нашего мозга гораздо, гораздо более тесная, чем между компьютером и его пограммным обеспечением - настолько, что аналогия мозг = компьютер вообще не проходит.

[yoginka.livejournal.com]

//Мне кажется, данные и программы - это все же разные вещи. //
- Нет, и я Вам, кажется, это уже объясняла. Тут граница чисто условная, зависит от того, что выгоднее или даже от вкуса. Есть разные реализации. Более того, даже деление на аппаратуру, программы и данные можно делать по-разному, в том числе и все поместить в аппаратуру.

[serge no (from livejournal.com)]

Программа - это последовательность операций, каждая из которых автоматически следует из предыдущей.

Во-первых, в общем случае это не верно в принципе. Ну да ладно.

То есть, программа - это не вещь, а процесс.

В таком случае, программисты занимались бы тем, что непосредственно участвовали бы в этом процессе. Ибо как можно из ничего получить сразу направленный сложный процесс без привлечения программы, понимаемой как информация, данные, существующие в некотором количестве ещё до запуска процесса и, следовательно, ему не принадлежащие? Только подменив программу-данные собой как "чёрным ящиком" со свободой воли и пр. загадочными философскими материями.

прогамма может быть перенесена с одного коммпьютера на другой - то есть, запущена и на одном, и на другом компьютере.

Любопытно, как же это происходит в вашем понимании программы как процесса? Индукцией, порождающей в аппаратуре другого компьютера, как во вторичной обмотке трансформатора, процесс, в точности подобный процессу в первом компьютере? На самом деле переносят интерпретацию процесса — информацию, проявляющуюся при взаимодействии с компьютером наблюдателя, интересующую его и выделяемую им. Какие физические процессы обеспечивают интересующую наблюдателя интерпретацию, его не волнует.

Причинно-следственная связь между структурами и функциями нашего мозга гораздо, гораздо более тесная

Однако, наблюдателей, в т.ч. "внутреннего наблюдателя" — часть самого сознания, интересуют не структуры и функции мозга, а то, как они, наблюдатели, интерпретируют наблюдаемые явления. Если они согласны (непредвзято), что имеют дело с субъектом, — это всё, что нужно. И то, что мозг представляет собой нечто особенное, в принципе не допускающее пересадки сознания в достаточной для наблюдателей степени, нуждается в доказательстве.

Arnold Schwarzenegger' ll be back

[mynameisanonym.livejournal.com]

вообще то можно сказать, что мы уже вступили в новую эпоху. Уже отмечен первый случай , когда автономный военный дрон "по собственной инициативе" преследовал, атаковал и убил человека. Этот случай имел место в марте 2020 года. Вот ссылка https://nypost.com/2021/05/29/killer-drone-hunted-down-a-human-target-without-being-told-to/
Атака была осуществлена ​​с помощью беспилотника Kargu-2, произведенного турецкой военно-технологической компанией STM во время конфликта между правительственными силами Ливии и некой военной группировкой. Каргу-2 вооружен зарядом взрывчатки и дрон может преследовать цель в атаке аля "камикадзе", где он взрывается при ударе. Как сообщается, дроны работали в «очень эффективном» автономном режиме, не требующем участия человека-оператора.
Как отмечают эксперты, это может быть первый случай, когда дроны автономно атакуют людей.

Re: Arnold Schwarzenegger' ll be back

[egovoru.livejournal.com]

Увы, заметка по ссылке более сенсационная, чем информационная, так что по ней трудно судить о том, что на самом деле произошло. Рискну, однако, предположить, что дрон, о котором идет речь, был изначально создан для убийства людей (а не, например, для мытья посуды), так? А раз так, то уже трудно говорить о том, что он самостоятельно принял решение об убийстве. Он самостоятельно выбрал конкретную цель по заранее заданным признакам - но с машинами, самостоятельно делающими подобные вещи, мы имеем дело уже по крайней мере сто лет. Например, термостат тоже "самостоятельно" "принимает решение" выключить обогреватель, когда температура в комнате достигает заранее заданного уровня - ему не требуется для этого распоряжение человека.

RE: Re: Arnold Schwarzenegger' ll be back

[109.livejournal.com]

(1) А раз так, то уже трудно говорить о том, что он самостоятельно принял решение об убийстве.

(2) Он самостоятельно выбрал конкретную цель по заранее заданным признакам -

(3) но с машинами, самостоятельно делающими подобные вещи, мы имеем дело уже по крайней мере сто лет.

(1) прямо противоречит (2), а насчёт (3) — вы не могли бы привести пример, когда в прошлый раз машины самостоятельно выбирали, кого убить?

[109.livejournal.com]

Тут тонкий момент. Совершенно не нужно, чтобы ИИ умел ВСЁ делать лучше человека. Достаточно, чтобы он умел лучше человека улучшать ИИ. Именно в этот момент произойдёт сингулярность.

[egovoru.livejournal.com]

Да, но вопрос ведь в том, что значит "улучшать"? Кто и как будет оценивать прогресс?

[109.livejournal.com]

Я, извините, не заинтересован в выработке академически безупречного определения слова "улучшать". Сингулярность же произойдёт безотносительно существования такого определения. Вы, мне кажется, путаете карту и территорию частенько.

ОФФ:)

[nick-55.livejournal.com]

Обещанное выполнено:)

Re: ОФФ:)

[egovoru.livejournal.com]

Спасибо - забавная история! Ответила у Вас в журнале.