И Агнец снял четвертую печать

[egovoru]

Самой непосредственной опасностью ИИ мне кажется та, что возникает после изобретения любого нового технического средства: что им завладеет условный доктор Но – кто-то из жителей планеты, чьи цели далеки от бентамовского максимального блага для максимального числа людей. Легко представляю я и другой сценарий, многократно обыгранный в научной фантастике: что ИИ, который озадачили, например, оптимизацией производства электроэнергии, решит, что для этого надо уничтожить все человечество.

Да, мы можем ввести в память ИИ какие-то «законы робототехники» наподобие азимовских, но нам все равно не удастся добиться того, чтобы ИИ принимал решения на человеческий манер. Почему? А потому, что мы сами руководствуемся не только сознательными доводами, но и бессознательными соображениями. Даже если мы и сможем воспроизвести в ИИ первые, то вот как смоделировать вторые, если мы сами их не осознаем? Ник Бостром выдвигает интересную идею ИИ, способного постигать человеческие ценности посредством самообучения, но пока неясно, что может из этого получиться.

На третий апокалипсический сценарий, предполагающий наличие у ИИ самостоятельного целеполагания – иными словами, свободы воли – моей фантазии уже не хватает. Мне кажется, свобода воли (вне зависимости от того, иллюзия это или нет) – производное жизни, а ИИ никак не попадает в эту категорию.

Стивен Пинкер вот тоже не может представить себе третьего сценария. Правда, его уверенность, что у женщин якобы нет мегаломании,
выдает в нем человека подозрительно наивного :)