И Агнец снял четвертую печать

Самой непосредственной опасностью ИИ мне кажется та, что возникает после изобретения любого нового технического средства: что им завладеет условный доктор Но – кто-то из жителей планеты, чьи цели далеки от бентамовского максимального блага для максимального числа людей. Легко представляю я и другой сценарий, многократно обыгранный в научной фантастике: что ИИ, который озадачили, например, оптимизацией производства электроэнергии, решит, что для этого надо уничтожить все человечество.

( И я взглянул: конь бледен, на нем же мощный всадник – Смерть )