egovoru: (Default)
[personal profile] egovoru

Самой непосредственной опасностью ИИ мне кажется та, что возникает после изобретения любого нового технического средства: что им завладеет условный доктор Но – кто-то из жителей планеты, чьи цели далеки от бентамовского максимального блага для максимального числа людей. Легко представляю я и другой сценарий, многократно обыгранный в научной фантастике: что ИИ, который озадачили, например, оптимизацией производства электроэнергии, решит, что для этого надо уничтожить все человечество.


Да, мы можем ввести в память ИИ какие-то «законы робототехники» наподобие азимовских, но нам все равно не удастся добиться того, чтобы ИИ принимал решения на человеческий манер. Почему? А потому, что мы сами руководствуемся не только сознательными доводами, но и бессознательными соображениями. Даже если мы и сможем воспроизвести в ИИ первые, то вот как смоделировать вторые, если мы сами их не осознаем? Ник Бостром выдвигает интересную идею ИИ, способного постигать человеческие ценности посредством самообучения, но пока неясно, что может из этого получиться.

На третий апокалипсический сценарий, предполагающий наличие у ИИ самостоятельного целеполагания – иными словами, свободы воли – моей фантазии уже не хватает. Мне кажется, свобода воли (вне зависимости от того, иллюзия это или нет) – производное жизни, а ИИ никак не попадает в эту категорию.


Стивен Пинкер вот тоже не может представить себе третьего сценария. Правда, его уверенность, что у женщин якобы нет мегаломании,
выдает в нем человека подозрительно наивного :)

Page 1 of 11 << [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] >>

Date: 2021-10-20 02:01 pm (UTC)
From: [identity profile] lj-frank-bot.livejournal.com
Hello!
LiveJournal categorization system detected that your entry belongs to the category: Технологии (https://www.livejournal.com/category/tehnologii?utm_source=frank_comment).
If you think that this choice was wrong please reply this comment. Your feedback will help us improve system.
Frank,
LJ Team

Date: 2021-10-20 02:03 pm (UTC)
From: [identity profile] hyperboreus.livejournal.com
производное жизни, а ИИ никак не попадает в эту категорию.//

Это если жизнь трактовать узко — только как "способ существования белковых тел". А вот если расширить...

Date: 2021-10-20 02:16 pm (UTC)
From: [identity profile] vsopvs.livejournal.com
не все согласятся, что свобода воли есть и у человека

Date: 2021-10-20 03:02 pm (UTC)
From: [identity profile] alex-new-york.livejournal.com
Мне кажется, главную опасность будет представлять не вышедший из под контроля разбушевавшийся безумный ИИ, а ИИ исключительно умный, интеллигентный и обаятельный, прекрасно понимающий нас с полуслова и предупреждающий малейшие наши желания и потребности. ИИ, способный делать абсолютно всё настолько лучше нас, что любые наши попытки его контролировать и перепроверять будут только создавать нам лишние неудобства. И мы в результате вверим этому ИИ свою судьбу просто потому, что у нас не будет никаких рациональных оснований этого не делать — и совершенно добровольно самоустранимся из исторического процесса, передав бразды правления этой внешней сущности

Date: 2021-10-20 03:33 pm (UTC)
From: [identity profile] evgeniirudnyi.livejournal.com
Как пишут, наибольшую опастность в настоящее время представляет собой организованная киберпреступность, которая завладевает компьютерами фирмы, шифрует все данные, а потом требует деньги. Других опасностей пока не видно. Вряд ли имеет смысл бояться того, чего нет.

Date: 2021-10-20 04:08 pm (UTC)
From: [identity profile] zlata-gl.livejournal.com
Читали ль Вы "Второе нашествие марсиан" Стругацких ?

Date: 2021-10-20 04:32 pm (UTC)
From: [identity profile] torquelimach.livejournal.com
Я не понимаю, почему программа не может поменять свою цель. Вот шахматная программа: 30 первых ходов пытается выиграть, к 31 ходу понимает, что выиграть не может, и сводит партию вничью. Что тут не так?

Date: 2021-10-20 04:34 pm (UTC)
From: [identity profile] alex-new-york.livejournal.com
Да, в последней книге Лукьяненко тот же сюжет обыгрывается, только вместо желудочного сока — разноцветные кристаллы

Проблема в том, что в этих двух литературных произведениях описана мягкая колонизация Земли развитой цивилизацией ради собственных интересов. Я же веду речь совершенно о другом
Edited Date: 2021-10-20 04:35 pm (UTC)

Date: 2021-10-20 05:06 pm (UTC)
From: [identity profile] yoginka.livejournal.com
//Мне кажется, свобода воли (вне зависимости от того, иллюзия это или нет) – производное жизни, а ИИ никак не попадает в эту категорию.//
- Иллюзия она или нет, необходимым условием ее является отсутствие возможности надежно просчитать будущее. А это и нам обеспечено, и ИИ. Так что зря Вы его так дискриминируете :)
(А насчет "целеполагания" у нас с Вами уже была длинная дискуссия, оно есть не только у ИИ, но и у довольно тупых программ. Чего нет у программ — так только квалиа, как у нас).

Date: 2021-10-20 05:13 pm (UTC)
From: [identity profile] vlkamov.livejournal.com
> ИИ, который озадачили, например, оптимизацией производства электроэнергии,
> решит, что для этого надо уничтожить все человечество.

- типичное заблуждение.

В управлении есть цель и есть задачи. Эти задачи нужно решать для достижения цели. Никаких законов роботехники не нужно, если явно определена цель.

Date: 2021-10-20 08:19 pm (UTC)
From: [identity profile] catodon.livejournal.com
Сти́вен Пи́нкер (англ. Steven Pinker; род. 18 сентября 1954, Монреаль) — канадско-американский учёный и популяризатор науки, специализирующийся в области экспериментальной психологии, психолингвистики и когнитивных наук.


Вот жеж мать жеж вашу за ногу, простите мой клатчский. Почему бы по теме ИИ не задать вопрос информатику (не путать с программистом) или математику?! Я, конечно понимаю, что он человек умный и авторитетный, но это же не его область от слова "совсем". Давайте спросим еще лауреата Нобелевки по литературе. Или чемпиона по преферансу. В итоге получаем "способность ИИ постигать человеческие ценности" и прочие умные и красивые, но крайне далекие от реальности высказывания.

Date: 2021-10-20 09:52 pm (UTC)
From: [identity profile] egovoru.livejournal.com
Правильно, Фрэнк!

Date: 2021-10-20 09:55 pm (UTC)
From: [identity profile] about-visotsky.livejournal.com
Осспади, при том хаосе, который творится вокруг, нам только ИИ еще не хватало... :(

Date: 2021-10-20 09:58 pm (UTC)
From: [identity profile] lj-frank-bot.livejournal.com
Отлично

Date: 2021-10-20 10:06 pm (UTC)
From: [identity profile] egovoru.livejournal.com
Я как раз имела в виду предельно расширенное функциональное определение жизни, как способности к самовоспроизведению и дарвиновской эволюции. Компьютеры пока что не обладают этими свойствами.

Date: 2021-10-20 10:12 pm (UTC)
From: [identity profile] egovoru.livejournal.com
Верно, но все же в способности людей ставить себе определенные цели и достигать их мало кто сомневается.

Date: 2021-10-20 10:15 pm (UTC)
From: [identity profile] egovoru.livejournal.com
"ИИ, способный делать абсолютно всё настолько лучше нас"

А что значит "абсолютно все" - как проверить, все или не все, если этого всего - потенциальная бесконечность?

Date: 2021-10-20 10:16 pm (UTC)
From: [identity profile] egovoru.livejournal.com
Да, это мой первый сценарий. Мне он тоже кажется наиболее реальным и потому самым опасным. А как думаете, что можно предпринять, чтобы избежать его?
Edited Date: 2021-10-20 10:16 pm (UTC)

Date: 2021-10-20 10:23 pm (UTC)
From: [identity profile] egovoru.livejournal.com
Насколько я понимаю, такая смена целей все же изначально предусмотрена алгоритмом шахматной программы. А вот представить себе, что шахматная программа вдруг сама собой захотела сыграть не в шахматы, а в го, наверное, трудновато?

Date: 2021-10-20 10:29 pm (UTC)
From: [identity profile] egovoru.livejournal.com
"необходимым условием ее является отсутствие возможности надежно просчитать будущее"

Интересная мысль, впервые с ней сталкиваюсь. Но этому условию удовлетворяет вообще все, что существует, так что необходимого условия тут маловато, нужно еще и достаточное.

"А насчет "целеполагания" у нас с Вами уже была длинная дискуссия, оно есть не только у ИИ, но и у довольно тупых программ"

Если я правильно помню тот наш разговор, Вы имели в виду, что программы могут самостоятельно выбирать себе промежуточные цели, нужные им для достижения главной цели, поставленной программистом. В данном же случае я имела в виду неспособность программ поменять свою главную цель: например, программа, созданная для игры в шахматы, не может вдруг сама собой захотеть сыграть в го.

Date: 2021-10-20 10:32 pm (UTC)
From: [identity profile] egovoru.livejournal.com
Мне-то кажется, что эта проблема постоянно возникает даже не только у ИИ, но и у нас самих. Например, если цель - построение коммунизма, допустимо ли загнать полстраны в лагеря? Если цель - благополучие немецкого народа, допустимо ли изничтожение евреев? И т.д.

Date: 2021-10-20 10:37 pm (UTC)
From: [identity profile] egovoru.livejournal.com
Да, Пинкер, конечно - не computer scientist, но это видео выскочило первым на мой запрос :)

Ник Бостром, на книжку которого я ссылаюсь в посте, тоже не computer scientist, а философ. Он, кстати, целую первую главу посвятил демонстрации того, как плохо сбываются прогнозы развития computer science, сделанные самими computer scientists - с намеком, по-видимому, что ему, как философу, это удастся лучше :)

А кого бы из специалистов Вы посоветовали почитать на эту тему?

Date: 2021-10-20 10:38 pm (UTC)
From: [identity profile] egovoru.livejournal.com
Ну так ведь разработчики ИИ как раз и надеются, что он поможет нам разрулить этот хаос :)

Date: 2021-10-20 10:56 pm (UTC)
From: [identity profile] alex-new-york.livejournal.com
Да, конечно, я просто имел в виду подавляющую часть сегодняшних «человеческих» занятий и профессий, и не придавал фразе «абсолютно всё» столь глобального смысла 😃
Edited Date: 2021-10-20 10:58 pm (UTC)

Date: 2021-10-20 11:04 pm (UTC)
From: [identity profile] vsopvs.livejournal.com
в этом-то никто не сомневается.

сомневаются в том, что для этого требуется свобода воли.
Page 1 of 11 << [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] >>

Profile

egovoru: (Default)
egovoru

January 2026

S M T W T F S
    123
456 78910
111213 14151617
18192021222324
25262728293031

Style Credit

Expand Cut Tags

No cut tags
Page generated Jan. 14th, 2026 04:26 pm
Powered by Dreamwidth Studios