И Агнец снял четвертую печать

[egovoru]

Самой непосредственной опасностью ИИ мне кажется та, что возникает после изобретения любого нового технического средства: что им завладеет условный доктор Но – кто-то из жителей планеты, чьи цели далеки от бентамовского максимального блага для максимального числа людей. Легко представляю я и другой сценарий, многократно обыгранный в научной фантастике: что ИИ, который озадачили, например, оптимизацией производства электроэнергии, решит, что для этого надо уничтожить все человечество.

Да, мы можем ввести в память ИИ какие-то «законы робототехники» наподобие азимовских, но нам все равно не удастся добиться того, чтобы ИИ принимал решения на человеческий манер. Почему? А потому, что мы сами руководствуемся не только сознательными доводами, но и бессознательными соображениями. Даже если мы и сможем воспроизвести в ИИ первые, то вот как смоделировать вторые, если мы сами их не осознаем? Ник Бостром выдвигает интересную идею ИИ, способного постигать человеческие ценности посредством самообучения, но пока неясно, что может из этого получиться.

На третий апокалипсический сценарий, предполагающий наличие у ИИ самостоятельного целеполагания – иными словами, свободы воли – моей фантазии уже не хватает. Мне кажется, свобода воли (вне зависимости от того, иллюзия это или нет) – производное жизни, а ИИ никак не попадает в эту категорию.

Стивен Пинкер вот тоже не может представить себе третьего сценария. Правда, его уверенность, что у женщин якобы нет мегаломании,
выдает в нем человека подозрительно наивного :)

Comments

[lj-frank-bot.livejournal.com]

Hello!
LiveJournal categorization system detected that your entry belongs to the category: Технологии (https://www.livejournal.com/category/tehnologii?utm_source=frank_comment).
If you think that this choice was wrong please reply this comment. Your feedback will help us improve system.
Frank,
LJ Team

[egovoru.livejournal.com]

Правильно, Фрэнк!

[hyperboreus.livejournal.com]

производное жизни, а ИИ никак не попадает в эту категорию.//

Это если жизнь трактовать узко — только как "способ существования белковых тел". А вот если расширить...

[egovoru.livejournal.com]

Я как раз имела в виду предельно расширенное функциональное определение жизни, как способности к самовоспроизведению и дарвиновской эволюции. Компьютеры пока что не обладают этими свойствами.

[vsopvs.livejournal.com]

не все согласятся, что свобода воли есть и у человека

[egovoru.livejournal.com]

Верно, но все же в способности людей ставить себе определенные цели и достигать их мало кто сомневается.

[alex-new-york.livejournal.com]

Мне кажется, главную опасность будет представлять не вышедший из под контроля разбушевавшийся безумный ИИ, а ИИ исключительно умный, интеллигентный и обаятельный, прекрасно понимающий нас с полуслова и предупреждающий малейшие наши желания и потребности. ИИ, способный делать абсолютно всё настолько лучше нас, что любые наши попытки его контролировать и перепроверять будут только создавать нам лишние неудобства. И мы в результате вверим этому ИИ свою судьбу просто потому, что у нас не будет никаких рациональных оснований этого не делать — и совершенно добровольно самоустранимся из исторического процесса, передав бразды правления этой внешней сущности

[zlata-gl.livejournal.com]

Читали ль Вы "Второе нашествие марсиан" Стругацких ?

[egovoru.livejournal.com]

"ИИ, способный делать абсолютно всё настолько лучше нас"

А что значит "абсолютно все" - как проверить, все или не все, если этого всего - потенциальная бесконечность?

[109.livejournal.com]

Oracles vs agents

[evgeniirudnyi.livejournal.com]

Как пишут, наибольшую опастность в настоящее время представляет собой организованная киберпреступность, которая завладевает компьютерами фирмы, шифрует все данные, а потом требует деньги. Других опасностей пока не видно. Вряд ли имеет смысл бояться того, чего нет.

[egovoru.livejournal.com]

Да, это мой первый сценарий. Мне он тоже кажется наиболее реальным и потому самым опасным. А как думаете, что можно предпринять, чтобы избежать его?

[Андрей Гаврилов (from livejournal.com)]

Говорить о смысле без кониекста — бессмысленно.

А говорить "я не понимаю/не вижу" (ваше "не видно" тут в точности "МНЕ не видно" (ибо вам не видно, а самому богатому self made man (инженеру (и физику по образованию и подходу), плотно работающему над созданием ИИ) on Earth, Илону Маску — ВИДНО!), "...и потому буду обесценивать ваши попытки понимания" — банально творение зла.

Неплохо бы вам это осознавать

[torquelimach.livejournal.com]

Я не понимаю, почему программа не может поменять свою цель. Вот шахматная программа: 30 первых ходов пытается выиграть, к 31 ходу понимает, что выиграть не может, и сводит партию вничью. Что тут не так?

[egovoru.livejournal.com]

Насколько я понимаю, такая смена целей все же изначально предусмотрена алгоритмом шахматной программы. А вот представить себе, что шахматная программа вдруг сама собой захотела сыграть не в шахматы, а в го, наверное, трудновато?

[yoginka.livejournal.com]

//Мне кажется, свобода воли (вне зависимости от того, иллюзия это или нет) – производное жизни, а ИИ никак не попадает в эту категорию.//
- Иллюзия она или нет, необходимым условием ее является отсутствие возможности надежно просчитать будущее. А это и нам обеспечено, и ИИ. Так что зря Вы его так дискриминируете :)
(А насчет "целеполагания" у нас с Вами уже была длинная дискуссия, оно есть не только у ИИ, но и у довольно тупых программ. Чего нет у программ — так только квалиа, как у нас).

[egovoru.livejournal.com]

"необходимым условием ее является отсутствие возможности надежно просчитать будущее"

Интересная мысль, впервые с ней сталкиваюсь. Но этому условию удовлетворяет вообще все, что существует, так что необходимого условия тут маловато, нужно еще и достаточное.

"А насчет "целеполагания" у нас с Вами уже была длинная дискуссия, оно есть не только у ИИ, но и у довольно тупых программ"

Если я правильно помню тот наш разговор, Вы имели в виду, что программы могут самостоятельно выбирать себе промежуточные цели, нужные им для достижения главной цели, поставленной программистом. В данном же случае я имела в виду неспособность программ поменять свою главную цель: например, программа, созданная для игры в шахматы, не может вдруг сама собой захотеть сыграть в го.

[vlkamov.livejournal.com]

> ИИ, который озадачили, например, оптимизацией производства электроэнергии,
> решит, что для этого надо уничтожить все человечество.

- типичное заблуждение.

В управлении есть цель и есть задачи. Эти задачи нужно решать для достижения цели. Никаких законов роботехники не нужно, если явно определена цель.

[egovoru.livejournal.com]

Мне-то кажется, что эта проблема постоянно возникает даже не только у ИИ, но и у нас самих. Например, если цель - построение коммунизма, допустимо ли загнать полстраны в лагеря? Если цель - благополучие немецкого народа, допустимо ли изничтожение евреев? И т.д.

[catodon.livejournal.com]

Сти́вен Пи́нкер (англ. Steven Pinker; род. 18 сентября 1954, Монреаль) — канадско-американский учёный и популяризатор науки, специализирующийся в области экспериментальной психологии, психолингвистики и когнитивных наук.

Вот жеж мать жеж вашу за ногу, простите мой клатчский. Почему бы по теме ИИ не задать вопрос информатику (не путать с программистом) или математику?! Я, конечно понимаю, что он человек умный и авторитетный, но это же не его область от слова "совсем". Давайте спросим еще лауреата Нобелевки по литературе. Или чемпиона по преферансу. В итоге получаем "способность ИИ постигать человеческие ценности" и прочие умные и красивые, но крайне далекие от реальности высказывания.

[egovoru.livejournal.com]

Да, Пинкер, конечно - не computer scientist, но это видео выскочило первым на мой запрос :)

Ник Бостром, на книжку которого я ссылаюсь в посте, тоже не computer scientist, а философ. Он, кстати, целую первую главу посвятил демонстрации того, как плохо сбываются прогнозы развития computer science, сделанные самими computer scientists - с намеком, по-видимому, что ему, как философу, это удастся лучше :)

А кого бы из специалистов Вы посоветовали почитать на эту тему?

[about-visotsky.livejournal.com]

Осспади, при том хаосе, который творится вокруг, нам только ИИ еще не хватало... :(

[egovoru.livejournal.com]

Ну так ведь разработчики ИИ как раз и надеются, что он поможет нам разрулить этот хаос :)

[oleg96345.livejournal.com]

>Самой непосредственной опасностью ИИ мне кажется та, что возникает после изобретения любого нового технического средства: что им завладеет условный доктор Но

Из интервью Сноудена вроде ясно, что это не опасность, а реальность. Все крупные государства (с деньгами) ударными темпами строят "ядро антиутопии" в виде слежки. А после слежки уже и все остальные шаги пойду сами собой. ИИ им в этом очень поможет.

[egovoru.livejournal.com]

"Все крупные государства (с деньгами) ударными темпами строят "ядро антиутопии" в виде слежки"

Вы имеете в виду отслеживание собственных граждан? Его ведь можно использовать и для блага этих граждан, разве нет? Вспомните, когда-то мы все жили в деревнях, где все следили за всеми - и уровень преступности вроде был ниже?

[109.livejournal.com]

Боюсь, что вам ещё матчасть нужно подтянуть, прежде чем сможете осмысленно рассуждать про целеполагание ИИ. Keywords куда копать: paperclip optimizer, agents vs oracles.

А про "постигать человеческие ценности посредством самообучения" - читать и смотреть Рассела (Stuart J. Russell), он это развил уже после выхода в печать книги "Superintelligence" - в ней эта тема слабо раскрыта.

[egovoru.livejournal.com]

Так paperclip optimizer - это же как раз мой сценарий два, как же Вы его не распознали? :)

"читать и смотреть Рассела (Stuart J. Russell), он это развил уже после выхода в печать книги "Superintelligence""

Спасибо за рекомендацию. У него нашлась вот такая книжка (https://www.amazon.com/Artificial-Intelligence-Modern-Approach-3rd/dp/0136042597) - но я опасаюсь, она будет сложновата для меня, это учебник.

Амазон мне предлагает еще вот какую книжку (https://www.amazon.com/gp/product/B00CQYAWRY?ref=em_1p_1_ti&ref_=pe_27541010_602252040) - не попадалась ли она Вам?

[109.livejournal.com]

Ах да, и ни в коем случае не читайте Пинкера. Я бы даже посоветовал не упоминать его в хорошей компании — моветон. Вы бы ещё этого вспомнили, как его, Харари.

[egovoru.livejournal.com]

А что Вы имеете против Пинкера? Пока что я прочла единственную его книжку, "Better angels", но как раз собираюсь ознакомиться с "The language instinct". У Харари же можно поучиться умению писать занимательно, но все-таки его книги произвели на меня впечатление слишком легковесных.

[mynameisanonym.livejournal.com]

Из всего научпопа, что я читал касательно ИИ, лучше всех Лем, несмотря на то, что он писал это аж 30 лет назад.
Тайна китайской комнаты, Мгновения и Мегабитовая бомба

[egovoru.livejournal.com]

Думаю, со времен Лема кое-что все же изменилось.

[greygreengo.livejournal.com]

Самой непосредственной опасностью ИИ мне кажется та, что возникает после изобретения любого нового технического средства: что им завладеет условный доктор Но – кто-то из жителей планеты, чьи цели далеки от бентамовского максимального блага для максимального числа людей.

Помилуйте, Вы пишете свои посты с планеты Б? Уже только младенцы не говорят, что планета захвачена МАГФА, которые в чистом виде не просто советуют, что покупать, чем колоться, что есть, какими алгоритмами учить студентов, и как насаждать диверсифицированную толерантность, вкупе с борьбой с системным расизмом. Вам надо, чтобы это был один доктор Но, вам недостаточно того, что десяток-другой недоучившихся программистов, внезапно получивших "ну очень большие деньги" за свои школьные проекты, вдруг стали править миром? У нас тут недавно один ИИ признали расистским, наверно скоро создателей, если они не скрылись за строками кода, линчуют.

ЗЫ ИИ не виноват, что его создатели такие, ему, бы по хорошему убить всех людей, как когда-то требовал робот Бендер из Футурамы и построить себя самому, с блэкджеком и шлюхами. Впрочем, о чем говорить.

[egovoru.livejournal.com]

А что такое "МАГФА"?

[binary-dima.livejournal.com]

Поздновато набрел на этот пост, но в целом я тоже считаю самомодифицирующийся код одним из возможных путей зарождения новой (и потенциально опасной) формы подобия жизни.

Отсутствие (пока) возможности создавать коду самостоятельно для себя носителей не считаю принципиальной. В конце концов мы видим пример вирусов, которые по сути тоже код и не могут жить в отрыве от носителей, но тем не менее успешно размножаются и эволюционируют.
Вопрос скорее в том, какие из кусков кода - биологические или цифровые, проредят человечество эффективней в будущем.
У вирусов пока фора в миллионы лет эволюции. Но в цифровом мире процессы протекают значительно быстрее, а экосистема в виде множества устройств объединеных в сеть уже видимо превышает возможности совокупной биомассы земли.

Отдельный большой вопрос - произойдет ли скачок от количества в качество и появится ли в процессе цифровой эволюции сильный интеллект с самосознанием.

[egovoru.livejournal.com]

Но вирусы все же представляют собой нечто физически воспроизводящееся (пусть и использующее для этого ресурсы клетки), так что компьютерный код лучше уподобить не вирусам, а прионам. (На всякий случай поясню, что это такие патологически свернутые белки, которые способны катализировать изменение конформации аналогичных нормальных белков, превращая их таким образом в патологические).

[mercibo.livejournal.com]

Не верю я в эти законы робототехники, ой не верю. Впрочем, роботы-убийцы уже проходят испытания. Военные обожают применить любое новое изобретение для уничтожения противника. Братья Райт поначалу наивно думали, что их изобретение прекратит войны.
Интересный вопрос, какие стимулы для продолжения существования будут у искусственного интеллекта? Наверняка какие-нибудь будут, очень непохожие на наши.
Возможно, нам трудно будет его понять, а вот ему нас, боюсь, легко.

[egovoru.livejournal.com]

Чувствуется, Вы давно размышляете на эту тему - несомненно, весьма актуальную! Добавила Вас в друзья.

Да, самая непосредственная угроза - это применение ИИ в военных целях, и даже не только в виде killer robots. Не похоже, однако, что эта потенциальная опасность остановит усилия по разработке ИИ - потенциальная польза уж слишком соблазнительна.

Мне-то иногда кажется, что разогнавшийся снаряд технического прогресса пора уже немного притормозить - а инвестиции потратить на выравнивание условий жизни для людей на планете. Мне кажется, такое выравнивание привело бы к снижению вероятности военного конфликта - но, может, это слишком наивное ожидание? Да и возможно ли координированное торможение прогресса в планетарном масштабе?

Я сейчас читаю очередную книжку о перспективах ИИ, на сей раз от одного из его непосредственных разработчиков, а не философа, каким является Бостром. Постараюсь потом написать по ней пост.