Потому что все оттенки смысла

[egovoru]

Когда Рассел Стендиш пишет, что сознательный агент получает на входе цепочку нулей и единиц, он, к сожалению, не расшифровывает, какое состояние нейронов он предлагает считать нулем, а какое – единицей. Нервный импульс (потенциал действия) – пороговый процесс, то есть, он либо генерируется «в полный рост», либо вообще не генерируется. Соответственно, вроде бы напрашивается аналогия, что импульс – это и есть единица, а отсутствие импульса – ноль. Однако нейроны общаются между собой совсем не так, как транзисторы.

Исторически первым обнаруженным способом кодировки информации нейронами была частотная модуляция. Это когда определенной интенсивности стимула соответствует определенная частота генерации импульсов (принцип, используемый и в радиотехнике). Такой сигнал – не цифровой, а аналоговый.

Другой способ кодировки – вариация длительности латентного периода до первого импульса: слабый стимул – длинный период, сильный – короткий. То есть, опять же – аналоговый сигнал; и есть еще много способов кодировки, опять же использующих аналоговые сигналы. Конечно, само время может оказаться квантованным – но нейроны оперируют на временнóй шкале, существенно превышающей планковскую, и их деятельность хорошо описывается непрерывными функциями (то есть, определенными на континууме действительных чисел).

Размышляя о природе сознания, наверное, следует иметь в виду эту непрерывность – а то после оцифровки некоторые «оттенки смысла» могут-таки невзначай оказаться за бортом ;)

Comments

[vlkamov.livejournal.com]

> какое состояние нейронов он предлагает считать нулем, а какое – единицей

Несущественно. Заменим на входах нули на единицы и наоборот (НЕ). Чтобы получить на выходе первоначальный же ответ, достаточно в следующем промежуточном слое тоже сделать НЕ.

В реале же сеть сразу обучается на однородных с задачей примерах. Например, если стоит задача распознать рукописную сумму в банковском чеке, то обучающие примеры - образцы чеков с написанными темными чернилами цифрами. Нет смысла обучать на негативах.
И наши мозги также не приспособлены распознавать негативные изображения.

Стендиш полагает это само собой разумеющимся.

[egovoru.livejournal.com]

Но Вы, опять же, говорите о логической структуре, а меня занимает, так сказать, железо. Как, по Вашему представлению, осуществляется эта схема в конкретном мозгу?

[vlkamov.livejournal.com]

Какая схема ? Нет никакой схемы. Посмотрите на негатив.

[egovoru.livejournal.com]

Простите, но мне пока не удается понять, что Вы хотите сказать :(

[vlkamov.livejournal.com]

Да все уже написано.

Нет необходимости морочить голову проблемой какое состояние считать нулем, а какое единицей.

Это ничтожная проблема.

[egovoru.livejournal.com]

Мне, напротив, это кажется очень важной проблемой. Без ее конкретного решения все разговоры о том, что мозг - это компьютер, кажутся мне в высшей степени дилетантскими :(

Накануне революции.

[verum-corpus.livejournal.com]

Вот тебе эпизод. Интересно? Вот Духовная академия накануне развала. Епископ Феодор умный. Он рассказывал мне, как в Академию приезжал митрополит Макарий, старец восьмидесяти лет. В богословии разбирался. Но его беда была, что он из семинаристов, не получил высшего образования. Тем не менее постепенно дошел до митрополичьего сана. Духовной академии Макарий боялся. Всё же приехал, выразил желание посетить занятия. С дрожью в руках, рассказывал мне Феодор, даю ему расписание. Что выберет? А и выбирать-то нечего, ведь это же вертеп! Застенок! Выбирает – «психология». Я ахнул. Психологию ведет профессор Павел Петрович Соколов. Владыка думал, будут говорить о душе, что-то важное. Пришел, сидит, слушает. Ну, во-первых, душа набок, никакой души нет, «мы изучаем явления психики», вульгарный материализм. Сегодняшняя лекция – тактильные восприятия. И пошел: булавочки, иголочки, рецепторы, ощущения. Проводит опыты, вызывает студентов. И так вся лекция. Вышли. Смотрю, митрополит идет с поникшей головой, серое лицо. «Владыка святый! – говорю ему (все архиереи – владыки), – я вижу, у Вас неблагоприятное впечатление. Зайдите ко мне, я Вам всё расскажу. Не обращайте внимания, владыка, на этих дураков. Это не профессора духовной академии, это дураки духовной академии. И как он смел при Вас излагать всю эту пакость! А знает, что Вы его начальство!» «Да, да... я убогий, не понимаю...», говорит Макарий. «А тут и понимать нечего! Всё вздор!» Так и пошел митрополит оскорбленный, огорченный; я не смог его утешить. Ведь чтобы бороться с Соколовыми, всю сволочь надо разогнать... Так этот Соколов и остался на кафедре. И – до самой революции, когда революции его разогнала.
Вот тебе состояние развала накануне революции!
http://uni-persona.srcc.msu.ru/site/authors/bibihin/losev.htm

[re-xor.livejournal.com]

На тему "мозг - компьютер" есть интересная статья "Engines of the Brain:
The Computational Instruction Set of Human Cognition"
http://www.aaai.org/ojs/index.php/aimagazine/article/download/1877/1775
В рамках данной гипотезы, вычисления - это комбинации типовых элементов. В том числе, там и временные кодирования учитываются, насколько помню (давно читал).

А если говорить про аналоговость, то ведь если вселенная не поддается "оцифровке", то все здание подобных теорий сразу же и рушится. А если поддается, то значит и мозг хотя бы на фундаментальном уровне - цифровой.

[egovoru.livejournal.com]

Спасибо за статью, попробую ее почитать.

Насколько я понимаю, вопрос о том, поддается ли оцифровке Вселенная, упирается в вопрос о природе пространства и времени: считать их непрерывными или квантованными? Опять же, если я правильно понимаю, сейчас исследование этих вещей уперлось в стену, потому что предложенные гипотезы невозможно проверить экспериментально из-за технических ограничений.

С нейронами же, на мой взгляд, ситуация иная. Сознание (если под ним мы станем понимать именно человеческое сознание - т.е., нечто, свойственное человеку, но не свойственное комару; беру пример Хофштадтера, он почему-то неравнодушен к комарам ;) возникает на таком структурном уровне (шкале расстояний), на каком возможная квантованность пространства заведомо не играет роли - как, скажем, квантовые эффекты не играют роли в траектории падения подброшенного вверх камня. То же самое и со временем: активность нейронов осуществляется в миллисекундной шкале, когда, опять же, никаких эффектов возможной квантованности времени ожидать не приходится. И в этих физиологических пределах для описания работы мозга лучше подходят непрерывные функции.

Правда, будучи плохо знакома с трудами тех, кто уподобляет мозг компьютеру, я могу совершенно заблуждаться на счет того, в чем именно они видят аналогию. Еще один вариант, который я могу себе представить, это что они усматривают квантованность в работе химического синапса: там, действительно, действую индивидуальные молекулы нейромедиаторов. Аналогично, изменение потенциала на мембране возникает за счет квантованного процесса: транспорта индивидуальных ионов. Но, опять же, эти процессы сами по себе - еще не сознание. Сознание же требует интеграции не только всех этих молекулярных явлений, но и интеграции колоссального количества клеток в единый мозг.

[egovoru.livejournal.com]

Кажется, создание "машинного разума" стало уже (http://a-gorb.livejournal.com/88640.html) домашним хобби ;)

А вот статья, увы, уж слишком специальная :(

[re-xor.livejournal.com]

>>> упирается в вопрос о природе пространства и времени: считать их непрерывными или квантованными?

Тот же Ллойд например, без тени сомнения заявляет, что на фундаментальном уровне вселенная дискретна, так как кванты - это и есть проявление этой дискретности.

>>> И в этих физиологических пределах для описания работы мозга лучше подходят непрерывные функции.

Использование непрерывных функций не означает, что мы отказываемся от вычислений. Например, в искусственных нейронных сетях функция активации не дискретна, а в виде сигмоиды часто используется:
http://en.wikibooks.org/wiki/Artificial_Neural_Networks/Activation_Functions
То есть она как бы непрерывная и, в то же время, она дискретна при больших разбросах влево и вправо (переходит в 0 и 1), что удобно.

По большому счету наличие аналоговых процессов "внизу" не означает, что мы на их основе не можем "сверху" сделать квантование за счет структурной организации. Простой пример - микроэлектроника. Там ведь токи и напряжения - вполне себе аналоговые. И транзисторы они ведь не являются идеальными ключами, там тоже вполне себе гладкие функции. Но как в той же сигмоиде могут использоваться крайние состояния для "квантования".

[re-xor.livejournal.com]

Такому роботу можно добавить алгоритм обучения с подкреплением, и он сам будет учиться обходить препятствия (примерно как в той диссертации про выделенное внимание, о которой раньше говорил). Дал автору ссылку на сайт с примером.

А в статье, там например, где Matrix Loop, там петля из нейронов, которая реализуется как бы задержку на один такт по времени и за счет этого можно сравнивать сигнал на предыдущем шаге с текущим, то есть обучаться последовательностям и например, распознавать аудио-сигнал за счет этого.

[egovoru.livejournal.com]

Да, реальные транзисторы, используемые в логических цепях, конечно, не являются идеальными переключателями - но играют роль именно таковых, просто их отклонение от идеала не важно.

А вот про искусственные нейронные сети действительно пишут, что "the processing elements in artificial systems are electrical only, and may be either analog, digital, or a hybrid". То есть, аналоговый характер работы нейронов в них явно учитывается. Я думаю, эту сигмоидную функцию активации ввели не для того, чтобы использовать только ее крайние состояния - для этого сгодилась бы и простая ступенька.

[vls-smolich.livejournal.com]

Да почему же так плохо все про нейроны думают? По сути ведь их воспринимают как машины, механизмы -- пусть и простейшие.
Право слово, идеализмом каким-то припахивает. :)
Да живые они, живые. Живут и думают. Мыслят.

[re-xor.livejournal.com]

>>> просто их отклонение от идеала не важно.

Аналогичная история может быть и в случае биологических нейронов.

А сигмоидная функция удобна тем, что в центральной части она может считаться линейной, и кроме того, удобно дифференцируется, что сильно помогает при обучении (подстройке весовых коэффициентов).

[egovoru.livejournal.com]

"Аналогичная история может быть и в случае биологических нейронов".

Та же статья пишет, что сигмоидная функция была выбрана еще и потому, что она близка к ответу реального нейрона, хотя и не идентична ей.

Но правильно ли я понимаю, что создатели этих самых artificial neural networks, в общем-то, не ставят себе задачу смоделировать функцию мозга: они просто заинтересованы в разработке более "гибкого" способа анализа данных и принятия решений?

"ANNs provide an analytical alternative to conventional techniques which are often limited by strict assumptions of normality, linearity, variable independence etc. Because an ANN can capture many kinds of relationships it allows the user to quickly and relatively easily model phenomena which otherwise may have been very difficult or imposible to explain otherwise".

[egovoru.livejournal.com]

Здесь, наверное, многое зависит от того, что мы готовы понимать под "мышлением" (и особенно - "сознанием"). С моей точки зрения, наиболее разумно ограничить область обозначаемого этими словами теми свойствами, которыми в полной мере обладают только дееспособные люди, но не животные, новорожденные младенцы и пациенты в коме.

Такой подход дает нам преимущество сравнительного метода: мы можем сравнивать взрослого дееспособного человека с младенцем и т.п. и пытаться понять, в чем именно состоит их различие. (Панпсихизм, на мой взгляд, плох уже потому, что лишает нас этой ценной возможности сравнения).

Соответственно, в такой системе координат отдельный нейрон - не мыслит; мыслит все же только человек ;) У некоторых высших животных уже есть зачатки этой способности, но опять же - у целого организма, а не у отдельных его элементов. Мышление (и сознание) - это то, что называют некрасивым в русской транскрипции словом "эмерджентное" свойство: то есть, оно появляется у целого, но отсутствует у его компонентов.

[re-xor.livejournal.com]

Примерно так. Можно добавить еще про эффективность, распараллеливание (по сравнению с обычными последовательными алгоритмами) и т.д.
На эту тему я советую посмотреть, например, недавние посты у ailev, который очень хорошо и подробно пишет на данную тему. Даже простой просмотр этих записей показывает, насколько это революционная область, и насколько там все сейчас быстро меняется.
Например:
http://ailev.livejournal.com/1206793.html
http://ailev.livejournal.com/1201978.html
Ну и там еще много других интересных заметок на сходные темы.

[egovoru.livejournal.com]

Спасибо, действительно, очень интересно - хотя для меня несколько сложновато, я ведь совсем ничего не знаю об этих вещах. Но то, что это - бурно развивающаяся область, даже я догадываюсь ;)

[vls-smolich.livejournal.com]

Отделяя человека от прочих животных, вы проводите чёткую границу: куча -- некуча. Получается, что в этом поколении наши предки ещё были животными, а в следующем уже людьми.

[egovoru.livejournal.com]

Да, с проблемой "сколько зерен составляют кучу" мы определенно сталкиваемся, например, при проведении границы между "ребенком" и "взрослым". Понятно, что первое - не есть второе, но как точно определить тот момент, когда ребенок превращается во взрослого? Мы справляемся с этой ситуацией, назначая более или менее условную дату.

Что же касается проведения границы среди наших ископаемых предков, то ситуация осложняется еще и тем, что от них у нас остались только кости, по которым трудновато судить об их умственных способностях ;) Насколько я понимаю, антропологи так и не пришли к единому мнению, скажем, по поводу того, были ли у неандертальцев религия и искусство - потому что те "захоронения", в которых их останки обнаруживают, трудно однозначно интерпретировать :(

Но в том, что мы - по своим умственным способностям - резко отличаемся от любых ныне существующих животных, интеллект которых мы можем непосредственно протестировать, мне кажется, нет сомнений. В любом тесте на умственные способности обезьяны быстро отстают от человеческих детей, когда последние достигают примерно четырехлетнего возраста, когда вчерне завершается формирование человеческого мозга.

Разумеется, результат теста сильно зависит от того, насколько грамотно он поставлен - скажем, в "зеркальном тесте" какие-то животные, возможно, не стирают пятно со лба не потому, что у них нет "я-концепции", а потому, что им плевать на чистоту лба ;) Тем не менее, даже просто оглядываясь вокруг себя, легко увидеть, как мы далеко продвинулись по сравнению с любыми животными ;)

Правда, сознание - не то же самое, что мышление, и о соотношении одного с другим есть разные мнения. Мне представляется, что первое есть (закономерный?) продукт достаточно развитого интеллекта, а не наоборот. В этом смысле, я думаю, что, если нам таки удастся создать достаточно "умные" машины, сознание у них появится само собой - и это, конечно, будет штука посильнее "Фауста" Гете ;)

сознание у них появится само собой

[noname-rambler.livejournal.com]

как вспышка — моментально образуются псевдо-нейронные связи (или что там — я профан абсолютный в нейро-)
хорошее название для научно-фантастического фильма (голливудского конечно, в три де и с максимумом спецэффектов...) — Flash
интересно, есть что-нибудь такое... хотя, если и есть — наверняка какая-нибудь ерунда...
а какую накушку можно было бы слепить! при должном соотношении воображения и чувства меры...
если бы например за дело взялся Стэнли Кубрик (но не Карпентер либо Спилберг)

Re: сознание у них появится само собой

[egovoru.livejournal.com]

По ссылке из моего поста про "зеркальный тест" (http://egovoru.livejournal.com/40104.html) открывается замечательное видео про то, как шимпанзе догадывается до того, что в зеркале она видит саму себя - вот это действительно "flash" ;)