Потому что все оттенки смысла

[egovoru]

Когда Рассел Стендиш пишет, что сознательный агент получает на входе цепочку нулей и единиц, он, к сожалению, не расшифровывает, какое состояние нейронов он предлагает считать нулем, а какое – единицей. Нервный импульс (потенциал действия) – пороговый процесс, то есть, он либо генерируется «в полный рост», либо вообще не генерируется. Соответственно, вроде бы напрашивается аналогия, что импульс – это и есть единица, а отсутствие импульса – ноль. Однако нейроны общаются между собой совсем не так, как транзисторы.

Исторически первым обнаруженным способом кодировки информации нейронами была частотная модуляция. Это когда определенной интенсивности стимула соответствует определенная частота генерации импульсов (принцип, используемый и в радиотехнике). Такой сигнал – не цифровой, а аналоговый.

Другой способ кодировки – вариация длительности латентного периода до первого импульса: слабый стимул – длинный период, сильный – короткий. То есть, опять же – аналоговый сигнал; и есть еще много способов кодировки, опять же использующих аналоговые сигналы. Конечно, само время может оказаться квантованным – но нейроны оперируют на временнóй шкале, существенно превышающей планковскую, и их деятельность хорошо описывается непрерывными функциями (то есть, определенными на континууме действительных чисел).

Размышляя о природе сознания, наверное, следует иметь в виду эту непрерывность – а то после оцифровки некоторые «оттенки смысла» могут-таки невзначай оказаться за бортом ;)

Comments

[re-xor.livejournal.com]

На тему "мозг - компьютер" есть интересная статья "Engines of the Brain:
The Computational Instruction Set of Human Cognition"
http://www.aaai.org/ojs/index.php/aimagazine/article/download/1877/1775
В рамках данной гипотезы, вычисления - это комбинации типовых элементов. В том числе, там и временные кодирования учитываются, насколько помню (давно читал).

А если говорить про аналоговость, то ведь если вселенная не поддается "оцифровке", то все здание подобных теорий сразу же и рушится. А если поддается, то значит и мозг хотя бы на фундаментальном уровне - цифровой.

[egovoru.livejournal.com]

Спасибо за статью, попробую ее почитать.

Насколько я понимаю, вопрос о том, поддается ли оцифровке Вселенная, упирается в вопрос о природе пространства и времени: считать их непрерывными или квантованными? Опять же, если я правильно понимаю, сейчас исследование этих вещей уперлось в стену, потому что предложенные гипотезы невозможно проверить экспериментально из-за технических ограничений.

С нейронами же, на мой взгляд, ситуация иная. Сознание (если под ним мы станем понимать именно человеческое сознание - т.е., нечто, свойственное человеку, но не свойственное комару; беру пример Хофштадтера, он почему-то неравнодушен к комарам ;) возникает на таком структурном уровне (шкале расстояний), на каком возможная квантованность пространства заведомо не играет роли - как, скажем, квантовые эффекты не играют роли в траектории падения подброшенного вверх камня. То же самое и со временем: активность нейронов осуществляется в миллисекундной шкале, когда, опять же, никаких эффектов возможной квантованности времени ожидать не приходится. И в этих физиологических пределах для описания работы мозга лучше подходят непрерывные функции.

Правда, будучи плохо знакома с трудами тех, кто уподобляет мозг компьютеру, я могу совершенно заблуждаться на счет того, в чем именно они видят аналогию. Еще один вариант, который я могу себе представить, это что они усматривают квантованность в работе химического синапса: там, действительно, действую индивидуальные молекулы нейромедиаторов. Аналогично, изменение потенциала на мембране возникает за счет квантованного процесса: транспорта индивидуальных ионов. Но, опять же, эти процессы сами по себе - еще не сознание. Сознание же требует интеграции не только всех этих молекулярных явлений, но и интеграции колоссального количества клеток в единый мозг.

[re-xor.livejournal.com]

>>> упирается в вопрос о природе пространства и времени: считать их непрерывными или квантованными?

Тот же Ллойд например, без тени сомнения заявляет, что на фундаментальном уровне вселенная дискретна, так как кванты - это и есть проявление этой дискретности.

>>> И в этих физиологических пределах для описания работы мозга лучше подходят непрерывные функции.

Использование непрерывных функций не означает, что мы отказываемся от вычислений. Например, в искусственных нейронных сетях функция активации не дискретна, а в виде сигмоиды часто используется:
http://en.wikibooks.org/wiki/Artificial_Neural_Networks/Activation_Functions
То есть она как бы непрерывная и, в то же время, она дискретна при больших разбросах влево и вправо (переходит в 0 и 1), что удобно.

По большому счету наличие аналоговых процессов "внизу" не означает, что мы на их основе не можем "сверху" сделать квантование за счет структурной организации. Простой пример - микроэлектроника. Там ведь токи и напряжения - вполне себе аналоговые. И транзисторы они ведь не являются идеальными ключами, там тоже вполне себе гладкие функции. Но как в той же сигмоиде могут использоваться крайние состояния для "квантования".

[egovoru.livejournal.com]

Да, реальные транзисторы, используемые в логических цепях, конечно, не являются идеальными переключателями - но играют роль именно таковых, просто их отклонение от идеала не важно.

А вот про искусственные нейронные сети действительно пишут, что "the processing elements in artificial systems are electrical only, and may be either analog, digital, or a hybrid". То есть, аналоговый характер работы нейронов в них явно учитывается. Я думаю, эту сигмоидную функцию активации ввели не для того, чтобы использовать только ее крайние состояния - для этого сгодилась бы и простая ступенька.

[re-xor.livejournal.com]

>>> просто их отклонение от идеала не важно.

Аналогичная история может быть и в случае биологических нейронов.

А сигмоидная функция удобна тем, что в центральной части она может считаться линейной, и кроме того, удобно дифференцируется, что сильно помогает при обучении (подстройке весовых коэффициентов).

[egovoru.livejournal.com]

"Аналогичная история может быть и в случае биологических нейронов".

Та же статья пишет, что сигмоидная функция была выбрана еще и потому, что она близка к ответу реального нейрона, хотя и не идентична ей.

Но правильно ли я понимаю, что создатели этих самых artificial neural networks, в общем-то, не ставят себе задачу смоделировать функцию мозга: они просто заинтересованы в разработке более "гибкого" способа анализа данных и принятия решений?

"ANNs provide an analytical alternative to conventional techniques which are often limited by strict assumptions of normality, linearity, variable independence etc. Because an ANN can capture many kinds of relationships it allows the user to quickly and relatively easily model phenomena which otherwise may have been very difficult or imposible to explain otherwise".

[re-xor.livejournal.com]

Примерно так. Можно добавить еще про эффективность, распараллеливание (по сравнению с обычными последовательными алгоритмами) и т.д.
На эту тему я советую посмотреть, например, недавние посты у ailev, который очень хорошо и подробно пишет на данную тему. Даже простой просмотр этих записей показывает, насколько это революционная область, и насколько там все сейчас быстро меняется.
Например:
http://ailev.livejournal.com/1206793.html
http://ailev.livejournal.com/1201978.html
Ну и там еще много других интересных заметок на сходные темы.

[egovoru.livejournal.com]

Спасибо, действительно, очень интересно - хотя для меня несколько сложновато, я ведь совсем ничего не знаю об этих вещах. Но то, что это - бурно развивающаяся область, даже я догадываюсь ;)

[egovoru.livejournal.com]

Кажется, создание "машинного разума" стало уже (http://a-gorb.livejournal.com/88640.html) домашним хобби ;)

А вот статья, увы, уж слишком специальная :(

[re-xor.livejournal.com]

Такому роботу можно добавить алгоритм обучения с подкреплением, и он сам будет учиться обходить препятствия (примерно как в той диссертации про выделенное внимание, о которой раньше говорил). Дал автору ссылку на сайт с примером.

А в статье, там например, где Matrix Loop, там петля из нейронов, которая реализуется как бы задержку на один такт по времени и за счет этого можно сравнивать сигнал на предыдущем шаге с текущим, то есть обучаться последовательностям и например, распознавать аудио-сигнал за счет этого.