Но теперь настало время для тематики иной

[egovoru]

Роджер Пенроуз – не единственный математик, задумавшийся о механизмах математического мышления. Кит Девлин пошел по той же кривой дорожке и опубликовал аж несколько популярных книг на эту тему. Оригинал одной из них – редкий случай! – бесплатно доступен в сети (на русский ее, кажется, не переводили). Оптимистический тезис, выдвигаемый автором, таков: мы все от природы способны к математике – потому что способны к языку, задействующему те же самые возможности нашего мозга!

Начинает он издалека, констатируя, что все живые существа – и даже некоторые технические устройства, как, например, термостат – способны к категоризации стимулов, поступающих из внешней среды, реагируя на них различным образом: скажем, одни химические вещества привлекают бактерий, другие – наоборот (да, бактериальный хемотаксис, как и термостат – излюбленный пример в таких размышлениях). На вопрос, чем же реакция термостата отличается от реакции бактерии, Девлин отвечает как-то туманно: дескать, для бактерии выделяемые ею категории (он называет их «типами») жизненно важны, а для термостата – нет.

Далее он напоминает, что у низших существ категории жестко генетически запрограммированы, а вот высшие животные за счет пластичности своего мозга способны к созданию новых категорий (иными словами, к образованию условных рефлексов). Именно развитием способности к накоплению все большего числа распознаваемых категорий он объясняет длительный период роста объема головного мозга у наших предков-гоминид.

Способность с созданию категорий тесно связана со способностью к символическому мышлению – тут Девлин пользуется классификацией Пирса и поясняет, что звонок выступает символом пищи для собаки Павлова, поскольку связь между звонком и пищей совершенно произвольна. (То, что этот произвол задан экспериментатором, а не самой собакой, он оставляет без внимания).

Важным этапом нашей эволюции Девлин считает переход к, как он это называет, «оффлайн-мышлению»: к использованию символов, указывающих на объекты вне поля зрения и события, не совершающиеся прямо сейчас. Из органа реагирования на внешние стимулы наш мозг превратился в орган, способный производить стимулы самостоятельно, а реакция на них перестала быть непременно моторной.

Но коллекция категорий-символов – это еще не язык, а протоязык, и именно на этой стадии застревают человекообразные обезьяны, которых исследователи пытаются научить языку. Язык – это коллекция категорий плюс синтаксис, то есть, правила установления связей между категориями.

Вслед за Хомским Девлин считает, что сначала язык появился как инструмент мышления – средство манипуляции символами, а средством коммуникации он стал уже потом. Универсальная грамматика (Девлин убежден в ее существовании) «заточена» под главный предмет нашего обсуждения и в доисторические времена, и сейчас: другие люди, кто из них что делал, когда и с кем. Подавляющее большинство наших разговоров – пересказ сплетен (Девлин приводит цифры в подтверждение этого).

Ну, а причем же здесь математика, и почему только некоторые из нас достигают в ней успеха, если мы все способны к языку? А при том, считает Девлин, что математическое мышление – это те же сплетни, только в роли других людей тут выступают математические объекты. Те, кому удается эта подстановка, и становятся математиками.

Кит Девлин у подножия памятника Эйнштейну в Вашингтоне
(фото 2017 года с его страницы в Стэнфорде)

С некоторых пор я с подозрением стала замечать, что те авторы, чей ясный стиль изложения меня восхищает – как, например, Гай Дойчер – все, как на подбор, оказываются пишущими не на родном языке. Так вот, Кит Девлин – утешительное исключение из этого правила :)

Comments

[egovoru.livejournal.com]

"Вы привели много сомнительных рассуждений автора"

Это потому, что мне показалось, что я по крайней мере поняла, что он хочет сказать - а со многими другими авторами это не так :(

Разумеется, все эти рассуждения нельзя принимать слишком всерьез, потому что это типичный "полет фантазии", а не эмпирическое исследование мыслительного процесса - что и роднит рассуждения этого автора с рассуждениями Пенроуза (помимо общего предмета). Постичь механизм мышления путем интроспекции нельзя, потому что бóльшая его часть протекает бессознательно. Мы пока еще очень, очень далеки от возможности проследить мысль математика step by step - да и неизвестно, возможно ли это в принципе.

"могут быть реализованы одним и тем же (параметризованным и настраиваемым) алгоритмом"

Этот автор, кажется, слова "алгоритм" вообще не употребляет, поэтому непонятно, что он думает по поводу того, можно ли алгоритмизировать математическое мышление.

[yoginka.livejournal.com]

//Этот автор, кажется, слова "алгоритм" вообще не употребляет,//
- Неявно алгоритм упоминается Вами: "Вслед за Хомским Девлин считает..."
И вот почему это так (см. https://en.wikipedia.org/wiki/Universal_grammar)
Согласно Хомскому, языковая структура мозга получилась в результате естественного отбора (https://en.wikipedia.org/wiki/Universal_grammar#Relation_to_the_evolution_of_language)
А в совокупности с тем, что грамматики Хомского самого общего вида (типа 0 по его классификации) эквивалентны машинам Тьюринга, то подразумевается, что универсальный языковый алгоритм "запаян" во врожденные структуры мозга.
//Постичь механизм мышления путем интроспекции нельзя, потому что бóльшая его часть протекает бессознательно. //
- Да. Но тут нет интроспекции. Это подход совсем с другой стороны. Мы можен заучивать алгоритмы и запоминать их в структурах мозга. Хомский всего лишь предположил, что есть врожденная структура, отвечающая за языки.

[egovoru.livejournal.com]

Этот автор не разбирает идеи Хомского подробно, а только мельком их касается. Его собственная мысль очень проста: язык - это манипуляция абстрактными категориями, и математика - это тоже манипуляция абстрактными категориями. А значит, все, кто в принципе способны к языку, способны и к математике - не обязательно в одинаковой степени.

Мне кажется интересным тут другой вопрос. Пусть и язык, и математика - манипуляции абстрактными категориями. Но можем ли мы сказать, что вообще все наше мышление - это манипуляции абстрактными категориями? Очевидно, нет: во-первых, мы говорим о конкретном мышлении как противоположности абстрактному - когда обезьяна думает, как достать подвешенный банан и догадывается вдарить по нему палкой, вроде бы она никакими абстрактными категориями не манипулирует. Также мы говорим и о некоем "образном" мышлении, которое тоже, судя по всему, манипуляцией абстрактными категориями не является. А какие еще типы мышления бывают? И что у них общего, что заставляет нас называть все их мышлениями?

[yoginka.livejournal.com]

//Пусть и язык, и математика - манипуляции абстрактными категориями.//
- Я писала не про весь язык и не про всю математику. Выше (https://egovoru.livejournal.com/208977.html?thread=20512337#t20512337) даже специально выделила жирным шрифтом, что речь идет только о синтаксисе языка и чисто формальном выводе в математике. К семантике языка это не относится, она не алгоритмизируема в общем виде. Типичные математические рассуждения математиков тоже базируются на семантике (у Пенроуза - "понимании"). Можно ли получить такие же внешние результаты без семантики - недоказуемо, и есть два противоположных мнения на этот счет, сторонники Роджера Пенроуза и сторонники Марвина Минского (мне кажется, это самые знаменитые представители этих двух лагерей).

//когда обезьяна думает, как достать подвешенный банан //
- Из предыдущего абзаца следует, что это далеко за пределами той узкой области, к которой применимы абстрактные манипуляции.

[egovoru.livejournal.com]

"К семантике языка это не относится, она не алгоритмизируема в общем виде"

В терминологии этого автора, надо полагать, семантика - это собственно создание категорий. О том, как именно это происходит, алгоритмически или нет, он ничего не пишет. Он утверждает только, что коллекция категорий - это еще не язык, а протоязык.

Кажется немного странным, что и он, и, видимо, Хомский, рассматривают эти два процесса - создания категорий и появление способности манипулировать ими - как независимые. Правда, насколько я поняла Девлина, он считает, что вторая появилась только тогда, когда категорий было накоплено достаточно много, но не очень понятно, почему так?

[yoginka.livejournal.com]

//Кажется немного странным, что и он, и, видимо, Хомский, рассматривают эти два процесса - создания категорий и появление способности манипулировать ими - как независимые.//
- Но это естественно с точки зрения формальных теорий алгоритмов, языков и смежных областей computer science: манипуляция символами сводится к синтаксису (и поэтому алгоритмизируема и может быть "запаяна" в то или иное hardware), а создание категорий, соответствующих этим символам, не сводится, это семантика.

[egovoru.livejournal.com]

"это естественно с точки зрения формальных теорий алгоритмов, языков и смежных областей computer science"

Механическое перенесение представлений из computer science на живую природу уже породило и продолжает порождать много недоразумений. Мне кажется, знаменитая "глокая куздра" ясно показывает, что в естественных языках синтаксис тесно связан с семантикой: мы ведь не только распознаем это предложение как грамматически правильное, но и довольно ясно представляем себе, что именно оно описывает!

[yoginka.livejournal.com]

//Механическое перенесение представлений из computer science на живую природу уже породило и продолжает порождать много недоразумений. //
- Здесь нет механического перенесения. Здесь речь о принципиальной возможности реализации. Если это возможно в ламповых, полупроводниковых и прочих компьютерах, значит это возможно и на любой другой элементной базе (которые эквивалентны между собой). Это о синтаксисе. Про семантику я уже написала выше, что это вопрос открытый. То, что она у нас связана с языком, не вызывает сомнений на субъективном уровне. Но возможность ее реализации на тех же элементных базах (все они эквивалентны машинам Тьюринга) - под сомнением. Поэтому Пенроузу понадобился платонизм, другим - нематериальная душа. (Надо сказать, что последнее время позиции их противников начали укрепляться (см. LLM - https://en.wikipedia.org/wiki/Large_language_model), семантика, понимание, могут быть иллюзиями. Но это уже выход в метафизику, вопрос неразрешимый, так же, как и с сознанием).

[egovoru.livejournal.com]

Судя по этой вики-статье, даже сами их разработчики не уверены, что LLMs можно назвать способными к мышлению:

"NLP researchers were evenly split when asked, in a 2022 survey, whether (untuned) LLMs "could (ever) understand natural language in some nontrivial sense".[74] Proponents of "LLM understanding" believe that some LLM abilities, such as mathematical reasoning, imply an ability to "understand" certain concepts. <...> In contrast, some proponents of the "LLMs lack understanding" school believe that existing LLMs are "simply remixing and recombining existing writing",[78] or point to the deficits existing LLMs continue to have in prediction skills, reasoning skills, agency, and explainability.[74]".

[yoginka.livejournal.com]

Конечно, какая может быть уверенность, если вопрос метафизический, вопрос веры. Я привела ссылку только для полноты картины. Но, надеюсь, Вы согласны, что это не в пользу Пенроуза и подобных теорий, а в пользу его противников. А доказательств тут не может быть в принципе, только доводы "за" или "против".

[egovoru.livejournal.com]

Меня в подобных рассуждениях напрягает всегдашнее уподобление природных объектов плодам человеческих рук. Откуда берется эта тенденция, понятно: мы пытаемся объяснить то, чего мы не знаем, при помощи того, что мы знаем (поскольку сами это создали), и другого способа продвинуться у нас нет.

Но со стороны этот процесс выглядит, право, смешно: как только мы изобретаем очередную новую игрушку (в данном случае, LLM), мы сразу начинаем думать, что и природные объекты (в данном случае, наш собственный мозг) работают именно так - до тех пор, пока мы не изобретем игрушку еще более новую! Человечество уже столько раз наступало на эти грабли, что, казалось бы, можно было бы научиться быть несколько более open-minded, нет?

[yoginka.livejournal.com]

//как только мы изобретаем очередную новую игрушку (в данном случае, LLM), мы сразу начинаем думать, что и природные объекты (в данном случае, наш собственный мозг) работают именно так//
- Я не утверждаю, что в природе сделано именно так. Я утверждаю лишь принципиальную возможность реализовать универсальную грамматику, если есть какие-то полноценные механизмы обработки информации. В то время, когда я этим занималась, у нас это называли "синтаксически ориентированный транслятор". Он сам простой и компактный, и настраивался на любой язык. Однако, чем сложнее язык, более трудоемкая настройка.

[serge no (from livejournal.com)]

А какое отношение к живой природе имеют естественные языки?

[egovoru.livejournal.com]

Да, продукты человеческой деятельности мы обычно к природе не относим, но, тем не менее, называем естественные языки естественными. Очевидно, это слово отражает, что эти языки не возникли по сознательному плану, а "сами собой", и это я и имела в виду.

[serge no (from livejournal.com)]

Естественные языки — штука очень простая (по сравнению с живыми организмами). Чтобы более или менее освоить естественный язык, не нужно даже быть учёным.

В "глокой куздре" смысл по большей части извлекается из морфологических характеристик, а вовсе не из синтаксиса. В русском вообще синтаксис весьма вольный и, соответственно, даёт относительно мало информации.

[egovoru.livejournal.com]

"Естественные языки — штука очень простая"

Более того, это объект совсем другой категории.

"В "глокой куздре" смысл по большей части извлекается из морфологических характеристик, а вовсе не из синтаксиса"

Согласна, но все-таки синтаксис тоже немножко проясняет смысл, тем более, что в этом предложении порядок слов как раз самый стандартный.

[egovoru.livejournal.com]

"Согласно Хомскому, языковая структура мозга получилась в результате естественного отбора"

Это утверждение - какое-то уж очень неоригинальное, потому что любые сложные фенотипические признаки, а способность к языку явно относится к таковым, вряд ли могли возникнуть одномоментно по мановению волшебной палочки. Это ведь не желтые горошины вместо зеленых :)

[yoginka.livejournal.com]

Хомский почему-то считал, что это была единичная мутация. Но его ученик Пинкер от этого отступил и считал, что это происходило постепенно (мы с Вами и это обсуждали уже: https://egovoru.livejournal.com/178886.html?thread=15739078#t15739078)

[egovoru.livejournal.com]

"Хомский почему-то считал, что это была единичная мутация"

Я смутно помню, что вроде говорили о каком-то конкретном гене, отвечающем за строение гортани, в котором есть мутация, отличающая нас от шимпанзе и Ко. Вроде появление именно этой мутации сделало нас способными к произнесению членораздельных звуков (чего обезьяны не могут). Может, Хомский имел в виду это? Но, конечно, прямого отношения к появлению языка эта мутация не имеет: вполне можно представить себе и язык на основе жестов (как язык глухонемых). А уж если считать, что коммуникация тут ни при чем, как считает Хомский, то строение гортани делается совсем уж не важным.

[yoginka.livejournal.com]

Точно не гортань он имел в виду, а мозг. Речь о врожденной универсальной грамматике, встроенной в структуры мозга:
https://en.wikipedia.org/wiki/Universal_grammar

[egovoru.livejournal.com]

"Точно не гортань он имел в виду, а мозг"

Да, я это понимаю, но я подумала, что, может, обнаружение этого единичного "гортанного" гена навело его на мысль, что и с мозгом так? В принципе, единичная мутация может приводить к самым глобальным последствиям, если это мутация в каком-то регуляторном элементе, контролирующем целую программу развития. Другое дело, что у таких мутаций обычно множественные эффекты. Трудно что-то сказать, потому что не очень понятно, ни что, собственно, представляет собой эта универсальная грамматика, ни, тем более, каким образом она осуществляется.

[yoginka.livejournal.com]

Универсальную грамматику и варианты ее реализации (их множество) представить нетрудно (специалистам). Трудно доказать, что она вообще есть, а даже если есть, то как найти те мозговые структуры, которые ее реализуют. А уж о поиске генов, ответственных за это, даже подумать страшно.

[egovoru.livejournal.com]

"Универсальную грамматику и варианты ее реализации (их множество) представить нетрудно (специалистам)"

Придумать можно все, что угодно; вопрос в том, что есть на самом деле? Насколько я помню Пинкера, одно из положений универсальной грамматики - что язык состоит из слов, и это, наверное, действительно универсально - языков не из слов не бывает. Слова группируются в предложения - это, наверное, тоже универсально? А вот что касается базовой структуры предложения, то об этом судить уже труднее - надо знать все языки. Пинкер рисует некие схемы и утверждает, что они универсальные, но тут мы можем только поверить ему на слово.

Помню, еще он пишет, что не все элементы этой универсальной грамматики непременно прослеживаются в любом языке. Это напомнило мне концепцию гомологичности нуклеотидных последовательностей. Когда мы говорим, что группа последовательностей гомологична, это не значит, что можно выделить такие позиции, в которых во всех последовательностях стоит один и тот же остаток. Вопрос еще, конечно в том, насколько эта универсальная грамматика специфична именно для языка, а не отражает особенности нашего мышления вообще.

[yoginka.livejournal.com]

//Придумать можно все, что угодно; вопрос в том, что есть на самом деле? //
- Я уже написала выше о трудностях проверки этого.
//Вопрос еще, конечно в том, насколько эта универсальная грамматика специфична именно для языка, а не отражает особенности нашего мышления вообще//
- Ну так Хомский и утверждал, что не только для языка, но и для чисто формальных рассуждений. Он считал, что это простой рекурсивный алгоритм (и те программы, которые этим занимаются и которые писала я, тоже были такими). Настройка алгоритма на те или иные языки и/или логические рассуждения происходит потом путем задания вручную формального описания синтаксиса того или иного языка (это не домыслы, а практика, в том числе и моя. Но это было до LLM, где настройка происходит иначе.)

А почему Вы так упорно сомневаетесь в возможности наличия врожденных мозговых структур? Разве их нет для других целей?

[egovoru.livejournal.com]

"почему Вы так упорно сомневаетесь в возможности наличия врожденных мозговых структур?"

Совершенно очевидно, что любая функция организма, в том числе и человеческий язык, обеспечивается определенными структурами этого организма - по-другому просто не бывает. Меня смущает не это, а невнятность самой концепции "универсальной грамматики". Но, может быть, мне просто пока не попадалось ее внятное изложение? Или мне не хватает образования, чтобы ее понять? Читать труды самого Хомского мне не хочется - он человек старой гуманитарной школы и почти наверняка не придерживается современных требований к изложению научных гипотез. Из книжки же Пинкера следует, что эта концепция таки крайне невнятная.