Никто не узнает моей глубины

[egovoru]

Клод Шеннон заведомо исключил из своей теории информации намерение количественно оценить смысл сообщения. Я думала, еще никому не удалось подступиться к этой проблеме, но Тор Норретрандерс рассказывает о таких попытках.

Вычисление – это способ избавиться от лишней информации, замечает Норретрандерс. Еще в 1980-х Чарлз Беннет предложил концепцию логической глубины, которая определяется количеством времени, затраченным отправителем сообщения на вычисления, результат которых он отправляет получателю. Норретрандерс усматривает здесь связь со смыслом.

Смысл, как подтвердит уважаемый staerum – ценностная категория. Ценность высказывания, утверждает Норретрандерс, пропорциональна не его длине, а количеству информации, отброшенной в ходе размышлений, чтобы его сформулировать: «Изводишь единого слова ради тысячи тонн словесной руды».

Для обозначения этой отброшенной информации он предлагает новый термин, «эксформация»: «Эксформация перпендикулярна информации. Эксформация – это то, что отбрасывается на пути к высказыванию. Эксформация характеризует умственную работу, проделанную нами для того, чтобы сформулировать то, что мы хотим сказать. Эксформация – это отброшенная информация, все, что мы не произносим, но имеем в виду, когда или прежде чем говорим что-либо».

Получатель же сообщения проделывает обратную работу, восстанавливая все те отброшенные отправителем ассоциации – при условии, конечно, что он располагает теми же базовыми знаниями и умениями, позволившими отправителю прийти к сообщаемому результату. Мы вынуждены прибегать к этому сворачиванию и разворачиванию мысли в ходе коммуникации потому, что пропускная способность нашего средства общения – языка – очень мала.

Более того, подчеркивает автор, ссылаясь на труд Манфреда Циммермана, невелика и пропускная способность нашего сознания – всего около 40 бит в секунду. А вот пропускная способность нашего сенсорного восприятия, по оценкам другого физиолога, Карла Кюпфмюллера – между 10 и 100 миллионов бит в секунду. Так что львиная доля воспринимаемой информации до сознания не доходит.

Наглядно иллюстрирует эту диспропорцию явление подсознательного восприятия, способного влиять на наше поведение. Норретрандерс приводит забавный график из книжки Нормана Диксона, показывающий, как уверенность в существовании такого восприятия менялась с годами. Она плавно росла до 1960-х, когда внезапно случился обвал. Что, были получены какие-то опровергающие результаты? Нет, просто производители рекламы решили воспользоваться этим феноменом и стали вставлять разнообразные «двадцать пятые кадры» в свои изделия. Человечество испугалось – сегодня эта практика официально запрещена во многих странах.

Иллюстрация Dave Gray к книжке Тора Норретрандерса (via Flickr).
Мысль отправителя сообщения (слева) движется по нисходящей,
сворачивая дерево в корень, а мысль получателя (справа) – наоборот,
разворачивая корень в крону

Увы, уже не помню, кто из вас порекомендовал мне книжку Норретрандерса, но спасибо ему – книжка оказалась занятной. Она вроде бы посвящена механизмам сознания, но автор заходит очень издалека, начиная свой рассказ с демона Максвелла и обсуждая по пути много всякого интересного. Уважаемый anti0h любезно предоставил ссылку на русский перевод, которого я сама не нашла.

Comments

[lj-frank-bot.livejournal.com]

Hello!
LiveJournal categorization system detected that your entry belongs to the following categories: Литература (https://www.livejournal.com/category/literatura?utm_source=frank_comment), Психология (https://www.livejournal.com/category/psihologiya?utm_source=frank_comment).
If you think that this choice was wrong please reply this comment. Your feedback will help us improve system.
Frank,
LJ Team

[livelight]

> Еще в 1980-х Чарлз Беннет предложил концепцию логической глубины, которая определяется количеством времени, затраченным отправителем сообщения на вычисления, результат которых он отправляет получателю.

— Сорок два! — взвизгнул Лунккуоол. — И это всё, что ты можешь сказать после семи с половиной миллионов лет работы?
— Я всё очень тщательно проверил, — сказал компьютер, — и со всей определённостью заявляю, что это и есть ответ. Мне кажется, если уж быть с вами абсолютно честным, то всё дело в том, что вы сами не знали, в чём вопрос.
— Но это же великий вопрос! Окончательный вопрос жизни, Вселенной и всего такого! — почти завыл Лунккуоол.
— Да, — сказал компьютер голосом страдальца, просвещающего круглого дурака. — И что же это за вопрос?

[staerum.livejournal.com]

Эксформация, что ж. То, что снаружи и задаёт смысл. Хм-хм. Так мы доберёмся назад до неоплатонизма. Хорошее дело.

Тут недавно встретил отличное видео как раз в духе неоплатоников

КДПВ из видео.

[evgeniirudnyi.livejournal.com]

>40 бит в секунду

Все такие подсчеты выглядят гаданием на кофейной гуще.

[oogl.livejournal.com]

Сам по себе умалчиваемый контекст — та же информация.
Если рассматривать нечто перпендикулярное информации, то это данные — их количество никак не соотносится с информацией, которую они несут.

[wampus-999.livejournal.com]

У Соколова А.В. в "Философии информации" (с.26) говорится, что в Шенноновской теории информации речь идет о коммуникации – о передаче сигнала. То есть о материальной ипостаси информации. При этом фактически отождествляются информация и сигнал. Его главный труд так и называется: Математическая теория коммуникации, 1948.

"Необходимо заметить, что Клод Шеннон был очень осторожен в употреблении термина «информация». Не случайно свою основополагающую статью он назвал не «теория информации», а «теория коммуникации». Дело в том, что теория Шеннона, получившая впоследствии псевдоним «шенноновская теория информации», на самом деле касается больше передачи сигналов, несущих информацию, чем информации в обыденном понимании (сведения, смыслы). Она заботится об обеспечении надежной техники связи, а не о понимании адресатом смысла сообщения. Правы взыскательные ученые, упрекавшие математиков за «узурпацию» названия науки о подлинной информации."

Для оценки же смыслового уровня информации нужна семантическая теория информации. И она вряд ли будет математической. Еще цитата оттуда же:

"Под смыслом сообщения понимаются знания, умения, эмоции, волевые побуждения, фантазии, являющиеся продуктами индивидуальной психической деятельности, которые могут быть поняты другими людьми. Понимание — необходимое условие движения семантической информации."

Как видим, к математике это никаким боком. Для этого сначала нужно как минимум человека оцифровать.

[snk1965.livejournal.com]

Эксформация – это, по сути, контекст, создаваемый (выделяемый) автором вместе с текстом. И мысли без контекста – не существует.
Спасибо, красиво выделено и сформулировано,
Я подобным образом сейчас рассматриваю не только процессы индивидуального мышления (обдумывания до понимания) и общения (обмена понятым), но и биопроцессы - генетику и эпигенетику, которые, на мой взгляд, тоже сущностно едины.

PS За книжку – спасибо, надо поискать где-нибудь в epub'е.

[alaric-.livejournal.com]

> Для обозначения этой отброшенной информации он предлагает новый термин, «эксформация»: «Эксформация перпендикулярна информации. Эксформация – это то, что отбрасывается на пути к высказыванию. Эксформация характеризует умственную работу, проделанную нами для того, чтобы сформулировать то, что мы хотим сказать. Эксформация – это отброшенная информация, все, что мы не произносим, но имеем в виду, когда или прежде чем говорим что-либо».

> Получатель же сообщения проделывает обратную работу, восстанавливая все те отброшенные отправителем ассоциации – при условии, конечно, что он располагает теми же базовыми знаниями и умениями, позволившими отправителю прийти к сообщаемому результату. Мы вынуждены прибегать к этому сворачиванию и разворачиванию мысли в ходе коммуникации потому, что пропускная способность нашего средства общения – языка – очень мала.

Мне представляется, что здесь совершенно не учитывается, что разный отправитель, отправляя фактически одно и то же, мог проделать разную работу, и разный получатель тем более при одном и том же сообщении проделает совершенно разную работу.

Например, если рассказать мне, как решать квадратные уравнения, я вообще не получу новой информации, — я и так знаю, как это делать. А не слишком продвинутый семиклассник, вероятно, новую информацию получит.

У нас в "рациотусовке" для этого используется жаргонное слово "дельта". "Получил большую дельту": узнал что-то серьёзно новое, вероятно, как-то радикально меняющее какие-то убеждения. "Получил маленькую дельту": мне говорили что-то, что я и так практически знал (ну или как вариант, что мне не слишком интересно). Впрочем, переходить от качественных оценок к количественным мы не пытались.

[egovoru.livejournal.com]

Не совсем, но за неимением лучшего сойдет.

[egovoru.livejournal.com]

А мне идея логической глубины в принципе нравится. Другое дело, что она полезна только в ситуации, когда мощность вычислительной системы - постоянная величина. А то, если мы начнем сравнивать количество времени, затраченного на получение некоего вычислительного результата очень быстро работающей машиной, с количеством времени, затраченным для получения другого вычислительного результата очень медленно работающей машиной, то получится абсурд. Сравнивать можно только логическую глубину результатов, полученных одной и той же машиной или машинами сравнительной мощности.

[egovoru.livejournal.com]

Почему же эксформация вдруг "снаружи"? Это просто те промежуточные этапы вычисления, которые их автор почитает само собой разумеющимися (то есть, предполагает способность получателя сообщения проделать их самостоятельно). Ничего внешнего я тут не вижу.

А что это за солнышко в середине 3-х из Ваших картинок? Или это шестеренка ?

[livelight]

Что такое "логическая глубина результатов"? не вижу смысла за этим набором слов.
Если мерой компьютерной работы считать усталость, то можно для любой задачи найти гиперэкспоненциальный алгоритм, пущай устаёт.

Или таки следует выбирать короткие пути?
https://livelight.livejournal.com/664401.html
https://avva.livejournal.com/3656270.html?thread=191331918#t191331918 (открытый коммент)

А если короткие пути есть, но мы их пока что не нашли? Люди пока что даже не знают точно, совпадают ли классы задач P и NP.

[egovoru.livejournal.com]

Ну вот, Пастернака не читал, но осуждаю :)

Я не уверена, что у меня есть доступ к цитируемой Нерретрандерсом книжке, но это ведь учебник, так что вряд ли туда включили какие-то непроверенные сведения. Не знаю, как получена эта цифра Циммерманном, но Британская энциклопедия пишет (https://www.britannica.com/science/information-theory/Physiology) следующее:

"Interestingly enough, when researchers sought to measure information processing capabilities during “intelligent” or “conscious” activities, such as reading or piano playing, they came up with a maximum capability of less than 50 bits per second. For example, a typical reading rate of 300 words per minute works out to about 5 words per second. Assuming an average of 5 characters per word and roughly 2 bits per character yields the aforementioned rate of 50 bits per second. Clearly, the exact number depends on various assumptions and could vary depending on the individual and the task being performed."

[staerum.livejournal.com]

Чтобы что-то посчитать "само собой разумеющимся" нужен общий контекст, т.е. мир. Наружа. Как иначе можно что-то отбросить, если не наружу?

Это свет. Medium.

[egovoru.livejournal.com]

"Сам по себе умалчиваемый контекст — та же информация"

Да, конечно, но Нерретрандерс хочет подчеркнуть, что она не содержится в передаваемом сообщении, а только имплицитно подразумевается.

"данные — их количество никак не соотносится с информацией, которую они несут"

Вы, вероятно, имеете в виду, что смысл данных понятен только тому, кто может их интерпретировать? Русский текст, скажем, Евгения Онегина содержит определенное количество информации, но не имеет никакого смысла для, скажем, японца, не умеющего читать по-русски.

[egovoru.livejournal.com]

"теория Шеннона, получившая впоследствии псевдоним «шенноновская теория информации», на самом деле касается больше передачи сигналов, несущих информацию"

Да, именно так - и сам Шеннон всячески это подчеркивал.

"Под смыслом сообщения понимаются знания, умения, эмоции, волевые побуждения, фантазии, являющиеся продуктами индивидуальной психической деятельности, которые могут быть поняты другими людьми"

Честно сказать, я не понимаю это определение - по-моему, оно ничего не определяет. Что же касается попыток измерить смысл, то, как я и написала в посте, мне казалось, это дело безнадежное. Но, как выяснилось, люди над этим работают. Концепция логической глубины как меры времени, затраченного на формулировку сообщения, кажется мне интересным начинанием. А Вам?

[egovoru.livejournal.com]

"Эксформация – это, по сути, контекст, создаваемый (выделяемый) автором вместе с текстом"

Скорее, это контекст, общий для отправителя и получателя сообщения. Понятно, что, если такого общего контекста нет, то получателю не удастся "развернуть" свернутое дерево эксформации - иными словами, он просто ничего не поймет.

К сожалению, концепция эксформации - только качественная, во всяком случае, Нерретрандерс признается, что пока что никто не придумал, как эту самую эксформацию считать. В этом смысле концепция логической глубины как времени, затраченного на формулировку сообщения, кажется более практически полезной.

[egovoru.livejournal.com]

"разный отправитель, отправляя фактически одно и то же, мог проделать разную работу, и разный получатель тем более при одном и том же сообщении проделает совершенно разную работу"

Да, мне это тоже сразу бросилось в глаза. Концепция логической глубины имеет смысл только для сравнения высказываний одного и того же устройства - ну, или устройств одинакового быстродействия. Более того, придется, наверное, учитывать не только мощность процессора, но и объем и содержание памяти, поскольку это тоже, очевидно, влияет на скорость вычислений.

Тем не менее, концепция логической глубины и мне кажется интересным заделом, как и автору книжки. Его собственная концепция эксформации, увы, лишена каких бы то ни было перспектив выхода на количественный уровень - во всяком случае, сам он их не видит, и мне тоже ничего путного в голову не приходит. А Вам?

[egovoru.livejournal.com]

Под результатом (вычисления) тут имеется в виду любое утверждение, ибо процесс человеческого мышления тоже рассматривается как вычисление.

"Если мерой компьютерной работы считать усталость"

Не усталость, а количество затраченного времени. Грубо говоря, утверждение "ХХХХ" имеет больше логической глубины, если для его получения компьютеру пришлось работать дольше, чем для получения утверждения "YYYY". Конечно, такое сравнение имеет смысл только для утверждений, полученных одним и тем же компьютером - ну, или компьютерами одинаковой мощности, имеющими доступ к одной и той же базе данных.

[oogl.livejournal.com]

Да, типа того, информация и данные ортогональны, даже полное отсутствие данных может нести инфлрмацию и наоборот.

[egovoru.livejournal.com]

Да, общий контекст, но этот контекст ведь - содержание памяти и механизмы мышления отправителя и получателя, а не внешний мир?

[egovoru.livejournal.com]

Я все же склоняюсь к тому, чтобы зарезервировать слово "информация" для того, что обозначил этим словом Шеннон, а смысл так и называть смыслом - или, если угодно, ценностью высказывания.

[staerum.livejournal.com]

Содержание памяти это опыт мира отпечатанный в сознании, а механизмы мышления это опыт мира, отпечатанный в теле (если рассматривать эти механизмы как эволюционные приобретения, конечно). Т.е. вы буквально разделили мир на два основных механизма формирования субъекта и обозначили их как не связанные с миром. Как можно получить содержание памяти и механизмы мышления без системы, которая производит то и другое?

[egovoru.livejournal.com]

"Содержание памяти это опыт мира отпечатанный в сознании, а механизмы мышления это опыт мира, отпечатанный в теле"

Согласна, но ведь то, что мы все живем в одном и том же мире, вовсе не гарантирует нам понимания, т.е., разворачивания того дерева смыслов, которое содержит полученное сообщение? (Вспомните хотя бы некоторые обсуждения в ЖЖ, протекающие по типу "глухой глухого звал к суду судьи глухого"). Для понимания нужна именно интернализованная часть этого мира, общая для отправителя и получателя.

[staerum.livejournal.com]

Конечно, если разговаривать с камнем он не поймёт. Но сама возможность иметь общую модель обеспечена 1) существованием мира 2) свойством мира создавать субъектов, способных нести разделяемую модель, т.е. иметь общую смысловую сферу. Так что вот она и вылезает "Эксформация" суть указание на существование общей смысловой сферы.