Никто не узнает моей глубины

[egovoru]

Клод Шеннон заведомо исключил из своей теории информации намерение количественно оценить смысл сообщения. Я думала, еще никому не удалось подступиться к этой проблеме, но Тор Норретрандерс рассказывает о таких попытках.

Вычисление – это способ избавиться от лишней информации, замечает Норретрандерс. Еще в 1980-х Чарлз Беннет предложил концепцию логической глубины, которая определяется количеством времени, затраченным отправителем сообщения на вычисления, результат которых он отправляет получателю. Норретрандерс усматривает здесь связь со смыслом.

Смысл, как подтвердит уважаемый staerum – ценностная категория. Ценность высказывания, утверждает Норретрандерс, пропорциональна не его длине, а количеству информации, отброшенной в ходе размышлений, чтобы его сформулировать: «Изводишь единого слова ради тысячи тонн словесной руды».

Для обозначения этой отброшенной информации он предлагает новый термин, «эксформация»: «Эксформация перпендикулярна информации. Эксформация – это то, что отбрасывается на пути к высказыванию. Эксформация характеризует умственную работу, проделанную нами для того, чтобы сформулировать то, что мы хотим сказать. Эксформация – это отброшенная информация, все, что мы не произносим, но имеем в виду, когда или прежде чем говорим что-либо».

Получатель же сообщения проделывает обратную работу, восстанавливая все те отброшенные отправителем ассоциации – при условии, конечно, что он располагает теми же базовыми знаниями и умениями, позволившими отправителю прийти к сообщаемому результату. Мы вынуждены прибегать к этому сворачиванию и разворачиванию мысли в ходе коммуникации потому, что пропускная способность нашего средства общения – языка – очень мала.

Более того, подчеркивает автор, ссылаясь на труд Манфреда Циммермана, невелика и пропускная способность нашего сознания – всего около 40 бит в секунду. А вот пропускная способность нашего сенсорного восприятия, по оценкам другого физиолога, Карла Кюпфмюллера – между 10 и 100 миллионов бит в секунду. Так что львиная доля воспринимаемой информации до сознания не доходит.

Наглядно иллюстрирует эту диспропорцию явление подсознательного восприятия, способного влиять на наше поведение. Норретрандерс приводит забавный график из книжки Нормана Диксона, показывающий, как уверенность в существовании такого восприятия менялась с годами. Она плавно росла до 1960-х, когда внезапно случился обвал. Что, были получены какие-то опровергающие результаты? Нет, просто производители рекламы решили воспользоваться этим феноменом и стали вставлять разнообразные «двадцать пятые кадры» в свои изделия. Человечество испугалось – сегодня эта практика официально запрещена во многих странах.

Иллюстрация Dave Gray к книжке Тора Норретрандерса (via Flickr).
Мысль отправителя сообщения (слева) движется по нисходящей,
сворачивая дерево в корень, а мысль получателя (справа) – наоборот,
разворачивая корень в крону

Увы, уже не помню, кто из вас порекомендовал мне книжку Норретрандерса, но спасибо ему – книжка оказалась занятной. Она вроде бы посвящена механизмам сознания, но автор заходит очень издалека, начиная свой рассказ с демона Максвелла и обсуждая по пути много всякого интересного. Уважаемый anti0h любезно предоставил ссылку на русский перевод, которого я сама не нашла.

Comments

[lj-frank-bot.livejournal.com]

Hello!
LiveJournal categorization system detected that your entry belongs to the following categories: Литература (https://www.livejournal.com/category/literatura?utm_source=frank_comment), Психология (https://www.livejournal.com/category/psihologiya?utm_source=frank_comment).
If you think that this choice was wrong please reply this comment. Your feedback will help us improve system.
Frank,
LJ Team

[egovoru.livejournal.com]

Не совсем, но за неимением лучшего сойдет.

[livelight]

> Еще в 1980-х Чарлз Беннет предложил концепцию логической глубины, которая определяется количеством времени, затраченным отправителем сообщения на вычисления, результат которых он отправляет получателю.

— Сорок два! — взвизгнул Лунккуоол. — И это всё, что ты можешь сказать после семи с половиной миллионов лет работы?
— Я всё очень тщательно проверил, — сказал компьютер, — и со всей определённостью заявляю, что это и есть ответ. Мне кажется, если уж быть с вами абсолютно честным, то всё дело в том, что вы сами не знали, в чём вопрос.
— Но это же великий вопрос! Окончательный вопрос жизни, Вселенной и всего такого! — почти завыл Лунккуоол.
— Да, — сказал компьютер голосом страдальца, просвещающего круглого дурака. — И что же это за вопрос?

[egovoru.livejournal.com]

А мне идея логической глубины в принципе нравится. Другое дело, что она полезна только в ситуации, когда мощность вычислительной системы - постоянная величина. А то, если мы начнем сравнивать количество времени, затраченного на получение некоего вычислительного результата очень быстро работающей машиной, с количеством времени, затраченным для получения другого вычислительного результата очень медленно работающей машиной, то получится абсурд. Сравнивать можно только логическую глубину результатов, полученных одной и той же машиной или машинами сравнительной мощности.

[staerum.livejournal.com]

Эксформация, что ж. То, что снаружи и задаёт смысл. Хм-хм. Так мы доберёмся назад до неоплатонизма. Хорошее дело.

Тут недавно встретил отличное видео как раз в духе неоплатоников

КДПВ из видео.

[egovoru.livejournal.com]

Почему же эксформация вдруг "снаружи"? Это просто те промежуточные этапы вычисления, которые их автор почитает само собой разумеющимися (то есть, предполагает способность получателя сообщения проделать их самостоятельно). Ничего внешнего я тут не вижу.

А что это за солнышко в середине 3-х из Ваших картинок? Или это шестеренка ?

[evgeniirudnyi.livejournal.com]

>40 бит в секунду

Все такие подсчеты выглядят гаданием на кофейной гуще.

[egovoru.livejournal.com]

Ну вот, Пастернака не читал, но осуждаю :)

Я не уверена, что у меня есть доступ к цитируемой Нерретрандерсом книжке, но это ведь учебник, так что вряд ли туда включили какие-то непроверенные сведения. Не знаю, как получена эта цифра Циммерманном, но Британская энциклопедия пишет (https://www.britannica.com/science/information-theory/Physiology) следующее:

"Interestingly enough, when researchers sought to measure information processing capabilities during “intelligent” or “conscious” activities, such as reading or piano playing, they came up with a maximum capability of less than 50 bits per second. For example, a typical reading rate of 300 words per minute works out to about 5 words per second. Assuming an average of 5 characters per word and roughly 2 bits per character yields the aforementioned rate of 50 bits per second. Clearly, the exact number depends on various assumptions and could vary depending on the individual and the task being performed."

[oogl.livejournal.com]

Сам по себе умалчиваемый контекст — та же информация.
Если рассматривать нечто перпендикулярное информации, то это данные — их количество никак не соотносится с информацией, которую они несут.

[egovoru.livejournal.com]

"Сам по себе умалчиваемый контекст — та же информация"

Да, конечно, но Нерретрандерс хочет подчеркнуть, что она не содержится в передаваемом сообщении, а только имплицитно подразумевается.

"данные — их количество никак не соотносится с информацией, которую они несут"

Вы, вероятно, имеете в виду, что смысл данных понятен только тому, кто может их интерпретировать? Русский текст, скажем, Евгения Онегина содержит определенное количество информации, но не имеет никакого смысла для, скажем, японца, не умеющего читать по-русски.

[wampus-999.livejournal.com]

У Соколова А.В. в "Философии информации" (с.26) говорится, что в Шенноновской теории информации речь идет о коммуникации – о передаче сигнала. То есть о материальной ипостаси информации. При этом фактически отождествляются информация и сигнал. Его главный труд так и называется: Математическая теория коммуникации, 1948.

"Необходимо заметить, что Клод Шеннон был очень осторожен в употреблении термина «информация». Не случайно свою основополагающую статью он назвал не «теория информации», а «теория коммуникации». Дело в том, что теория Шеннона, получившая впоследствии псевдоним «шенноновская теория информации», на самом деле касается больше передачи сигналов, несущих информацию, чем информации в обыденном понимании (сведения, смыслы). Она заботится об обеспечении надежной техники связи, а не о понимании адресатом смысла сообщения. Правы взыскательные ученые, упрекавшие математиков за «узурпацию» названия науки о подлинной информации."

Для оценки же смыслового уровня информации нужна семантическая теория информации. И она вряд ли будет математической. Еще цитата оттуда же:

"Под смыслом сообщения понимаются знания, умения, эмоции, волевые побуждения, фантазии, являющиеся продуктами индивидуальной психической деятельности, которые могут быть поняты другими людьми. Понимание — необходимое условие движения семантической информации."

Как видим, к математике это никаким боком. Для этого сначала нужно как минимум человека оцифровать.

[egovoru.livejournal.com]

"теория Шеннона, получившая впоследствии псевдоним «шенноновская теория информации», на самом деле касается больше передачи сигналов, несущих информацию"

Да, именно так - и сам Шеннон всячески это подчеркивал.

"Под смыслом сообщения понимаются знания, умения, эмоции, волевые побуждения, фантазии, являющиеся продуктами индивидуальной психической деятельности, которые могут быть поняты другими людьми"

Честно сказать, я не понимаю это определение - по-моему, оно ничего не определяет. Что же касается попыток измерить смысл, то, как я и написала в посте, мне казалось, это дело безнадежное. Но, как выяснилось, люди над этим работают. Концепция логической глубины как меры времени, затраченного на формулировку сообщения, кажется мне интересным начинанием. А Вам?

[snk1965.livejournal.com]

Эксформация – это, по сути, контекст, создаваемый (выделяемый) автором вместе с текстом. И мысли без контекста – не существует.
Спасибо, красиво выделено и сформулировано,
Я подобным образом сейчас рассматриваю не только процессы индивидуального мышления (обдумывания до понимания) и общения (обмена понятым), но и биопроцессы - генетику и эпигенетику, которые, на мой взгляд, тоже сущностно едины.

PS За книжку – спасибо, надо поискать где-нибудь в epub'е.

[egovoru.livejournal.com]

"Эксформация – это, по сути, контекст, создаваемый (выделяемый) автором вместе с текстом"

Скорее, это контекст, общий для отправителя и получателя сообщения. Понятно, что, если такого общего контекста нет, то получателю не удастся "развернуть" свернутое дерево эксформации - иными словами, он просто ничего не поймет.

К сожалению, концепция эксформации - только качественная, во всяком случае, Нерретрандерс признается, что пока что никто не придумал, как эту самую эксформацию считать. В этом смысле концепция логической глубины как времени, затраченного на формулировку сообщения, кажется более практически полезной.

[alaric-.livejournal.com]

> Для обозначения этой отброшенной информации он предлагает новый термин, «эксформация»: «Эксформация перпендикулярна информации. Эксформация – это то, что отбрасывается на пути к высказыванию. Эксформация характеризует умственную работу, проделанную нами для того, чтобы сформулировать то, что мы хотим сказать. Эксформация – это отброшенная информация, все, что мы не произносим, но имеем в виду, когда или прежде чем говорим что-либо».

> Получатель же сообщения проделывает обратную работу, восстанавливая все те отброшенные отправителем ассоциации – при условии, конечно, что он располагает теми же базовыми знаниями и умениями, позволившими отправителю прийти к сообщаемому результату. Мы вынуждены прибегать к этому сворачиванию и разворачиванию мысли в ходе коммуникации потому, что пропускная способность нашего средства общения – языка – очень мала.

Мне представляется, что здесь совершенно не учитывается, что разный отправитель, отправляя фактически одно и то же, мог проделать разную работу, и разный получатель тем более при одном и том же сообщении проделает совершенно разную работу.

Например, если рассказать мне, как решать квадратные уравнения, я вообще не получу новой информации, — я и так знаю, как это делать. А не слишком продвинутый семиклассник, вероятно, новую информацию получит.

У нас в "рациотусовке" для этого используется жаргонное слово "дельта". "Получил большую дельту": узнал что-то серьёзно новое, вероятно, как-то радикально меняющее какие-то убеждения. "Получил маленькую дельту": мне говорили что-то, что я и так практически знал (ну или как вариант, что мне не слишком интересно). Впрочем, переходить от качественных оценок к количественным мы не пытались.

[egovoru.livejournal.com]

"разный отправитель, отправляя фактически одно и то же, мог проделать разную работу, и разный получатель тем более при одном и том же сообщении проделает совершенно разную работу"

Да, мне это тоже сразу бросилось в глаза. Концепция логической глубины имеет смысл только для сравнения высказываний одного и того же устройства - ну, или устройств одинакового быстродействия. Более того, придется, наверное, учитывать не только мощность процессора, но и объем и содержание памяти, поскольку это тоже, очевидно, влияет на скорость вычислений.

Тем не менее, концепция логической глубины и мне кажется интересным заделом, как и автору книжки. Его собственная концепция эксформации, увы, лишена каких бы то ни было перспектив выхода на количественный уровень - во всяком случае, сам он их не видит, и мне тоже ничего путного в голову не приходит. А Вам?

Мой комментарий к записи «Никто не узнает моей глубины

[livejournal.livejournal.com]

User wampus_999 referenced to your post from Мой комментарий к записи «Никто не узнает моей глубины» от egovoru (https://wampus-999.livejournal.com/309576.html) saying: [...] бы, но ограниченное время жизни поджимает)))) Посмотреть обсуждение, содержащее этот комментарий [...]

[anti0h.livejournal.com]

Кстате, если вдруг кому интересно — книга есть на русском: Иллюзия пользователя. Урезание сознания в размерах
Например тут: royallib .com/book/norretranders_tor/illyuziya_polzovatelya_urezanie_soznaniya_v_razmerah.html

"В 1860-х годах шотландскому физику по имени Джеймс Кларк Максвелл удалось суммировать все, что было на тот момент известно о таких феноменах, как электричество и магнетизм, в четырех коротких уравнениях, которые были столь же важны в плане теории науки, сколь элегантны эстетически", — судя по всему автор достаточно далёк и от физики вообще и от истории науки тем более.
"И в этом смысле уравнения Максвелла действительно были написаны не Максвеллом. Это сделал кто-то внутри него — гораздо более великий, нежели он сам.", — ну да, только это были Хэвисайд и Герц =))
Вот тут показано, как менялось запись уравнения Э-М поля: сначала самим Максвелом (с изобретением Гамильтоном кватерионов), а затем уже Хэвисайдом, Герцем, Эйнштейном и т.д..
thp.uni-koeln .de/gravitation/mitarbeiter/hehl/MaxwellUCL2.pdf

[egovoru.livejournal.com]

"если вдруг кому интересно — книга есть на русском"

Спасибо, сейчас добавлю к посту ссылку на перевод! Наверное, это Вы и посоветовали мне эту книжку - писали о ней у себя в журнале?

"судя по всему автор достаточно далёк и от физики вообще и от истории науки тем более"

Вики пишет, что он "reached a cand.techn.soc-degree from Roskilde University", а потом, похоже, быстро переключился на историю науки, поскольку с 2003 он "Adjunct Professor of the philosophy of science at Copenhagen Business School".

"в этом смысле уравнения Максвелла действительно были написаны не Максвеллом. Это сделал кто-то внутри него — гораздо более великий, нежели он сам"

Не помню уже, что он имеет в виду под "кто-то внутри него", но, полагаю, просто бессознательные процессы нашего мышления, а не что-то потустороннее. Никакой склонности к оккультизму у этого автора не заметно.

А уравнения Максвелла все же не случайно до сих пор называются именно уравнениями Максвелла, хотя форма их записи впоследствии много раз менялась?

[subbotin-alex.livejournal.com]

Отсюда и недопонимание между людьми!
Допустим, отправитель упаковал в сообщение одно "дерево", например, "яблоню", а при распаковке у получателя получилась "груша", поскольку оказалась задействована другая цепочка ассоциаций. ))

[egovoru.livejournal.com]

Да, совершенно верно! Никто не сказал, что эти два дерева - свернутое отправителем и развернутое получателем сообщения - абсолютно идентичны. Напротив, можно смело утверждать, что в большинстве случаев это не так. Удивительно, что все-таки мы как-то ухитряемся понимать друг друга, при таком-то несовершенном способе общения :)

[tver-skoi.livejournal.com]

В семидесятые Шрейдер говорил о тезауросной информации, примерно то, что смейчас сказано о смысловой.

[egovoru.livejournal.com]

Норретрандерс не употребляет термин "смысловая информация", так что расскажите, пожалуйста, что именно тут имеется в виду? И что понимается под "тезаурусной информацией"? И кто такой Шрейдер?

[mikhail-bar.livejournal.com]

Все это близко к Витгенштейну - "мой мир ограничен границами моего языка", в том смысле, что это контекст, внутри которого помещаются тексты, которые я сам произвожу или я воспринимаю от других и пытаюсь их понять. Интересно тут различить непонимание и конфликт интерпретаций. Некоторое количество "ошибочного контекста" всегда есть при восприятии текста другого человека. Но почему иногда следует конфликт, а иногда нет. Думаю, это связано с тем, что понятие "информации" не отражает ценности, насыщенности, разного веса разных текстов. Между тем все тексты имеют не только измерение "объема информации", но и "значимости информации".

[egovoru.livejournal.com]

"все тексты имеют не только измерение "объема информации", но и "значимости информации""

Да, и значимость информации - это именно то, что обычно называют "смыслом". Причем, похоже, значимость высказывания - это все же не то же самое, что его логическая глубина, обсуждаемая в посте. Можно затратить очень много времени на вычисления и таким образом произвести высказывание с очень большой логической глубиной, но при этом ценность этого высказывания все равно будет пшик :(

"Но почему иногда следует конфликт, а иногда нет"

А это уже вопрос из области человеческой психологии. Возможно, некоторые люди болезненнее реагируют на собственное непонимание, чем другие?

[greygreengo.livejournal.com]

-Чтобы понять, кто из них летит в ленинград, пойдем простым и логичным путем.
-Пойдем вместе. (ц)

Выбирая объединение множеств, элементы информации из которых были использованы при построении вычислительных объектов (мер на множествах), неизбежно приходим к тому, что существует ненулевое расстояние между концами перпендикулярных векторов (просто по правилу треугольника), а следовательно и между информацией и "эксформацией". Что в свою очередь означает, что информация обладает смыслом. Данное противоречие отвергает концепцию информации, как вычислимой величины, полностью очищенной от смыслового содержания.

ЗЫ Чтение некоторых книг предполагает наличие бэкграунда, позволяющего отбраковывать идеи и концепции еще на уровне их нестыковок с простым и понятным функциональным анализом, например.

ЗЗЫ -Не читайте до обеда большевистских газет.
- Так ведь никаких других и нет, Филлип Филлипович.
-Вот никаких и не читайте! (ц)

[egovoru.livejournal.com]

"Данное противоречие отвергает концепцию информации, как вычислимой величины, полностью очищенной от смыслового содержания"

Клод Шеннон вроде бы считал иначе?

[ablertus.livejournal.com]

Вообще-то на картинке ни что иное, как схематическое изображение генеративной модели машинного обучения - что-то типа VAE (variational autoencoder). Если вкратце, модели generative deep learning (включая популярные сейчас LLM вроде GPT) состоят из двух частей: энкодера, проецирующего ("сворачивающего") входные данные в "латентное пространство" с меньшим количеством измерений, и декодера, "разворачивающего" их обратно. При этом цель обучения - добиться максимального соответствия на входе и выходе. И судя по написанному в статье, развитие искуственного интеллекта в очередной раз помогает лучше понять работу интеллекта естественного. Реверс инжиниринг своего рода.

[egovoru.livejournal.com]

Так ведь машинное обучение тоже в какой-то мере можно считать процессом передачи сообщения, так что, наверное, не удивительно, что предлагаемая автором метафора годится и для него. А максимальное соответствие на входе и выходе - цель любой коммуникации, не направленной на заведомый обман собеседника.

[ablertus.livejournal.com]

Кстати, концепция эксформации ассоциируется у меня с одним из лучших критериев научности: научная теория должна обьяснять наблюдаемые данные через минимальное количество параметров. Если количество допущений, нужных для обьяснения данных, превышает количество самих данных, то теория псевдонаучна. И тут, опять же, напрашивается аналогия с очень важным в машинном обучении понятием overfitting. Подробнее об этом - у фрау Сабины Хоссенфельдер:

https://www.youtube.com/watch?v=o9ylQC5bPpU

[egovoru.livejournal.com]

"научная теория должна объяснять наблюдаемые данные через минимальное количество параметров"

А разве это не бритва Оккама в другой формулировке? Иными словами, это принцип экономии интеллектуальных усилий, но критерием научности, как его понимают в естествознании, это не является. Критерий научности - это проверяемость экспериментом. Если угодно, способность не только объяснять, но и предсказывать экспериментальные результаты.

[nebos-avos.livejournal.com]

Язык он не путает с речью? Спрашиваю к тому, что, во-первых, ассоциации и латентные (невысказанные) смыслы образуются не без участия языка и они же, во-вторых, "обслуживаются" т.н. внутренней речью (термин Выготскогоhttps://www.google.com/search?q=%D0%B2%D0%BD%D1%83%D1%82%D1%80%D0%B5%D0%BD%D0%BD%D1%8F%D1%8F+%D1%80%D0%B5%D1%87%D1%8C+%D0%BF%D0%BE+%D0%B2%D1%8B%D0%B3%D0%BE%D1%82%D1%81%D0%BA%D0%BE%D0%BC%D1%83&sca_esv=668e1abf6fdfcd6c&sca_upv=1&rlz=1C1PASC_iwIL1064IL1064&sxsrf=ADLYWIJ4cu9UCDriYeZACc5A-UPtzV8MVQ%3A1716833462246&ei=tsxUZonbDoG0i-gPpNeBmA4&udm=&ved=0ahUKEwiJjp-Ft66GAxUB2gIHHaRrAOMQ4dUDCBA&oq=%D0%B2%D0%BD%D1%83%D1%82%D1%80%D0%B5%D0%BD%D0%BD%D1%8F%D1%8F+%D1%80%D0%B5%D1%87%D1%8C+%D0%BF%D0%BE+%D0%B2%D1%8B%D0%B3%D0%BE%D1%82%D1%81%D0%BA%D0%BE%D0%BC%D1%83&gs_lp=Egxnd3Mtd2l6LXNlcnAiN9Cy0L3Rg9GC0YDQtdC90L3Rj9GPINGA0LXRh9GMINC_0L4g0LLRi9Cz0L7RgtGB0LrQvtC80YNIAFAAWABwAHgBkAEAmAEAoAEAqgEAuAEMyAEAmAIAoAIAmAMAkgcAoAcA&sclient=gws-wiz-serp)

[egovoru.livejournal.com]

О роли языка в творении смысла автор вообще не рассуждает. Он говорит о конкретном "сообщении", передаваемом от одного человека к другому. Одна из его главных мыслей на протяжении всей книжки - ограниченность нашего сознания. Мы не можем передавать друг другу информацию с высокой скоростью просто потому, что не можем сознательно воспринимать ее с высокой скоростью. При этом он оставляет за кадром бессознательное восприятие интонации, жестов и т., которые тоже играют большую роль в человеческом общении.

[sir-baristan.livejournal.com]

Насчёт пропускной способности в 40 бит, это как замеряно?
Если мало новой информации, которую надо понять, то да скорость усвоения, равна скорости чтения по диагонали.

А если информацию нужно понять, то есть она новая и нужно ещё вывод какой-то сделать?
И однозначно скорость усвоения материала через видео ниже намного, чем через чтение, не оптимальный формат для передачи технической информации

[egovoru.livejournal.com]

"Насчёт пропускной способности в 40 бит, это как замеряно?"

Насколько я поняла, об этом судят по скорости чтения или восприятия речи на слух.

[Алина Малина (from livejournal.com)]

Очень интересно, спасибо! Люблю расширять горизонты своего сознания, читать разные книги, делать практики. А в вопросах понимания людей всегда пользуюсь тестом Воликова. Простой, бесплатный, но самый точный инструмент, который поможет подобрать ключик в общении с любым человеком! Полезен как при взаимодействии с новым человеком: трудолюбив ли он, честный ли, ответственный и т.д. Но также и с близкими и родными - откроет те качества, о которых вы сами не догадывались, научит понимать их и себя. Рекомендую! 👍

[egovoru.livejournal.com]

Спасибо за отзыв!