Меж непонятного маранья

[egovoru]

Клод Шеннон, разрабатывая свою теорию, заведомо отказался от учета смысла высказывания при оценке его информационного содержания: «Сообщения могут иметь смысл, то есть соответствовать определенным физическим объектам или понятиям. Этот семантический аспект коммуникации не имеет никакого значения с инженерной точки зрения. Важен только выбор одного конкретного сообщения из множества возможных», пишет он в своей знаменитой статье.

А вот Рассел Стендиш предлагает другой подход: «Информация зависит от наблюдателя. Для человека, не знающего английского, «Ромео и Джульетта» будет просто ничего не значащей белибердой. Роль наблюдателя состоит в том, чтобы привязать значение к описанию, создать информацию из данных.<...> Количество информации, содержащейся в конкретном наборе данных, определяется подсчетом числа описаний, при помощи которых можно передать их смысл – чем меньше описаний, тем больше информации содержат данные».

То, что такие разные вещи называют одним словом «информация» – источник многих недоразумений. Скажем, некоторые саркастически вопрошают: ну, расшифровали последовательность человеческого генома, а что изменилось? Не понимая, что эта последовательность – информация à la Шеннон. Чтобы превратить ее в информацию по Стендишу, потребуются еще десятилетия, а то и столетия работы.

Гугл празднует столетие со дня рождения Клода Шеннона. Мне особенно нравится, какой «чубчик кучерявый» ему сделали гугло-художники :)

Comments

[alek-morse.livejournal.com]

Как сказал Шерлок Холмс:

- Впереди расшифровка. И пусть мне позавидуют все британские египтологи! (с)

[vlkamov.livejournal.com]

Иногда И. по второй версии называют "знание", хотя это тоже не совсем верно.

[evgeniirudnyi.livejournal.com]

Шеннон решает инженерную задачу, когда требует без ошибок передать заданное количество битов. Чему соответсвует последовательность битов инженера не волнует.

[egovoru.livejournal.com]

Да, Стендиш вроде бы имеет в виду именно то, что мы называем "знанием". Правда, это последнее мы вроде бы не стремимся точно подсчитывать (хотя и говорим "много знания - много печали" ;) а вот Стендиш ведь говорит именно о количестве такого рода информации.

Метод, который он предлагает для его определения - подсчет числа способов, которыми можно передать смысл - кажется мне каким-то сомнительным: а что такое "смысл"? И как учитывать, насколько хорошо произошла его передача?

У Стендиша есть специальная статья именно об этом (http://arxiv.org/abs/nlin/0101006), но я пока ее еще не собралась с духом ее прочесть.

[egovoru.livejournal.com]

Да, именно. А как Вы думаете, представление об информации как мере смысла может быть чем-то полезным? Меня, признаться, само слово "смысл" очень смущает: интуитивно вроде бы понятно, что это значит, но попробуй определи его строго!

Да и метод подсчета такой осмысленной информации, который предлагает Стендиш, кажется мне каким-то не слишком практичным: как на деле определить это самое число способов, которыми можно передать смысл? Разве оно заранее задано? Ведь, наверное, можно изобретать все новые и новые такие способы - вроде того, как писатели пишут все новые и новые романы на все те же базовые сюжеты?

У Стендиша есть еще отдельная статья (http://arxiv.org/abs/nlin/0101006), на которую он ссылается в своей книжке, но я пока что не рискнула ее прочесть.

[evgeniirudnyi.livejournal.com]

Не думаю, что смысл можно формализовать. Например, возьмем ваше утверждение

"Чтобы превратить ее [последовательность человеческого генома] в информацию по Стендишу, потребуются еще десятилетия, а то и столетия работы"

Что, собственно говоря, произойдет через десятиления или столетия? Какой смысл выведут из ДНК? Например,

"Мир состоит из атомов"
"Смысл жизни состоит в расшифровке структуры ДНК"
"Биология занимается фундаментальными научными проблемами"

Или вы предполагаете другие смыслы?

[egovoru.livejournal.com]

Ну, с геномом-то как раз, мне кажется, достаточно понятно: прояснить его смысл - это значит установить, каким образом работа каждого гена проявляется в свойствах организма ( с учетом того, что многие свойства определяются координированной работой десятков и даже сотен генов, что степень работы гена зависит от условий среды и т.д.).

А вот как быть, например, со смыслом "Войны и мира"? Ведь каждый новый читатель видит в этом романе какой-то свой смысл? Стендиш, правда, и говорит, что информация зависит от читателя - но в то же время подразумевает вроде бы и какой-то объективный смысл?

Тем не менее, его предложение кажется мне интересным, хотя я пока что не очень отчетливо представляю себе, к каким последствиям может привести такая "субъективизация" информации. Оно показалось мне в чем-то созвучным моим собственным рассуждениям (http://egovoru.livejournal.com/47731.html) о природе идей.

[evgeniirudnyi.livejournal.com]

Поскольку поведение организма относится к его свойствам, то вот таким образом геном Льва Николаевича объяснит вам все скрытые смыслы в Войне и мир.

[egovoru.livejournal.com]

Но мы же обсуждаем предложение рассматривать информацию как нечто, зависимое от наблюдателя, т.е., читателя?

[evgeniirudnyi.livejournal.com]

Тогда вы должны прояснить ваше утверждение.

"Ну, с геномом-то как раз, мне кажется, достаточно понятно: прояснить его смысл - это значит установить, каким образом работа каждого гена проявляется в свойствах организма"

Ведь на этом пути поведение организма определяется геномом. Разве не так?

[hyperboreus.livejournal.com]

Я тоже с сомнением воспринял фразу о "подсчете числа описаний". Всех возможных описаний? Тогда это число будет все время стремиться к бесконечности..

[egovoru.livejournal.com]

В этом контексте мысль Стендиша, если я правильно ее поняла, состоит в том, что интерпретация генома будет зависеть от того, кто именно ею занимается. В частности, разные исследователи могут выбрать разные "свойства организма", которые определяются генами.

Собственно, именно с неудачным выбором этих свойств и связано то, что закономерности наследственности было так трудно установить - многие пытались и потерпели поражение. А талант Менделя как раз и состоял в том, что он догадался выбрать такие признаки, отследить наследование которых легче, чем многих других.

[egovoru.livejournal.com]

Я подозреваю, что здесь опять же сказывается математический платонизм Стендиша - т.е., представление о независимом от нашего сознания существовании математических истин. С его точки зрения, смысл - это не то, что мы привносим в сообщение, а то, что в нем "изначально" содержится. Примерно так, как все возможные следствия уже содержатся в некоей теореме независимо от того, уже додумались мы до них, или еще нет. По-видимому, он думает, что число всех возможных описаний смысла можно как-то заранее подсчитать, но я не поняла, как именно он предлагает это сделать.

Вот в этой статье (http://arxiv.org/abs/nlin/0101006), возможно, он излагает свои мысли более подробно.

[hyperboreus.livejournal.com]

Пусть хоть и изначально - это все равно в перспективе бесконечность. Всегда есть возможность появления неких шарообразных инопланетян из тридцатого измерения, которые прочитают "Ромео и Джульетту" по-новому, а Стендишу придется признать, что и этот эн-плюс-первый смысл был "изначально" в пьесу заложен :)

[egovoru.livejournal.com]

При этом, заметьте, главная-то идея Стендиша как раз и есть - наличие бесконечного числа вселенных ;)

Возможно, я просто не поняла, что он, собственно, хочет сказать - книжка его требует многократного перечитывания и долгих размышлений; то, что я из нее извлекла - самое что ни на есть верхоглядство ;)

[re-xor.livejournal.com]

Я уже говорил про субъективность вероятностей и о том, что Шеннон просто выносит эту субъективность за скобки, а Стендиш пытается формализовать:
http://egovoru.livejournal.com/70364.html?thread=1857244#t1857244

И кстати, эту проблему еще можно переформулировать в терминах синтаксиса (Шеннон) и семантики (Стендиш). Используя эту тему в качестве повода, я сейчас заставил себя дописать про китайскую комнату :) Удивительно, что так совпало, но я примерно неделю назад начал, но все не мог закончить этот пост.
Условно говоря, Шеннон решает проблемы, связанные с перестановками символов, а Стендиш обращается к проблеме субъективного понимания.

[egovoru.livejournal.com]

"Я уже говорил про субъективность вероятностей"

Да, я помню, что мы с Вами уже обсуждали эту тему, но она кажется мне такой интересной, что я решила вынести ее в отдельный пост.

"И кстати, эту проблему еще можно переформулировать в терминах синтаксиса (Шеннон) и семантики (Стендиш)."

Собственно, Стендиш ведь и пишет об этом в своей книжке: "For our system of interest, we suppose there to be two languages, which we call the syntactic and the semantic. <...> They both can be used to describe the system, both have their own domain of applicability, and are consistent with each other, yet do not share a common vocabulary."

Однако, его пример - статистическая механика как синтаксическое описание газа и классическая термодинамика как семантическое - не совсем точен: ведь термодинамика точно так же претендует на объективное, т.е., независимое от наблюдателя, описание, разве нет?

В его определении информации как меры смысла меня смущает предлагаемый способ ее измерения: как практически определить, сколькими способами можно передать один и тот же смысл? Скажем, смысл "Войны и мира"? Ведь у каждого читателя свой такой способ?

[re-xor.livejournal.com]

Просто мне трудно было добавить что-то кроме того, что я говорил про субъективность вероятностей, поэтому и сказал про это.

>>> ведь термодинамика точно так же претендует на объективное, т.е., независимое от наблюдателя, описание, разве нет?

Да, она претендует, но при этом формулируется на основе субъективного языка ("багажа" по Тегмарку). То есть субъективность языка не отрицает возможности описания объективных явлений.

В той статье, о которой Вы говорили выше, он использует пример глайдера в игре Жизнь в качестве примера, где проявляется семантический язык. Статья, кстати, очень короткая и сравнительно простая. Кстати, он там говорит о сложности, а не информации. "По аналогии" с тем, как колмогоровская сложность связана с алгоритмической теорией информации.

>>> как практически определить, сколькими способами можно передать один и тот же смысл? Скажем, смысл "Войны и мира"? Ведь у каждого читателя свой такой способ?

Да, он и рассматривает субъективность, "не как баг, а как фичу". Кстати, можно провести эксперименты и выдавать читателям немного измененные версии "Войны и мира". И проверять, заметят ли они какие-то отличия :)
Но вообще, в той статье по этому поводу у него есть примечательная цитата на биологическую тему.

Whilst context dependence would appear to open up the curse of subjectivity, it needn’t necessarily do so. In many situations, the equivalence relation [по сути количество "эквивалентных" описаний] is well defined. For example the notion of species in biology is reasonably well defined (although disagreement exists in a number of cases). This could, in principle, along with a detailed knowledge of the genetic code, be used to estimate the complexity of different species [оценить количество таких возможных вариаций генетического кода, которые не выводят за пределы данного вида, и это позволит оценить сложность вида]. This principle has been used in a number of artificial life studies[1, 16] for studying the evolution of complexity.

[egovoru.livejournal.com]

"Кстати, он там говорит о сложности, а не информации"

Да, но в своей книжке он ссылается именно на эту статью, когда вводит семантическое понятие информации.

Прочла первую ее часть. Предложение вычесть из числа всех возможных описаний число описаний, которые кажутся эквивалентными наблюдателю, чтобы сделать понятие информации более осмысленным, кажется мне вполне разумным.

Но как все-таки подсчитать число всех возможных описаний? Ведь интуитивно кажется, что их можно предложить бесконечное число. Да и что такое "описание"? Когда речь идет об "описании" числа, т.е., алгоритма, в конце выдающего это число, то все понятно. Но если взять стендишевский пример биологического вида - что такое его описание? Ведь, в отличие от описания числа, описание кошки отнюдь не дает саму кошку - так что нам, очевидно, потребуется какой-то способ установления адекватности описания? И какой же?

Например, "у кошки четыре ноги, позади у нее длинный хвост, но трогать ее не моги за ее малый рост, малый рост" - будет ли это считаться адекватным описанием кошки и входить в то число описаний, которое мы должны подсчитать для определения ее сложности?

[re-xor.livejournal.com]

>>> Но как все-таки подсчитать число всех возможных описаний? Ведь интуитивно кажется, что их можно предложить бесконечное число

Предполагается число описаний для некоторого наблюдателя. Если считать по всем возможным наблюдателям, то это все теряет смысл, так как всегда можно подобрать наблюдателя под любое описание :)

>>> Но если взять стендишевский пример биологического вида - что такое его описание?

Так он и предлагает генетический код. Это своего рода программа, которая и порождает представителя данного вида, например, кошку. То есть генетический код (описание) в итоге дает кошку. То есть генетический код + развитие организма согласно этому коду - это определенный аналог того, как алгоритм порождает число (а в данном случае кошку). Причем, кошку как представителя вида, к которым относится кошка. Я не знаю латинского названия этого вида :)

То есть предполагается, что можно оценить все возможные вариации генетического кода, которые возможны для того, чтобы данный организм считать кошкой. И потом "вычесть" ("логарифмически") из всех возможных вариантов генетического кода. И тогда можно получить оценку сложности кошки :)

Могу еще посоветовать взглянуть его статью "Some Techniques for the Measurement of Complexity in Tierra", где связаннная задача ставится:
http://arxiv.org/pdf/nlin/0001009.pdf
Там хоть и про искусственную жизнь, но вполне биологично.
Он там пытается найти способ, чтобы определить эквивалентность фенотипов.

[egovoru.livejournal.com]

"Предполагается число описаний для некоторого наблюдателя"

У меня было мелькнула мысль, что он имеет в виду одного конкретного наблюдателя, но не было уверенности, что я поняла это правильно. Действительно, для одного наблюдателя число всех возможных описаний будет конечно - столько, сколько он успеет придумать за свою конечную жизнь.

"То есть генетический код (описание) в итоге дает кошку."

В том-то и дело, что не дает - и здесь опять же сказывается разница между кошкой и числом. Генетический код кошки мы уже знаем - но это не значит, что мы сможем собрать кошку из молекул! Даже если мы синтезируем всю кошкину ДНК - что сейчас технически вполне возможно - кошки мы не получим. "Чистая" ДНК не будет способна ни к собственному удвоению, ни к производству белков - для всего этого ей нужна будет целая клетка, которую будущий котенок получает от матери (а ДНК - от матери и отца). Соответственно, генетический код не является адекватным описанием кошки в том смысле, в котором алгоритм вычисления числа им является.

[re-xor.livejournal.com]

Возможно, это его такое упрощение насчет генетического кода, он же все-таки с искусственной жизнью больше имел дело. Но тогда просто к генетическому коду можно добавить кодовое описание клетки.
Конечно, там еще будет много факторов, которые не учитываются. Их можно считать вероятностными, и как-то усреднять. Там же еще определенная неточность будет в смысле консенсуса по принадлежности к виду.

[egovoru.livejournal.com]

"просто к генетическому коду можно добавить кодовое описание клетки"

Я думаю, что единственное описание, которое было бы полностью аналогично алгоритму, выдающему заданное число, будет то, что имеют в виду энтузиасты телепортации: перечень и пространственные координаты всех атомов, составляющих данную кошку (о виде же, как абстрактной категории, можно вообще забыть). Нечто подобное представлют собой нынешние структурные модели белков - те самые, которые составляют на основе данных рентгеноскопии. Кощка же будет описанием гигантской совокупности таких моделей.

Вот по такому описанию, имея некий 3D принтер атомарного разрешения, мы, наверное, смогли бы "собрать" кошку из подручных средств - и то при условии, что мы бы умели создавать между заданными атомами заданный тип химической связи (а для этого надо кое-что покруче, чем 3D принтер - я даже не представляю себе, как такое можно было бы технически осуществить: пришлось бы отдельно, кружными химическими путями, создавать индивидуальные молекулы, а потом уж механически объединять их).

Но даже допустим, что в нашем распоряжении есть такая техника. Далее, по Стендишу, нам предстоит исключить эквивалентные описания - то есть, описание кошки с поднятой левой лапой мы должны приравнять к описанию той же кошки с поднятой правой лапой, и т.д. Но для этого нам ведь надо иметь некое эталонное описание, с которым мы будем сравнивать все имеющиеся для того, чтибы решить, что есть "эта" кошка, а что - не эта, а откуда нам его взять?

[re-xor.livejournal.com]

>>> Но для этого нам ведь надо иметь некое эталонное описание, с которым мы будем сравнивать все имеющиеся для того, чтибы решить, что есть "эта" кошка, а что - не эта, а откуда нам его взять?

Так в том-то и дело, что это субъект должен решать "эта" ли кошка. Кто-то может разглядеть, что у нее усы не той системы, а кто-то это не заметит. У каждого будет собственный класс эквивалентных описаний.

>>> Далее, по Стендишу, нам предстоит исключить эквивалентные описания - то есть, описание кошки с поднятой левой лапой мы должны приравнять к описанию той же кошки с поднятой правой лапой, и т.д.

Тут еще все зависит от того, какое понятие мы рассматриваем. Например, классы эквивалентных описаний будут разными для "этой кошки в этом ее возрасте", "этой кошки во время всей ее жизни", "этой кошки, когда она спит", "этой кошки, когда она есть" и т.д. Может быть бесконечное количество таких классов эквивалентности, с каждым из них можно связать отдельное понятие. Тут надо только понимать, что точного измерения не получится внутри данной вселенной (где кошка находится). Но можно говорить о некоторых оценках. Чем грубее оценка, тем быстрее ее можно получить.

>>> Я думаю, что единственное описание, которое было бы полностью аналогично алгоритму, выдающему заданное число, будет то, что имеют в виду энтузиасты телепортации

Вот поэтому-то и не требуется такой точный алгоритм. Достаточно получать лишь некоторую практически осмысленную оценку. Например, как пытается делать Стендиш в отношении видов внутри искусственной жизни, где можно решать задачу обоснования того, что эволюция приводит к постоянному увеличению сложности. В рамках решения этой задачи не нужно определять сложность отдельной кошки, а надо определить сложность вида, то есть насколько кошка сложнее, например, по сравнению с инфузорией. И можно будет показать, что появление кошки демонстрирует увеличение сложности в ходе эволюции.

И если решать задачу для вида, а не для отдельного организма, то тогда хорошим приближением (оценкой) будет расчет на основе генетического кода. Конечно, это будет не тем точным алгоритмом, который производит число, но достаточно практической оценкой.

[egovoru.livejournal.com]

"хорошим приближением (оценкой) будет расчет на основе генетического кода"

Вероятно, для начала имеет смысл попробовать оценить сложность не организма и даже не вида, а самого генома, т.е., считать геном не описанием, а собственно объектом, сложность (информационное содержание) которого мы хотим оценить. Таким образом мы сразу сводим задачу к оценке информационного содержания последовательности символов, т.е., остаемся в пределах хорошо освоенной математиками области.

(Кстати сказать, "генетический код" - это не сама последовательность ДНК, а набор правил соответствия определенных комбинаций нуклеотидов (мономеров ДНК) аминокислотам (мономерам белков), который позволяет "переводить" с языка ДНК на язык белка. Сама последовательность ДНК данного организма или вида будет "геном").

[re-xor.livejournal.com]

Это интересный подход. Возможно, нечто подобное уже кто-то и делал для каких-нибудь задач биоинформатики, но здесь это интересно с точки зрения вот этого критерия сложности.

Потом, может быть, я попробую сделать несколько подобных примеров для игры Жизнь.

[egovoru.livejournal.com]

Да, я думаю, у биоинформатиков есть какие-то критерии сложности генома, помимо просто числа кодируемых им генов.

Правда, я не очень представляю себе, что могло бы служить "описанием" генома в стендишевском смысле - это как с последовательностью случайных чисел, описанием которой может быть только она сама. Хотя, конечно, последовательность нуклеотидов в геноме далеко не случайна, я не знаю, как его можно было бы описать при помощи более короткого алгоритма.

К геномам обычно составляют не описания, а аннотации - т.е., интерпретации: определяют, какой именно его кусок (ген) кодирует тот или иной белок. Разумеется, этих интерпретаций может быть несколько, и разные наблюдатели (лаборатории) иногда производят различающиеся их варианты, но источниками этого различия бывают ошибки. То есть, в пределе предполагается все же наличие "единственно правильного", объективного способа прочтения - т.е., совсем не то, о чем говорит Стендиш.

Тем не менее, его концепция инфорамции как функции наблюдателя все равно представляется мне интуитивно очень интересным и каким-то многообещающим ;)

[re-xor.livejournal.com]

Вот нашел статью
http://en.wikipedia.org/wiki/Compression_of_Genomic_Re-Sequencing_Data
На первый взгляд, как раз про сжатие (короткий алгоритм + сжатые данные), там даже список программ для этого. Но пока не успеваю внимательно посмотреть.

[egovoru.livejournal.com]

Да, это вроде бы действительно о методах алгоритмического описания последовательностей ДНК, и, судя по всему, этим активно занимаются.

[egovoru.livejournal.com]

Сегодня Гугл празднует столетие со дня рождения Шеннона - посмотрите, какой симпатичный дудл они ему нарисовали! Я даже вставила его в этот пост ;)

[egovoru.livejournal.com]

Сегодня Гугл празднует столетие со дня рождения Шеннона - посмотрите, какой симпатичный дудл они ему нарисовали! Я даже вставила его в этот пост ;)