Меж непонятного маранья

[egovoru]

Клод Шеннон, разрабатывая свою теорию, заведомо отказался от учета смысла высказывания при оценке его информационного содержания: «Сообщения могут иметь смысл, то есть соответствовать определенным физическим объектам или понятиям. Этот семантический аспект коммуникации не имеет никакого значения с инженерной точки зрения. Важен только выбор одного конкретного сообщения из множества возможных», пишет он в своей знаменитой статье.

А вот Рассел Стендиш предлагает другой подход: «Информация зависит от наблюдателя. Для человека, не знающего английского, «Ромео и Джульетта» будет просто ничего не значащей белибердой. Роль наблюдателя состоит в том, чтобы привязать значение к описанию, создать информацию из данных.<...> Количество информации, содержащейся в конкретном наборе данных, определяется подсчетом числа описаний, при помощи которых можно передать их смысл – чем меньше описаний, тем больше информации содержат данные».

То, что такие разные вещи называют одним словом «информация» – источник многих недоразумений. Скажем, некоторые саркастически вопрошают: ну, расшифровали последовательность человеческого генома, а что изменилось? Не понимая, что эта последовательность – информация à la Шеннон. Чтобы превратить ее в информацию по Стендишу, потребуются еще десятилетия, а то и столетия работы.

Гугл празднует столетие со дня рождения Клода Шеннона. Мне особенно нравится, какой «чубчик кучерявый» ему сделали гугло-художники :)

Comments

[egovoru.livejournal.com]

"хорошим приближением (оценкой) будет расчет на основе генетического кода"

Вероятно, для начала имеет смысл попробовать оценить сложность не организма и даже не вида, а самого генома, т.е., считать геном не описанием, а собственно объектом, сложность (информационное содержание) которого мы хотим оценить. Таким образом мы сразу сводим задачу к оценке информационного содержания последовательности символов, т.е., остаемся в пределах хорошо освоенной математиками области.

(Кстати сказать, "генетический код" - это не сама последовательность ДНК, а набор правил соответствия определенных комбинаций нуклеотидов (мономеров ДНК) аминокислотам (мономерам белков), который позволяет "переводить" с языка ДНК на язык белка. Сама последовательность ДНК данного организма или вида будет "геном").

[re-xor.livejournal.com]

Это интересный подход. Возможно, нечто подобное уже кто-то и делал для каких-нибудь задач биоинформатики, но здесь это интересно с точки зрения вот этого критерия сложности.

Потом, может быть, я попробую сделать несколько подобных примеров для игры Жизнь.

[egovoru.livejournal.com]

Да, я думаю, у биоинформатиков есть какие-то критерии сложности генома, помимо просто числа кодируемых им генов.

Правда, я не очень представляю себе, что могло бы служить "описанием" генома в стендишевском смысле - это как с последовательностью случайных чисел, описанием которой может быть только она сама. Хотя, конечно, последовательность нуклеотидов в геноме далеко не случайна, я не знаю, как его можно было бы описать при помощи более короткого алгоритма.

К геномам обычно составляют не описания, а аннотации - т.е., интерпретации: определяют, какой именно его кусок (ген) кодирует тот или иной белок. Разумеется, этих интерпретаций может быть несколько, и разные наблюдатели (лаборатории) иногда производят различающиеся их варианты, но источниками этого различия бывают ошибки. То есть, в пределе предполагается все же наличие "единственно правильного", объективного способа прочтения - т.е., совсем не то, о чем говорит Стендиш.

Тем не менее, его концепция инфорамции как функции наблюдателя все равно представляется мне интуитивно очень интересным и каким-то многообещающим ;)

[re-xor.livejournal.com]

Вот нашел статью
http://en.wikipedia.org/wiki/Compression_of_Genomic_Re-Sequencing_Data
На первый взгляд, как раз про сжатие (короткий алгоритм + сжатые данные), там даже список программ для этого. Но пока не успеваю внимательно посмотреть.

[egovoru.livejournal.com]

Да, это вроде бы действительно о методах алгоритмического описания последовательностей ДНК, и, судя по всему, этим активно занимаются.