Да, цепи могут быть прекрасны

[egovoru]

Много лет я пользуюсь сервером Датского технического университета, позволяющего предсказывать трансмембранные альфа-спирали в аминокислотных последовательностях белков, используя скрытые марковские модели. Мне и близко не хватает образования, чтобы понять, как это работает, но азы излагает Джордан Элленберг в своей книжке, посвященной прикладной математике (уважаемый mynine подсказал, что есть и русский перевод). Сам Андрей Андреевич Марков парадоксальным образом презирал прикладные исследования и считал, что, например, Карл Пирсон, основатель математической статистики, не сделал ничего, заслуживающего упоминания :)

«Неистовый Андрей», как окрестили его российские газеты, опубликовал в них более 20 писем по волновавшим его общественным вопросам. Самый громкий скандал разразился в 1912 году, когда Марков обратился в Священный Синод с просьбой... отлучить его от Церкви, в знак протеста против отлучения Льва Толстого несколькими годами раньше. Протестовал он и против исключения Горького из Академии наук, а также против присвоения звания почетного академика членам царской фамилии, никак иначе себя не проявившим.

Судя по всему, знаменитые марковские цепи тоже родились из публичного спора, который их автор затеял с другим академиком, ультра-консервативным Павлом Алексеевичем Некрасовым. Тот попытался прилечь «закон больших чисел» для доказательства постулируемой христианством свободы воли. По этому закону, большая совокупность независимых индивидуальных событий (бросаний монетки) дает предсказуемый средний результат. А раз так, провозгласил Некрасов, то из предсказуемого поведения толпы следует, что составляющие ее люди действуют независимо друг от друга, совершая свой собственный выбор.

Логическая ошибка этого утверждения видна невооруженным глазом: eсли всякий раз после поедания гуляша у меня начинается изжога, то это еще не значит, что любая моя изжога – результат поедания гуляша. Марков нашел контрпример, опровергающий рассуждения Некрасова – последовательность зависимых друг от друга переменных, тем не менее дающую предсказуемый результат. А цепью ее называют потому, что каждая переменная зависит только от предыдущей в последовательности, а не от всей своей предыстории.

«Неистовый» Андрей Марков с женой Марией
за своим рабочим столом в начале 20-го века
(фото из биографической статьи Гелия Башарина с соавт.,
из которой, кажется, и Элленберг почерпнул свои сведения :)

Несмотря на презрение к прикладной математике, Марков опробовал свои цепи, анализируя русскую классику. Простой вопрос: какова вероятность того, что за гласной буквой в тексте будет следовать тоже гласная? Оказывается, это сильно зависит от конкретного произведения: для «Евгения Онегина» эта вероятность – только 12.8%, а вот для «Детских годов Багрова-внука» – аж целых 55.2%! (Похоже, Аксаков злоупотреблял прилагательными вроде «длинношеее» :)

Иллюстрация из книжки Джордана Элленберга, схематически представляющая марковские цепи для двух произведений классической русской литературы: наверху – Пушкин, внизу – Аксаков

Не кто иной, как Клод Шеннон первым догадался, что марковские цепи можно использовать не только для анализа, но и для создания текстов. И все заверте... приведя, в конечном счете, к появлению ChatGPT :)

Спасибо уважаемой zlata_gl за информацию о книжке Элленберга – там есть еще много интересного!

Comments

[lj-frank-bot.livejournal.com]

Hello!
LiveJournal categorization system detected that your entry belongs to the following categories: Литература (https://www.livejournal.com/category/literatura?utm_source=frank_comment), Общество (https://www.livejournal.com/category/obschestvo?utm_source=frank_comment).
If you think that this choice was wrong please reply this comment. Your feedback will help us improve system.
Frank,
LJ Team

[egovoru.livejournal.com]

Нет, Фрэнк, это ты попал в просак - с основе своей это "Математика"!

[mynine.livejournal.com]

На русский язык эта книжка тоже переведена под редакцией Михаила Сергеевича Гельфанда, что уже само по себе признак высокого качества ))

[egovoru.livejournal.com]

А дайте, пожалуйста, ссылку - я добавлю ее к тексту поста?

Я прежде прочла и другую книжку (https://egovoru.livejournal.com/103058.html) Элленберга, тоже довольно занимательную.

[mynine.livejournal.com]

Вот на Озоне (https://www.ozon.ru/product/forma-realnosti-skrytaya-geometriya-strategii-informatsii-obshchestva-biologii-i-vsego-ostalnogo-1024931009) эта книга. А на Литресе (https://www.litres.ru/author/jordan-ellenberg/) обе его книги есть.
PS На Озоне обе книги (https://www.ozon.ru/person/ellenberg-dzhordan-140283511/category/knigi-16500/) тоже ))

[egovoru.livejournal.com]

Спасибо, добавила ссылку к посту!

[green-fr.livejournal.com]

Статистика гласных напомнила мне, как мы играли в итальянский scrabble, но с французами, поэтому слова писали по-французски. А статистика букв в коробке была заточена под итальянский. Поэтому я в конце оказался с рукой из 7 фишек, 6 из которых были буквами "O". Мы ещё поржали, можно ли выставить фразу Санта-Клауса (ho-ho-ho по-французски читается как o-o-o).

[egovoru.livejournal.com]

Да, в итальянском определенно доля гласных выше, чем, наверное, в любом другом европейском языке - потому он и кажется нам особенно благозвучным. Но я никогда не слышала, как звучит гавайский или другие полинезийские языки, где, как я понимаю, доля гласных еще выше. Наверное, он вообще покажется нам райской музыкой? :)

Опечаталась в первой версии - я имела в виду выше доля гласных, конечно.

[verum-corpus.livejournal.com]

А разве отрицатели свободы воли не отрицают случайность выпадения монетки?
Уж если детерминизм, так никаких случайных событий не бывает! (Чем заодно опровергается и дарвиновская теория).

[egovoru.livejournal.com]

Так ведь академик Некрасов, наоборот, настаивал, что свобода воли имеется, и хотел доказать ее математически :)

[verum-corpus.livejournal.com]

Возможно, он указывал на то, что если существует случайное выпадение монеты, то не может не быть и свободной воли. Это действительно кажется бесспорным.

[egovoru.livejournal.com]

Что Некрасов говорил, не берусь судить, но связывание свободы воли со случайностью всегда казалось мне малопродуктивным. В том-то и дело, что, имея свободу воли, мы действуем как раз не случайно, а так, как считаем нужным, произвольно (от слова "произвол"). Мне свобода воли представляется чем-то прямо противоположным случайности.

[serge no (from livejournal.com)]

"Простой вопрос: какова вероятность того, что за гласной буквой в тексте будет следовать тоже гласная? Оказывается, это сильно зависит от конкретного произведения"

Вася кинул монетку 100 раз, и у него 55 раз выпала решка. Петя кинул монетку 100 раз, и у него решка выпала 47 раз. Простой вопрос: какова вероятность того, что при подкидывании монетки выпадет решка? Оказывается, это зависит от конкретного опыта. Например, Вася был щедр на решки, и у него эта вероятность составляет 55%. Кажется, всё верно в этих рассуждениях?-)

[egovoru.livejournal.com]

Так ведь писатель не выбирает следующую букву, подбрасывая монетку? Он сознательно подбирает слова. Результаты Маркова показывают, что Пушкин и Аксаков выбирают разные слова. Конечно, может, сам язык уже эволюционировал за время от одного произведения до другого, но это вряд ли, потому что это время достаточно короткое. Я склоняюсь к тому, что это отражает либо индивидуальные особенности авторов, либо разницу между стихами и прозой, и в принципе это легко проверить.

[serge no (from livejournal.com)]

"Так ведь писатель не выбирает следующую букву, подбрасывая монетку?"

Тем более. Что позволяет называть эти проценты "вероятностью", которая суть теоретическая характеристика степени некой случайной возможности?

[egovoru.livejournal.com]

Вероятностью эти цифры называют, как я понимаю, потому, что они позволяют предсказать, какая буква будет идти за любой произвольно избранной. То есть, сначала анализируют некую тренировочную совокупность (слов определенного произведения или белковых последовательностей) и высчитывают эти цифры, а потом берут некое новое слово (и конкретную букву в нем) или последовательность и утверждают, что с этой вероятностью за этой буквой будет идти гласная - или с такой-то вероятностью этот участок последовательности будет альфа-спиральным. Собственно, этот тот же самый принцип, что и у ChatGPT.

[riftsh.livejournal.com]

> каждая переменная зависит только от предыдущей в последовательности

Это частный случай - марковская цепь первого порядка, порядок может быть более высоким или переменным.

[egovoru.livejournal.com]

А что это означает - что следующий элемент зависит не от одного, а от нескольких предыдущих переменных? Вы наверняка с работаете с такими алгоритмами.

А знаете ли этот датский сервер? Мне их алгоритм кажется лучшим из существующих, по крайней мере для наших белков - его предсказания близко совпадают с реальными структурами.

[riftsh.livejournal.com]

Да. Вот пример влияния порядка марковской модели на точность предсказания кодирующих участков в геномной последовательности. Очень хорошо видно, как качество модели растет при повышении порядка от 0 до 2, а потом перестает расти. В этом случае это видимо связано с размером кодона.

Группа из DTU — классики жанра, и TMHMM (а теперь DeepTMHMM) — один из стандартов. Другая похожая новая программа https://github.com/BernhoferM/TMbed тоже обещает высокое качество предсказаний. Авторы пропустили через нее все полмиллиона белков из SwissProt, т.е., если Ваш белок есть в SwissProt, можно сразу посмотреть предсказание в github'е.

Если Вам действительно важно знать где находятся ТМ участки белка, может оказаться очень полезным попытаться предсказать их несколькими качественными программами (в дополнение к упомянутым, это OCTOPUS, BOCTOPUS, SPOCTOPUS, TMSEG, TOPCONS2, SCAMPI2, TmAlphaFold и т.д., если нужно я могу прислать более полный список). Там где наблюдается консенсус между разными предсказателями, вероятность правильного предсказания выше. И наоборот ;)

[egovoru.livejournal.com]

Другой комментатор задал вопрос, на который я не знаю, как ответить (вот ссылка (https://egovoru.livejournal.com/219177.html?thread=22212393#t22212393)). Как я понимаю, сам текст - это не марковская цепь; цепь - это модель текста. Не могли бы Вы ответить автору вопроса в той ветке? Заранее большое спасибо!

[riftsh.livejournal.com]

Ответил вкратце (если я правильно понял вопрос).

[cmt96.livejournal.com]

По неоднократному выражению от ivanov_petrov, «тут действительно что-то антропологическое»… Примером прикладного исследования Вы приводите забавную шутку (про гласные), которая заведомо не может иметь никакой практической пользы и приводится лишь ради своей забавности… Она, конечно, неглубокая, но всё-таки нельзя ей отказать в изяществе… То есть, видимо, этого аспекта реальности Вы каким-то образом совсем не чувствуете…

[egovoru.livejournal.com]

"которая заведомо не может иметь никакой практической пользы и приводится лишь ради своей забавности"

Марковский анализ текстов имеет широкое практическое применение - отсылаю Вас к комментарию (https://egovoru.livejournal.com/219177.html?thread=22213673#t22213673) уважаемого riftsh, который понимает в предмете гораздо больше меня.

[cmt96.livejournal.com]

Да, да, "что-то антропологическое" — именно в таком случае и возникают такие ответы в стиле "про Фому и про Ерёму". :)

[cmt96.livejournal.com]

Я думаю, если бы такой "антропологической" разницы (в самом же образе мироощущения) между нами не было, то Вы бы без труда поняли смысл моего комментария… А так, как видите, это у Вас не вышло, хотя Вы и хотели. :)