Да, цепи могут быть прекрасны

[egovoru]

Много лет я пользуюсь сервером Датского технического университета, позволяющего предсказывать трансмембранные альфа-спирали в аминокислотных последовательностях белков, используя скрытые марковские модели. Мне и близко не хватает образования, чтобы понять, как это работает, но азы излагает Джордан Элленберг в своей книжке, посвященной прикладной математике (уважаемый mynine подсказал, что есть и русский перевод). Сам Андрей Андреевич Марков парадоксальным образом презирал прикладные исследования и считал, что, например, Карл Пирсон, основатель математической статистики, не сделал ничего, заслуживающего упоминания :)

«Неистовый Андрей», как окрестили его российские газеты, опубликовал в них более 20 писем по волновавшим его общественным вопросам. Самый громкий скандал разразился в 1912 году, когда Марков обратился в Священный Синод с просьбой... отлучить его от Церкви, в знак протеста против отлучения Льва Толстого несколькими годами раньше. Протестовал он и против исключения Горького из Академии наук, а также против присвоения звания почетного академика членам царской фамилии, никак иначе себя не проявившим.

Судя по всему, знаменитые марковские цепи тоже родились из публичного спора, который их автор затеял с другим академиком, ультра-консервативным Павлом Алексеевичем Некрасовым. Тот попытался прилечь «закон больших чисел» для доказательства постулируемой христианством свободы воли. По этому закону, большая совокупность независимых индивидуальных событий (бросаний монетки) дает предсказуемый средний результат. А раз так, провозгласил Некрасов, то из предсказуемого поведения толпы следует, что составляющие ее люди действуют независимо друг от друга, совершая свой собственный выбор.

Логическая ошибка этого утверждения видна невооруженным глазом: eсли всякий раз после поедания гуляша у меня начинается изжога, то это еще не значит, что любая моя изжога – результат поедания гуляша. Марков нашел контрпример, опровергающий рассуждения Некрасова – последовательность зависимых друг от друга переменных, тем не менее дающую предсказуемый результат. А цепью ее называют потому, что каждая переменная зависит только от предыдущей в последовательности, а не от всей своей предыстории.

«Неистовый» Андрей Марков с женой Марией
за своим рабочим столом в начале 20-го века
(фото из биографической статьи Гелия Башарина с соавт.,
из которой, кажется, и Элленберг почерпнул свои сведения :)

Несмотря на презрение к прикладной математике, Марков опробовал свои цепи, анализируя русскую классику. Простой вопрос: какова вероятность того, что за гласной буквой в тексте будет следовать тоже гласная? Оказывается, это сильно зависит от конкретного произведения: для «Евгения Онегина» эта вероятность – только 12.8%, а вот для «Детских годов Багрова-внука» – аж целых 55.2%! (Похоже, Аксаков злоупотреблял прилагательными вроде «длинношеее» :)

Иллюстрация из книжки Джордана Элленберга, схематически представляющая марковские цепи для двух произведений классической русской литературы: наверху – Пушкин, внизу – Аксаков

Не кто иной, как Клод Шеннон первым догадался, что марковские цепи можно использовать не только для анализа, но и для создания текстов. И все заверте... приведя, в конечном счете, к появлению ChatGPT :)

Спасибо уважаемой zlata_gl за информацию о книжке Элленберга – там есть еще много интересного!

Comments

[lj-frank-bot.livejournal.com]

Hello!
LiveJournal categorization system detected that your entry belongs to the following categories: Литература (https://www.livejournal.com/category/literatura?utm_source=frank_comment), Общество (https://www.livejournal.com/category/obschestvo?utm_source=frank_comment).
If you think that this choice was wrong please reply this comment. Your feedback will help us improve system.
Frank,
LJ Team

[egovoru.livejournal.com]

Нет, Фрэнк, это ты попал в просак - с основе своей это "Математика"!

[mynine.livejournal.com]

На русский язык эта книжка тоже переведена под редакцией Михаила Сергеевича Гельфанда, что уже само по себе признак высокого качества ))

[egovoru.livejournal.com]

А дайте, пожалуйста, ссылку - я добавлю ее к тексту поста?

Я прежде прочла и другую книжку (https://egovoru.livejournal.com/103058.html) Элленберга, тоже довольно занимательную.

[mynine.livejournal.com]

Вот на Озоне (https://www.ozon.ru/product/forma-realnosti-skrytaya-geometriya-strategii-informatsii-obshchestva-biologii-i-vsego-ostalnogo-1024931009) эта книга. А на Литресе (https://www.litres.ru/author/jordan-ellenberg/) обе его книги есть.
PS На Озоне обе книги (https://www.ozon.ru/person/ellenberg-dzhordan-140283511/category/knigi-16500/) тоже ))

[green-fr.livejournal.com]

Статистика гласных напомнила мне, как мы играли в итальянский scrabble, но с французами, поэтому слова писали по-французски. А статистика букв в коробке была заточена под итальянский. Поэтому я в конце оказался с рукой из 7 фишек, 6 из которых были буквами "O". Мы ещё поржали, можно ли выставить фразу Санта-Клауса (ho-ho-ho по-французски читается как o-o-o).

[verum-corpus.livejournal.com]

А разве отрицатели свободы воли не отрицают случайность выпадения монетки?
Уж если детерминизм, так никаких случайных событий не бывает! (Чем заодно опровергается и дарвиновская теория).

[serge no (from livejournal.com)]

"Простой вопрос: какова вероятность того, что за гласной буквой в тексте будет следовать тоже гласная? Оказывается, это сильно зависит от конкретного произведения"

Вася кинул монетку 100 раз, и у него 55 раз выпала решка. Петя кинул монетку 100 раз, и у него решка выпала 47 раз. Простой вопрос: какова вероятность того, что при подкидывании монетки выпадет решка? Оказывается, это зависит от конкретного опыта. Например, Вася был щедр на решки, и у него эта вероятность составляет 55%. Кажется, всё верно в этих рассуждениях?-)

[egovoru.livejournal.com]

Спасибо, добавила ссылку к посту!

[egovoru.livejournal.com]

Да, в итальянском определенно доля гласных выше, чем, наверное, в любом другом европейском языке - потому он и кажется нам особенно благозвучным. Но я никогда не слышала, как звучит гавайский или другие полинезийские языки, где, как я понимаю, доля гласных еще выше. Наверное, он вообще покажется нам райской музыкой? :)

Опечаталась в первой версии - я имела в виду выше доля гласных, конечно.

[egovoru.livejournal.com]

Так ведь академик Некрасов, наоборот, настаивал, что свобода воли имеется, и хотел доказать ее математически :)

[egovoru.livejournal.com]

Так ведь писатель не выбирает следующую букву, подбрасывая монетку? Он сознательно подбирает слова. Результаты Маркова показывают, что Пушкин и Аксаков выбирают разные слова. Конечно, может, сам язык уже эволюционировал за время от одного произведения до другого, но это вряд ли, потому что это время достаточно короткое. Я склоняюсь к тому, что это отражает либо индивидуальные особенности авторов, либо разницу между стихами и прозой, и в принципе это легко проверить.

[verum-corpus.livejournal.com]

Возможно, он указывал на то, что если существует случайное выпадение монеты, то не может не быть и свободной воли. Это действительно кажется бесспорным.

[serge no (from livejournal.com)]

"Так ведь писатель не выбирает следующую букву, подбрасывая монетку?"

Тем более. Что позволяет называть эти проценты "вероятностью", которая суть теоретическая характеристика степени некой случайной возможности?

[egovoru.livejournal.com]

Что Некрасов говорил, не берусь судить, но связывание свободы воли со случайностью всегда казалось мне малопродуктивным. В том-то и дело, что, имея свободу воли, мы действуем как раз не случайно, а так, как считаем нужным, произвольно (от слова "произвол"). Мне свобода воли представляется чем-то прямо противоположным случайности.

[egovoru.livejournal.com]

Вероятностью эти цифры называют, как я понимаю, потому, что они позволяют предсказать, какая буква будет идти за любой произвольно избранной. То есть, сначала анализируют некую тренировочную совокупность (слов определенного произведения или белковых последовательностей) и высчитывают эти цифры, а потом берут некое новое слово (и конкретную букву в нем) или последовательность и утверждают, что с этой вероятностью за этой буквой будет идти гласная - или с такой-то вероятностью этот участок последовательности будет альфа-спиральным. Собственно, этот тот же самый принцип, что и у ChatGPT.

[verum-corpus.livejournal.com]

Отрицание свободы воли означает детерминизм. Детерминизм несовместим со случайностями.
Есть случайности => нет детерминизма => есть свобода воли.

[egovoru.livejournal.com]

На мой взгляд, не так: отсутствие детерминизма - условие необходимое для свободы воли, но не достаточное. Если нет детерминизма, а есть случайность, то свободы воли может и не быть, потому что свобода воли ведь подразумевает возможность влиять на события. А если события всегда заведомо случайны и на них никак нельзя повлиять, то какая же это свобода воли?

[verum-corpus.livejournal.com]

Случайность - ни что иное, как свобода случиться одному варианту из нескольких. Там, где дело идёт о нашем организме, мы можем повлиять на выбор непосредственно, в остальных случаях - только словами.

[serge no (from livejournal.com)]

В половине текстов автора гласная может следовать за гласной 3 раза из 10, а в другой половине — 8 раз из 10. В совокупности это даст 55%, но в натуре их можно получить только рандомизировав обращение к текстам.

[serge no (from livejournal.com)]

Прекрасно видно из этого диспута, что само понятие "свободы воли" — оксюморон, в котором смешаны элементы намерения/планирования/причинно-следственной связи/детерминированности и произвола/непредопределённости/отсутствия причинно-следственной связи/случайности. На самом деле человеческое поведение (да и не человеческое тоже) обусловлено и тем, и другим, только не в виде какой-то монады, заключающей в себе и то, и другое одновременно.

[riftsh.livejournal.com]

> каждая переменная зависит только от предыдущей в последовательности

Это частный случай - марковская цепь первого порядка, порядок может быть более высоким или переменным.

[egovoru.livejournal.com]

Свобода воли - действительно довольно невнятное понятие. Я для себя решила, что понимаю под ней свободу выбора из имеющихся возможностей, совершаемую по желанию. Заметьте, что, даже если мы допустим, что такая свобода воли существует, все равно заведомо не все человеческое поведение определяется именно ею - даже можно смело утверждать обратное: большинство наших поведенческих реакций - автоматические, в которых никакая свобода воли не участвует.

[egovoru.livejournal.com]

А что это означает - что следующий элемент зависит не от одного, а от нескольких предыдущих переменных? Вы наверняка с работаете с такими алгоритмами.

А знаете ли этот датский сервер? Мне их алгоритм кажется лучшим из существующих, по крайней мере для наших белков - его предсказания близко совпадают с реальными структурами.

[egovoru.livejournal.com]

Как я поняла, Марков посчитал вероятности только на основании одного конкретного произведения для каждого автора, так что неизвестно, воспроизводятся ли коэффициенты "Евгения Онегина" для слов, например, из "Медного всадника" или "Домика в Коломне". Не исключено, что и содержание произведения, а не только его автор, влияют на эти вероятности.

Еще я не поняла (Элленберг об этом не пишет), учитывались ли только буквы, составляющие одно и то же слово, или были включены и буквы, начинающие следующее слово после окончания предыдущего? Интуитивно кажется, что вероятности должны быть разные в зависимости от того, включались или нет, правда?