Много званых

[egovoru]

Говорят, свой знаменитый принцип Вильфредо Парето сначала сформулировал на огороде, когда обнаружил, что 80% всех горошин приходится на 20% стручков – и лишь потом углядел ту же закономерность в итальянском землевладении.

Еще один пример вездесущей степеннóй зависимости – распределение числа комментариев в моем ЖЖ, построенное программкой ljArchive. По горизонтальной оси – ники (неразличимые в таком масштабе), а по вертикальной – число комментариев каждого.

Имеет ли смысл вопрос, почему столь разные системы проявляют одну и ту же численную закономерность?

Слева – иллюстрация принципа Парето
из Encyclopedia of Human Thermodynamics,
а справа – распределение комментариев к моему журналу

Comments

[dralkin.livejournal.com]

Думаю, что вопрос имеет смысл. Надо только подумать, какой.

[egovoru.livejournal.com]

Я имела в виду, означает ли одинаковая численная закономерность и некую общность "физических механизмов", и если да, то какую? Какая общность физических механизмов может быть у процесса созревания гороха и комментирования в ЖЖ? На первый взгляд тут вроде бы нет ничего общего ;)

[dralkin.livejournal.com]

да, я понял ваш вопрос.
Но я думаю, что общность заключена не в "физических механизмах" того или иного явления, а в том способе получения знания, который мы применяем.

[a-gorb.livejournal.com]

”Имеет ли смысл вопрос, почему столь разные системы проявляют одну и ту же численную закономерность?”
Имеет. Ведь вот распределение Гаусса, которое встречается может быть даже чаще, чем распределение Парето, имеет такого рода обоснование.

[sergeyoho.livejournal.com]

Между этими двумя распределениями, как я понимаю, сложные отношения. (Если точнее, между нормальным распределением и семейством “heavy-tailed distributions”. Распределение Парето – член этого семейства.)

Нассим Талеб часть известной книги про «Чёрных лебедей» посвящает атаке на использование гауссовских моделей в экономике. Получают, пишет, Нобелевки за далёкую от жизни математику. А потом фонды, консультируемые лауреатами, дают дуба.

[a-gorb.livejournal.com]

”далёкую от жизни математику”
В этом не математика виновата:)
Ведь 2+2=4, но 2 литра воды + 2 литра спирта не дадут 4 литров смеси.

[egovoru.livejournal.com]

"А потом фонды, консультируемые лауреатами, дают дуба"

Недаром же говорят, что "жизнь сложнее всяких схем" ;)

[egovoru.livejournal.com]

А скажите, пожалуйста, что же это за обоснование? (Я, может, и знала это в студенческое время, но сейчас не могу сообразить :( И каково обоснование для степенного распределения? Последнее ведь еще и основа фракталов, так что, поняв, почему появляются такие зависимости, мы бы, наверное, узнали и то, почему вокруг нас так много фракталов :)

Жаль, ljArchive не позволяет экспортировать данные в текстовом формате, а то можно было бы определить, что это за степень - выглядит как довольно высокая.

[a-gorb.livejournal.com]

”А скажите, пожалуйста, что же это за обоснование?”
Центральная предельная теорема. Сумма большого числа случайных величин, из которых ни одна не доминирует, имеет распределение близкое к Гауссову.

”И каково обоснование для степенного распределения?”
А я не знаю, специально этим вопросом не занимался:)
Где-то слышал, что степенное распределение может возникать в нелинейных динамических системах со случайным воздействием.

[alex-new-york.livejournal.com]

Самым простым объяснением наблюдения Парето (20/80) является концепция логнормального распределения. Нормальное (гауссово) распределение какой-то величины возникает, если величина является результатом сложения множества разных случайных факторов. Когда же величина является результатом не сложения, а произведения множества случайных факторов, распределенной по нормальному закону является не сама величина, а её логарифм, что обычно приводит к результатам, довольно близким к правилу 20/80, хотя конкретные числа могут и несколько отличаться, в зависимости от параметров распределения (как и в реальной жизни, где правило 20/80 выполняется лишь приблизительно).

[egovoru.livejournal.com]

Надо сказать, что распределение комментариев скорее напоминает не 80/20, а 90/10 - степень функции должна быть не меньше 3, а то и выше. К сожалению, в ljArchiv не предусмотрен вывод текстового файла, а то можно было бы провести более детальное исследование.

Там, например, явно присутствует некое плечо на уровне 200 комментариев - может, это не шум, а закономерность? Кроме того, хотя в таком масштабе этого не видно, программа на самом деле считает не только "входящие" комментарии, но и "выходящие", т.е., сколько ответных комментариев написала каждому комментатору я сама - а это тоже интересный материал для анализа ;)

"Когда же величина является результатом не сложения, а произведения множества случайных факторов, распределенной по нормальному закону является не сама величина, а её логарифм"

Да, но это ведь тоже математическое описание, только выраженное в других терминах, а можно ли усмотреть тут какой-то общий "физический механизм"? Иными словами, почему в некоторых случаях сила влияющих факторов складывается, а в других - умножается?

[alex-new-york.livejournal.com]

Произведение случайных факторов является полезной моделью, когда изменения величины пропорциональны её величине. Например, ежегодное изменение размера бизнеса является определенной долей этого размера, положительной или отрицательной, в зависимости от экономической результативности его деятельности. Или, к примеру, изменение средней массы тела представителей какого-то биологического вида на протяжении нескольких поколений, является долей этого веса, положительной или отрицательной. Поэтому у мыши эта доля измеряется в граммах, а у кита - в тоннах.

А когда зависимости случайного изменения от текущего размера нет (например, если при игре в рулетку мы каждый раз ставим не фиксированную долю того, что у нас есть, а просто фиксированную сумму - скажем, один жетон), тогда результат большого числа случайных изменений будет описываться не логнормальным, а просто нормальным распределением.

А что именно показано на графике? Число комментариев данного автора вообще за все время? Или за какой-то отрезок времени? И имеются ли в виду комментарии к отдельной статье или вообще все комментарии?

[egovoru.livejournal.com]

Подумала, что, наверное, самый важный фактор, влияющий на характер распределения - это малость отношения числа тех, кто включил меня в число друзей и, значит, регулярно читает мои тексты, и общего числа пользователей ЖЖ. Из последних каждый может случайно зайти в журнал и оставить там один комментарий, потеряв всякий интерес к журналу сразу после этого. Поскольку число их очень велико, они и дают длинный "хвост" распределения. А вот каждый из малого числа моих друзей, разумеется, и оставляет основное число комментариев ;)

[alex-new-york.livejournal.com]

А график построен для Вашего конкретного журнала? А я думал - для всего ЖЖ. Да, тогда все становится на свои места :) И, наверное, Вы правы: длинный хвост немногословных посетителей - это именно те, кто не принадлежит к числу друзей. Интересно было бы построить два распределения: одно - для друзей, другое - для остальных. И сравнить.

[egovoru.livejournal.com]

"Самым простым объяснением наблюдения Парето (20/80) является концепция логнормального распределения"

Вики вроде бы пишет, что логнормальное и степенное распределение - это не одно и тоже:

"For example log-normal distributions are often mistaken for power-law distributions: a data set drawn from a lognormal distribution will be approximately linear for large values (corresponding to the upper tail of the lognormal being close to a power law), but for small values the lognormal will drop off significantly (bowing down), corresponding to the lower tail of the lognormal being small (there are very few small values, rather than many small values in a power law)."

[alex-new-york.livejournal.com]

Да, это два несколько разных распределения. Вот тут, кстати, их сравнивают применительно к похожей статистике:

https://blog.luminoso.com/2012/02/09/twitter-followers-do-not-obey-a-power-law-or-paul-krugman-is-wrong/

[vls-smolich.livejournal.com]

А ещё существует утверждение что 95% человечества -- идиоты.
А в более цивилизованной форме говорят о том, что только 5% способны создавать и осмысливать новую информацию.
И если это так, то распределение Парето в процессе эволюции приобретает всё более радикальный характер.

[egovoru.livejournal.com]

Да и на графике распределения комментариев видно, что соотношение скорее не 80/20, а 90/10 ;) Интересно, какой конкретно степени соответвует каждое соотношение? (Подсчитать вроде бы легко, но что-то неохота этим заниматься ;) Судя по немалой крутизне графика комментариев, степень их распределения не меньше 3, а то и больше. Посмотрим, как оно будет меняться со временем ;)

Что же касается того, что распределение интеллекта в человеческой популяции становится со временем все более крутым, так ведь недаром в Евангелии сказано: "Кто имеет, тому дано будет, а кто не имеет, у того отнимется и то, что он думает иметь" ;)

Физический же смысл, видимо, в том, что это увеличение крутизны распределения - результат продолжающейся специализации функций отдельных элементов внутри системы; а это, действительно - столбовая дорога всякой эволюции ;)

[dralkin.livejournal.com]

//Физический же смысл, видимо, в том, что это увеличение крутизны распределения - результат продолжающейся специализации функций отдельных элементов внутри системы//

Как я понял по гор. оси там юзеры. Причем юзеры жж, а не вообще любые. А в жж на коммуникацию наложены спец.ограничения - обсуждение особым образом структурировано - в виде дерева с ветками. Ане просто поток, как в твиттере, скажем. Это тоже нужно учитывать. Т.е. исли и можно говорить в данном случае оспециализации функций внутри системы, то система эта - жж с его структурой комментирования. Т.е. в конечном счете вывод наш должен быть о жж, в сравнении напр., с фб, вк и пр. Другие системы коммуникации могут дать другие совершенно распределения.

пс.
В случае ljArchive, мы имеем дело, как я понимаю, с функциями коммуникативной системы жж. А в общем случае (для разл. систем), надо бы понять, как мы будем сравнивать их функции. Особенно если учесть, что эти функции определяются, исходя из структуры организующей общение (дерево, поток и пр.). Т.е. понятие "коммент" будет различных в разных соцсетях.
А про горох не знаю. Думать надо.

ппс.
Ну, и дальше надо понять, в каком смысле (каким будем оперировать образом, т.е. на каком основании) мы будем соотносить систему "горох" и "соцсеть". В таком ключе думаю.
Здесь смысл=образ=основание. А достаточное оно будет или нет зависит от ясности нашего представления.

[dralkin.livejournal.com]

Наверное, интересный вывод можно было бы сделать, если сравнить "паттерны" (не знаю, как точно назвать) распределений различных групп параметров для разных соцсетей. Скажем, по отдельности параметры несравнимы (т.к. структуры разные), но если составить их в группы, то паттерны групп оказываются чем-то похожи между собой.

Но это так - пальцем в небо. Сначала идея нужна. Как говорил Кант: "Мы не можем знать о предмете больше, чем сами в него вложили". Впрочем, и "пальцем в небо" работает на коротких дистанциях.

пс.
Например, можно ввести сложный параметр, типа число-комментов/ср.длина-коммента или число-комментов/возраст.юзера - и посмотреть, как распределяются параметры по юзерам в соцсетях.

[dralkin.livejournal.com]

Здесь еще надо понимать, что юзер Имярек в системе не есть реальный человек. Это некий объект (внутри системы), которому атрибутируются изменения параметров (ввод имени, новый коммент и т.п.). Эти параметры могут изменятся только по строго заданным (внутри системы) правилам. От конфигурации правил может сильно зависеть активность пользователя в системе.
Пусть это будет нашей гипотезой - связь активности (напр. распределение комментов) от конфигурации правил для возможных действий пользователя. Я предполагаю, что изменить распределение комментов (сделать менее крутым напр.) можно через изменение конфигурации правил. Грубо говоря, где правила проще - там кривая более пологая.

[almakedonskij.livejournal.com]

большинство ников в жж либо боты, либо трупаки-репостеры )

[egovoru.livejournal.com]

Но ведь боты вроде бы тоже оставляют "комментарии"? Я вообще с их деятельностью плохо знакома :)

Что же касается репостеров, то их доля в числе обычных комментариев - по крайней мере в моем журнале - ничтожно мала. Я, признаться, в деятельности репостеров не вижу много смысла - для этого ведь есть отдельная кнопка "add to memories"? Но копка репоста, наверное, удобнее ;)

[p2004r.livejournal.com]

По моему есть смысл считать только комментарии постов "первого уровня".

[egovoru.livejournal.com]

Такой функции в этой программке, увы, нет. Но и по существу я, наверное, с Вами не соглашусь: мне кажется, что, если пост вызывает длительное содержательное обсуждение даже с одним собеседником - это важно. Я гонюсь не столько за количеством, сколько за качеством беседы ;)