Энтропия держит цепко

[egovoru]

Сади Карно первым понял, что не вся энергия может быть превращена в работу, а Рудольф Клаузиус придумал слово «энтропия» для обозначения этой неуловимой части. Количественно информация – это и есть изменение энтропии (с обратным знаком); по крайней мере, Шеннон с фон Нойманом именно так ее и определили.

Больше всего меня беспокоило подходящее имя. Сначала я хотел говорить об «информации», но это слово уж слишком затасканное, поэтому я склонялся в пользу «меры неопределенности». Когда я рассказал об этом Джону фон Нойману, у него возникла идея получше. Фон Нойман сказал мне: «Ты должен назвать это «энтропией», по двум причинам. Во-первых, твоя «мера неопределенности» уже была использована в статистической механике под тем самым именем. Во-вторых и в-главных, никто не знает, что такое на самом деле энтропия, так что в любом обсуждении преимущество будет на твоей стороне».

Недавняя работа японцев, подковавших блоху приручивших демона Максвелла, наделала много переполоху в популярной прессе. Но, как и во всяком вечном двигателе, процесс получения энергии из информации у них был сопряжен с потреблением гораздо большей энергии извне. Как заметил автор комментария, помещенного издателями вместе с оригинальной публикацией: «Этот эксперимент подобен производству крошечного количества энергии путем термоядерного синтеза в реакторе, требующем колоссального энергообеспечения».

Карикатура Арье Бен-Наима
на знаменитый разговор Шеннона и фон Ноймана (отсюда)

Comments

[evgeniirudnyi.livejournal.com]

Обратите внимание, что Шеннон не отождествлял термодинамическую и информационную энтропии. В своей статье он просто упомянул, что его уравнение напоминает уравнение Больцмана без каких либо заключений по этому поводу.

Один из первых, кто отождествил две энтропии был Edwin T. Jaynes

E. T. Jaynes, Information theory and statistical mechanics, Phys. Rev. Part I: 106, 620–630 (1957), Part II: 108, 171–190 (1957)

Первая часть мне даже понравилась, но далее во второй части он дал субъективную интерпретации энтропии (энтропия - мера незнания человека) и я на этом прекратил чтение. Тем не менее следует отметить, что работы Jaynes крайне популярны в кругах ИИ.

[egovoru.livejournal.com]

Да, насколько я понимаю, Шеннон вообще совершенно не интересовался термодинамикой. Что же касается субъективных интерпретаций, то я пока еще в этом не разобралась. Хотелось бы найти грамотное, но популярное изложение ;)

[evgeniirudnyi.livejournal.com]

Вот например, что пишет Jaynes:

"При такой интерпретации выражение необратимый процесс означает семантическое недоразумение: не физический процесс является необратимым, а наше неспособность следовать за процессом. Второй закон термодинамики при этом становится просто утверждением, что хотя наша информация о состоянии системы может быть утеряна разными путями, единственный путь увеличить информацию заключается в проведении последующих измерений."

Кто как хочет, так и понимает. Или вот еще из статьи Jaynes

"Важно понять, что тенденция к возрастанию энтропии не является следствием законов физики как таковых ... Возрастание энтропии может произойти неизбежно как следствие нашего неполного знания сил, действующих на систему, или это может быть абсолютное произвольное действие с нашей стороны."

Я лично решил, что такое понять я не могу. Однако посмотрите на число цитирований статей Jaynes. Людям похоже нравится такой поворот дел.

Следует правда сказать, что в квантовой механике ситуация не лучше: без наблюдателя никуда.

Я меня были несколько обсуждений на эту тему на everything-list и я задокументировал мои примеры, которые показывают с моей точки зрения неправомерность отождествления двух энтропий, в заметке Entropy and Information.

[egovoru.livejournal.com]

Боюсь, что упомянутые Вами статьи Джейнса далеко за пределами моих возможностей - нашла их сети, но они, конечно, для профессионалов, для меня выглядят устрашающе :(

Но, насколько я поняла из приведенных Вами цитат, он тяготеет к некоему более симметричному миру, чем тот, в котором действует второй закон термодинамики.

"неправомерность отождествления двух энтропий"

А не могли бы Вы дать конкретную ссылку, а то я не знаю, что такое "everything-list"?

[evgeniirudnyi.livejournal.com]

У граждан, которые занимаются статистической механикой, действительно остаются иллюзии, что можно еще найти лазейку, чтобы побороть второй закон. Ведь статистическая механика например не запрещает ситуацию, когда стакан воды, стоящий в комнате, самопроизвольно закипает.

Поиск

Everything List - Google Groups

приводит к everything-list. Там правда разная публика и разное качество постов. Иногда впрочем бывает занятно.

[re-xor.livejournal.com]

Сам не читал (хотя, пожалуй, надо бы), но вроде бы неплохие отзывы у книг этого автора:
http://en.wikipedia.org/wiki/Arieh_Ben-Naim
У него кстати и по биологии есть, например, свежая книга "Приключения Алисы в молекулярной биологии" :)

[egovoru.livejournal.com]

Спасибо за наводку. Действительно, он написал по крайней мере полдюжины книг про энтропию, и их вроде вполне можно раздобыть, несмотря на то, что издает он их почему-то в Сингапуре ;)

Нашла даже в сети главу одной из них - вот (http://www.worldscientific.com/doi/suppl/10.1142/8333/suppl_file/8333_chap01.pdf), если тоже захотите взглянуть; сама я ее пока не прочла.

[evgeniirudnyi.livejournal.com]

Глава в целом неплохая. Только вот данное утверждение совершенно неправильно

"it should be mentioned that the concept of entropy is defined in thermodynamics only for equilibrium states"

Также непонятен поиск дескрипторов (замены для энтропии). Энтропия - это хорошо определенная функция состояния, которая прекрасно измеряется и применяется на практике. Какие еще дескрипторы нужны и зачем?

[re-xor.livejournal.com]

Спасибо за главу. Начал читать, но с моим распорядком, думаю, что закончу не так скоро.

[evgeniirudnyi.livejournal.com]

На скору руку я не нашел ничего такого, чтобы понять идею автора. Сам по себе он похоже знает термодинамику, что уже неплохо.

Хочу отметить только одно обстоятельство. Энтропия например зависит от температуры и давления. Если отождествить ее с информацией, то получится, что информация также зависит от температуры и давления. Было бы интересно узнать, как автор справляется с этим вопросом.

[egovoru.livejournal.com]

Он считает, что термодинамическая энтропия - частный случай шенноновской; см. выше цитаты из его текста.

[egovoru.livejournal.com]

Добралась до одной из его книжек, ссылка на несколько глав из которой ведет из моего последнего поста (http://egovoru.livejournal.com/55331.html). Остальная часть книжки представляет собой упражнения в комбинаторике, которые я пропустила, решив, что мне и так известно то, что автор хочет ими сказать ;) А вот почему он решил, что статистический характер второго начала исключает однонаправленность времени, я не поняла - по-моему, это просто неверно?

[a-gorb.livejournal.com]

Эпиграф (не относящийся к делу, но забавный):
«… низко склонив голову над этим почтенным документом, я не без труда прочитал выцветший текст:
ТЕЛЕЦ ГАММА ПЛАНЕТ ДО ЧЕРТА НО СЛАВА БОГУ БЕЗЛЮДНЫХ В ПЕРИГЕЛИИ БОЛОТИСТЫЕ В АФЕЛИИ ОБЛЕДЕНЕЛЫЕ ВСЕ ЭТО ПАСКУДНАЯ ЭНТРОПИЯ И НИЧЕГО БОЛЬШЕ ТОЧКА
…
Я еще раз взглянул на архаический астротелекс, и словно пелена упала с моих глаз: я понял, что название ЭНТЕРОПИЯ возникло просто из «паскудной энтропии», перевранной каким-то делопроизводителем»
[Станислав Лем. Осмотр на месте]

”Рудольф Клаузиус придумал слово "энтропия" для обозначения этой неуловимой части.”
Не совсем так, но это не важно.
”Как заметил автор комментария, помещенного издателями вместе с оригинальной публикацией: "Этот эксперимент подобен производству крошечного количества энергии путем слияния ядер в реакторе, требующем колоссального энергообеспечения".”
Это камушек в огород не упомянутых японцев, а скорее в область исследований контролируемого термоядерного синтеза. Ну, или в обоих. Так, что замечательный многозначный комментарий.

Хотя мне вот лично не понятно, почему иногда так «носятся» с этой энтропией. Ведь штука очень простая. Вот бросили штук сто монет. Все упали орлами – энтропия минимальна. Примерно поровну орлами и решками – энтропия максимальна. Вот собственно и все содержание энтропии.

[evgeniirudnyi.livejournal.com]

В вашем пример с монетами термодинамическая энтропия не меняется.

1) Энтропия одной монеты не меняется при переходе из состояния орел в решка.

2) Энтропия системы является суммой энтропий подсистем. Энтропия, как и энергия являются аддитивными функциями.

[verum-corpus.livejournal.com]

2) Если я правильно понимаю, в волновой (квантовой) механике это не так.

[evgeniirudnyi.livejournal.com]

А что, в квантовой механике существует энтропия?

Или квантовая механика подходит к описанию коллекции монет в конфигурации орёл - решка?

[verum-corpus.livejournal.com]

Ну можно представить, например, вместо монет спины электронов в атоме (?).

[a-gorb.livejournal.com]

”энтропия не меняется”
Меняется

”1) Энтропия одной монеты не меняется при переходе из состояния орел в решка.”
Да, энтропия состояния одной монеты орел или состояния решка будет одной и той же. Удобно ее принять равной нулю.

”2) Энтропия системы является суммой энтропий подсистем.”
Да. Если мы возьмем сто орлов, то по-прежнему будет энтропия ноль. Так же будет ноль, если мы возьмем сто решек.

”Энтропия, как и энергия являются аддитивными функциями.”
Да. Но аддитивность здесь надо понимать аккуратно, она может оказаться разной для энергии и энтропии.

[evgeniirudnyi.livejournal.com]

Если вы согласны с утверждениеями 1) и 2), то каким образом вы пришли к выводу, что энтропия меняется? Ваша логика осталась мне непонятной.

[egovoru.livejournal.com]

"ВСЕ ЭТО ПАСКУДНАЯ ЭНТРОПИЯ"

Действительно, едва ли какое другое понятие физики может похвастаться такой популярностью в народе ;) Тимур Кибиров вон даже целую поэму (http://moonparnasse.ru/kilometr/kibirov.php) про нее написал - это оттуда я взяла свое заглавие ;)

"Не совсем так, но это не важно"

Если не так, то поправьте, пожалуйста - а то я, конечно, давно подзабыла и то немногое, что знала из физики. Я имела в виду просто вот это: dU = TdS - PdV.

"Это камушек в огород не упомянутых японцев"

Похоже, однако, что эта предосторожность редакции мало помогла: большинство анонсов этой работы в популярной прессе описывает ее, как изобретение вечного двигателя ;)

"Ведь штука очень простая"

Насколько я понимаю, фон Нойман именно это и имел в виду: что шенноновское определение энтропии интуитивно более понятно, чем больцмановское, и уж тем более чем макроскопическое (которое вовсе, на мой взгляд, непонятно).

"почему иногда так «носятся» с этой энтропией"

Этот мой текст - продолжение нашей беседы (http://egovoru.livejournal.com/53202.html?thread=1054674#t1054674) с уважаемым re_xor о том, лежат ли "биты" в основе мира. Это он рассказал мне про этих "демонических" японцев - в ответ на мое замечание, что информацию нельзя непосредственно обратить в энергию/массу, т.е., материю. Соответственно, я и решила припомнить - а почему, собственно, нельзя?

[evgeniirudnyi.livejournal.com]

"фон Нойман именно это и имел в виду: что шенноновское определение энтропии интуитивно более понятно, чем больцмановское, и уж тем более чем макроскопическое (которое вовсе, на мой взгляд, непонятно)"

В этом состоит основная проблема с энтропией. Люди почему-то думают, что концепция энтропии в статистической механике более понятна, чем в классической термодинамике. Далее как следствие классическая термодинамика игнорируется, что в свою очередь приводит к крайне странным высказываниям, которые уже просто невозможно понять.

Нельзя забывать, что термодинамика была создана для решения практических задач. Попробуйте решить эти задачи, начав с уравнения Больцмана. Ведь ничего же не получится.

Простой пример - расслаивание раствора. Недавно я в ходе обсуждения с биосемиотиками написал Entropy and Miscibility Gap: Tutorial for Biologists, где есть все уравнения для крайне простого случая. Попробуйте решить эту задачу с использованием уравнения Больцмана. Тогда разговор будет более предметным.

[egovoru.livejournal.com]

"Попробуйте решить эту задачу с использованием уравнения Больцмана"

Конечно, для решения разных задач требуются разные модели, и термодинамика здесь не исключение.

Здесь у меня задача - попытаться понять логику тех, кто считает, что в основе мира лежит информация. Перекинуть мостик от информации к циклу Карно как-то сложнее, чем к статистической механике.

[a-gorb.livejournal.com]

”Я имела в виду просто вот это: dU = TdS - PdV.”
Ок. Это я просто придирался, извините. Я же и сказал «не совсем так», а не «не так»:). Разница между энергией и работой, как вы справедливо написали, это TdS, а не dS.

”большинство анонсов этой работы в популярной прессе описывает ее, как изобретение вечного двигателя ;)”
Обычное дело со стороны журналистов.

”шенноновское определение энтропии интуитивно более понятно, чем больцмановское, и уж тем более чем макроскопическое (которое вовсе, на мой взгляд, непонятно).”
Ну кому что понятнее:)

”Этот мой текст - продолжение нашей беседы”
Тут я не про вас, а вообще …, т.е. имел в виду, что «едва ли какое другое понятие физики может похвастаться такой популярностью в народе». А вот почему это так, вопрос интересный.

[egovoru.livejournal.com]

"А вот почему это так, вопрос интересный"

Возможно, все дело в той формулировке второго закона, которая гласит, что в замкнутой системе беспорядок может только возрастать - такая перспектива вызывает уж очень конкретную эмоциональную реакцию в приложении к обыденной жизни ;)

[egovoru.livejournal.com]

Кстати сказать, Бен-Наим предлагается в своей книжке разумное, на мой взгляд, решение, как избежать этой сложности с температурой, которую Вы отметили. Выше в комментарии (http://egovoru.livejournal.com/54636.html?thread=1108076#t1108076) другому собеседнику я рассказала об этом более подробно.