Re: дал тут свое определение энтропии на одном из форумов

Энтропия - это функция вероятности состояния по возможным состояниям. Состояние что все 20 стульев окажутся в углу вместе маловероятно - значит энтропя маленькая. Состояние, что они все точно равномерно распределяться - тоже маловероятно (по-моему), значит тоже энтропия маленькая. В природе, вроде, стулья стремяться хаотично разбросаться по комнате.

Re: дал тут свое определение энтропии на одном из форумов

>есть комната, в ней 20 стульев, если стулья собраны в углу, энтропия маленькая, а если равномерно по комнате - большая.
>природа устроена так, что стулья стремятся равномерно распределиться по комнате - это и есть энтропия

нет, простыми перестановками энтропию не увеличить - в конце концов это всего-лишь один из возможных вариантов, ничем не отличающийся от других) правильнее было бы:

есть комната, в ней 20 стульев, стульев всего 20 и энтропия маленькая. но с течение времени стулья обветшали: у одного отвалилась ножка, у другого спинка, количества "частей" в комнате все растет и растет, все больше и больше вариантов их взаимного расположения, в конечном итоге в комнате наступает хаос - везде валяются щепки, куски обшивки, во всем этом бардаке нельзя даже понять чем это все когда-то было. вот это и есть энтропия:)

аддед: хотя я тут подумал, если брать функцию вероятности от того, что человек, проходя через случайное место, споткнется об стул, то при равномерном распределении энропия все же больше)

Re: дал тут свое определение энтропии на одном из форумов

Гуглобот прав. Любое конкретное расположение имеет одинаковую вероятность. Это только человечий глаз видит что какое-то конкретное расположение более упорядочено. На самом деле, вдруг ты видишь, что они разбросаны в беспорядке, а на самом деле подчиняются какому-то хитрому математическому закону? Поэтому энтропия вообще не применима к неподвижным объектам, она зависит от функции распределения. Вот в ситуации если бы допустим каждый день стулья в комнате весь день каким-то образом двигали, а вечером ты приходил бы и проверял их расположение, уже можно вычислить энтропию через много дней. Если каждый день расположение стульев совсем другое - энтропия больше, а если они расположены более предсказуемо - меньше. Поэтому в данном случае энтропию можно понимать как меру предсказуемости.

Re: дал тут свое определение энтропии на одном из форумов

>>есть комната, в ней 20 стульев, если стулья собраны в углу, энтропия маленькая, а если равномерно по комнате - большая.
>>природа устроена так, что стулья стремятся равномерно распределиться по комнате - это и есть энтропия
>нет, простыми перестановками энтропию не увеличить - в конце концов это всего-лишь один из возможных вариантов, ничем не отличающийся от других) правильнее было бы:
> есть комната, в ней 20 стульев, стульев всего 20 и энтропия маленькая. но с течение времени стулья обветшали: у одного отвалилась ножка, у другого спинка, количества "частей" в комнате все растет и растет, все больше и больше вариантов их взаимного расположения, в конечном итоге в комнате наступает хаос - везде валяются щепки, куски обшивки, во всем этом бардаке нельзя даже понять чем это все когда-то было. вот это и есть энтропия:)
Принципиально это определение точно такое же как у Вильфреда: У него стулья собраны в одой части комнаты а у тебя щепки и части собраны в стулья.

Re: дал тут свое определение энтропии на одном из форумов

> Гуглобот прав. Любое конкретное расположение имеет одинаковую вероятность. Это только человечий глаз видит что какое-то конкретное расположение более упорядочено. На самом деле, вдруг ты видишь, что они разбросаны в беспорядке, а на самом деле подчиняются какому-то хитрому математическому закону? Поэтому энтропия вообще не применима к неподвижным объектам, она зависит от функции распределения. Вот в ситуации если бы допустим каждый день стулья в комнате весь день каким-то образом двигали, а вечером ты приходил бы и проверял их расположение, уже можно вычислить энтропию через много дней. Если каждый день расположение стульев совсем другое - энтропия больше, а если они расположены более предсказуемо - меньше. Поэтому в данном случае энтропию можно понимать как меру предсказуемости.
Принципиально это определение точно такое же как у Вильфреда: У него стулья собраны в одой части комнаты а у тебя щепки и части собраны в стулья.

и да: каждое конкретное распределение имеет одну и туже вероятность, но при одинаковой равмномерной модели. В этом случае мы уже а приори знаем что стулья ведут себя одинаково. Здесь и ты и googlebot анонимус прывы.

и нет: если модель только частична известна.

Например: предположем у нас 1 мерная комната 0 < 10, и мы знаем что стулья распределены равномерно U[a,b], 0< =a< =b, и независимы. i.i.d

А теперь рассмотрим две ситуации:

А) у нас 4 стула: находятся на координатах 0, 2, 2.5, 10 то мы можем 100 % сказать что распределение U[0,10]

Б) ситуация следующая, у нас 4 стула: на координатах 0, 2 , 2.5, 5, теперь мы не сможем сказать 100 % что распределение U[0,10].

Только как квалифицировать энтропию на основе распределения я не знаю. Может по носителю или может по дисперсии ? Я бы сказал что вариант А как вариант с большей вероятностю с большим носителем и дисперсией более "хаотичен".