| « | September 2025 | » | | 日 | 一 | 二 | 三 | 四 | 五 | 六 | | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | | | | | |
|
| 公告 |
|
My blog is about my major : network security.the most papers are talk about it ,I like my major ,i wish you could find what's you need in it. |
| 统计 |
blog名称:我的IT人生
日志总数:78
评论数量:185
留言数量:-1
访问次数:525695
建立时间:2006年4月5日 |
| 
|
本站首页 管理页面 写新日志 退出
 [math]信息熵(定义，性质，热力学熵) |
信息熵
一、信息熵
二、信息熵的基本性质
三、信息熵与热力学熵
一、信息熵
自信息I(xi)是指信源（物理系统）某一事件发生时所包含的信息量，物理系统内不同事件发生时，其信息量不同，所以自信息I(xi )是一个随机变量，它不能用来作为整个系统的信息的量度。 山农定义自信息的数学期望为信息熵，即信源的平均信息量:
500)this.width=500'>
信息熵表征了信源整体的统计特征，是总体的平均不确定性的量度。对某一特定的信源，其信息熵只有一个，因统计特性不同，其熵也不同。例如，两个信源，其概率空间分别为：500)this.width=500'>
则信息熵为：500)this.width=500'>
可见，H(Y)>H(X),说明信源Y比信源X的平均不确定性要大，即在事件发生之前，分析信源Y，由于事件y1 ,y2 是等概率的，难以猜测哪一个事件会发生；而信源X，虽然也存在不确定性，但大致可以知道,x1出现的可能性要大。正如两场足球赛，其中一场，双方势均力敌；而另一场双方实力悬殊很大。当然,人们希望看第一场，因为胜负难卜，一旦赛完，人们获得信息量大。
也可以这样理解，信息熵H(X)表征了变量X的随机性。如上例，变量Y取y1和y2是等概率的，所以其随机性大；而变量X取x1比x2的概率要大的多，这时变量X的随机性就小。因此，熵反映了变量的随机性，也是表征随机变量统计特性的一个特征参数。
二、信息熵的基本性质
1、对称性 当概率空间中P(x1),)P(x2)…序任意互换时，熵函数的值不变，例如下面两个信源空间:
500)this.width=500'>
其信息熵H(X)=H(Y)。该性质说明，熵只与随机变量的总体结构有关，与信源总体的统计特性有关，同时也说明所定义的熵有其局限性，它不能描述事件本身的主观意义。
2、确定性
如果信源的输出只有一个状态是必然的,即P(x1)=1, P(x2)=P(x3)=… =0,则信源的熵:
500)this.width=500'>
这个性质表明，信源的输出虽有不同形态，但其中一种是必然的，这意味着其他状态不可能出现。那么，这个信源是一个确知信源，其熵为零。
3、非负性
即H(X)>0。
因为随机变量X的所有取值的概率分布为0<P(xi)<1。
当取对数的底大于１时，logP(xi)<0,而-P(xi)logP(xi)>0,则得到的熵是正值，只有当随机变量是一确知量时，熵才等于零。这种非负性对于离散信源的熵来说，这一性质并不存在。
4、可加性
即统计独立信源X和Y的联合信源的熵等于它们各自的熵之和。
如果有两个随机变量X和Y，它们彼此是统计独立的，即X的概率分布为［P(x1),P(x2),..., P(xN)],而Y的分布概率为［P(y1), P(y2),... ,P(yM )],则联合信源的熵
500)this.width=500'>
可加性是熵函数的一个重要特性，正因为有可加性，所以可以证明熵函数的形式是唯一的。
5、极值性
信源各个状态为零概率分布时，熵值最大，并且等于信源输出状态数，因为当P(x1)=P(x2)=...= P(xN)=1/N时，
500)this.width=500'>
例如，信源有两种状态时，概率空间
500)this.width=500'>
其H(X)-P(x1)关系如图2-12所示, 500)this.width=500'>当P(x1)=1/2时，熵有最大值。以上分析表明，对于具有N个状态的离散信源，只有在信源N个状态等概率出现的情况下，信息熵才能达到最大值。这也表明，等概率分布信源的平均不确定性最大，这是一个很重要的结论，称为最大离散熵定理。
图2-12还进一步说明，如果二进制信源输出是确定的，即P(x1)= 1，则H(X)=0，此时表明该信源不提供任何信息；反之，当信源输出为等概率发生时，信源的熵达到最大值，等于1bit信息量。
三、信息熵与热力学熵
以上把信源的平均信息量定义为熵。熵(Entropy)这个字来源于统计热力学，它的中文意义是热量被温度除所的的商，相 同热量的温度高则熵小，温度低则熵大。在通信系统中，信源的信息熵的定义和热力学熵的定义在表达形式上是相同的，两者在物理概念上有一定的联系。
广义地讲，热力学的熵是物理系统无序状态的描述，是紊乱程度的测度。热力学熵总是增大的，此即热力学熵不减原理。
信息熵也可以认为是信源紊乱程度的测度，亦可用来表征物理系统运动状态的不确定性（无序性），通过通信收到信息后，消除了这种不确定性，就获得信息。例如，当消息通过系统传输到收信者后，信源的熵要改变，在信息论中，信息熵只会减少，不可能增加，这就是信息熵不增原理。
|
阅读全文(20191) | 回复(11) | 编辑 | 精华 |
| 回复:信息熵(定义，性质，热力学熵) |
|
简单(游客)发表评论于2009/12/15 18:19:12 |
|
个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
| 回复:信息熵(定义，性质，热力学熵) |
|
oo(游客)发表评论于2007/11/6 20:21:10 |
what is information? 什么是信息?信息定义？信息概念？什么是信息？信息是什么？信息的本质定义
What is an information? Information definition, information concept. What is the information?
1)that which reduces uncertainty. (Claude Shannon); 2) that which changes us. (Gregory Bateson)3)Information is the meaning of the representation of a fact (or of a message) for the receiver. (Hornung)
Deng’s Information definition: The information is the thing and it's the attribute marking(logo, sign) set.
Deng’s Shannon’s information definition athwart defines 1: The information is the determinacy increase. It is positive entropy complement. (that which increases determinacy ).
Deng’s Wiener information definition is inverse: "Information it is information, to be matter , energy , the information (and it's the attribute) sign (marking, logo, blip, token, identification, show)”
信息定义：信息是事物及其属性标识的集合。information: 1. The meaning that a human assigns to data by means of the known conventions used in their representation. [JP1] (188) 2. In intelligence usage, unprocessed data
Wiener information definition is inverse: "Information it is information, to be matter , energy , the information and it's the attribute sign (marking, logo, blip, token, identification, show)”
"Information it is information, is matter , energy , the information sign (marking, logo, blip, token, identification, show)”
|
| 个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
| 信息熵 |
|
bb(游客)发表评论于2007/10/28 18:20:27 |
不知道信息熵是什么
如果可能的话，可不可以得到您的帮助，在闲暇时，通几封邮件，使我获得更多的知识？*hbbao@hhu.edu.cn*
|
| 个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
| 回复:信息熵(定义，性质，热力学熵) |
|
KANR(游客)发表评论于2007/5/22 12:53:07 |
谁知道信息熵 命名熵这个字的历史原由，能不能换个合适字替代
|
| 个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
| 回复:信息熵(定义，性质，热力学熵) |
|
laoxin511(游客)发表评论于2007/4/17 11:42:05 |
去年在学多媒体课的时候，不知道信息熵是什么
就在网上搜，来到了这里。当时看完感觉挺简单，
过了一年，再来这里，发现看不大懂了。奇怪
可能是现在看不到图了的缘故吧。
我是数学专业的学生，喜欢数学，也喜欢计算机
如果可能的话，可不可以得到您的帮助，在闲暇时，通几封邮件，使我获得更多的知识？*laoxin511@163.com*
|
| 个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
| 回复:信息熵(定义，性质，热力学熵) |
|
11111111(游客)发表评论于2007/2/2 16:03:48 |
000000000
|
| 个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
| 回复:信息熵(定义，性质，热力学熵) |
|
xiaoxcia(游客)发表评论于2006/12/7 15:40:02 |
好地方，能不能公布个更方便的联系方式啊
|
| 个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
| 回复:信息熵(定义，性质，热力学熵) |
|
LLLL(游客)发表评论于2006/9/18 17:37:55 |
邓宇们改造了Shannon和Wiener的信息定义，由否定式变肯定式，既逆Shannon信息定义：信息是确定性的增加；及Wiener信息定义的逆：信息就是信息，信息是物质、能量、信息的标示。及邓们提出的”信息守恒”概念与公式化的定义,与“信息是事物及其属性标识的集合”的信息实质定义。
|
| 个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
| 回复:信息熵(定义，性质，热力学熵) |
|
cubq(游客)发表评论于2006/5/30 16:32:34 |
请问，
只有两个信息源（都不为0）的信息熵是否一定小于具有3个信息源（都不为0）的信息熵呢？
|
| 个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
| 回复:信息熵(定义，性质，热力学熵) |
|
山农(游客)发表评论于2006/5/9 18:04:10 |
请问在遗传基因的复制和表达中与信息熵有怎样的关系?
以下为blog主人的回复：
我不懂你想问的是什么！对遗传基因的复制和表达不是很了解！：）
|
| 个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
|
