669 次浏览

信息论基础知识cook

信息是对不确定性的消除

信息论对于机器学习的影响是广泛的,例如,概率图模型中的应用,对数线性模型等等。此篇博客也是整理一下相关内容作为一个类似于《matrix cookbook》的内容展示,方便查阅。

一个消息之所以会含有信息 , 正是因为它具有不确定性 , 一个不具有不确定性的消息 是[……]

阅读更多