727 次浏览

PageRank算法

看到许多图神经网络论文都会涉及到Rank算法,所以抽空来看看这个Rank经典算法PageRank,算法的发明人就是两位Google创始人,这个算法最初也是作为网页的排名算法。

PageRank算法是基于有向图的形式进行的,在其上定义一个随机游走模型(一阶马尔科夫链),通过马尔科夫链的n步转移概[……]

阅读更多

信息论基础知识cook

信息是对不确定性的消除

信息论对于机器学习的影响是广泛的,例如,概率图模型中的应用,对数线性模型等等。此篇博客也是整理一下相关内容作为一个类似于《matrix cookbook》的内容展示,方便查阅。

一个消息之所以会含有信息 , 正是因为它具有不确定性 , 一个不具有不确定性的消息 是[……]

阅读更多

支持向量机(svm)

去年暑假刷凌青老师的凸优化课(reference 1),做了几个习题之后就没怎么管了,凌青老师在课上说了整个凸优化的核心就是KKT条件,前面也帮老师做了一下支持向量机的ppt,简单地copy了书本的东西,知道svm涉及到凸优化的知识,放寒假了,复习复习知识,所以来仔细看下svm作为凸优化的复习。

[……]

阅读更多

机器学习中所用的概念

空间

Euclidean space(欧式空间): 最基本的空间,具备长度,距离,角度,内积的向量空间

Hilbert space(希尔伯特空间): 来自于泛函分析,是欧式空间的推广,欧式空间是有限维的,希尔伯特空间是无限维的完备内积空间(内积空间的内容是基于线性运算与内积的,再推出其他[……]

阅读更多

Morvan博客-tensorflow2学习(三)

前面是关于线性拟合和构建简单神经网络的内容,对于构建过程的可视化,tensorflow提供了一个强大的工具tensorboard。

Tensorboard的使用

tensorflow2与tensorflow1不同使用的动态图,可以说tensorflow中是没有”图”的概念的(refere[……]

阅读更多

Morvan博客-tensorflow2学习(二)

前面使用tensorflow2对线性数据进行拟合,此篇则是进行简单的神经网络搭建,对二次函数进行拟合。

搭建简单的神经网络

同样先使用tensorflow.compat.v1来跑morvan大佬的代码,需要注意要tf.disable_v2_behavior(),这样可以避免tf.plac[……]

阅读更多

Morvan博客-tensorflow2学习(一)

最近要阅读修改一篇论文的tensorflow代码,所以来学习tensorflow,博客主要内容来自Morvan的tensorflow的教程(reference1, 2),Morvan大佬用的tensorflow用的是很早版本了,本人安装的r2.0,所以将morvan大佬教程的代码修改成tensorf[……]

阅读更多

马尔科夫链基础知识

记得学概率论总会提一个词:独立同分布。也即随机变量的取值互不影响,又服从同一个分布规律。正如我们进行伯努利实验,连续抛一枚骰子,上一个结果不会影响后一个结果,同时每个结果获得的概率都是\(p=1/6\)。

像伯努利过程、泊松过程这样的随机过程是无记忆的,未来的状态不会被过去的状态影响。不同于伯[……]

阅读更多

最小二乘法

最小二乘法是机器学习最最基础的部分了,我们在线性拟合数据(回归)的时候,会用到此法。同时也在一些模型作为模型的优化指标,即均方误差MSE

投影

首先来扯一扯投影这个概念,对于线段之间的投影,如下图将向量b投影至向量a上,得到投影p,其关键就是向量b到投影p的线段是正交与向量a的,也即\([……]

阅读更多