机器学习中所用的概念

空间

Euclidean space(欧式空间): 最基本的空间,具备长度,距离,角度,内积的向量空间

Hilbert space(希尔伯特空间): 来自于泛函分析,是欧式空间的推广,欧式空间是有限维的,希尔伯特空间是无限维的完备内积空间(内积空间的内容是基于线性运算与内积的,再推出其他的概念,不同于赋范空间,先有范数概念,再推出其他概念),几何概率和术语都和欧式距离相似。内积空间四条最基本的性质(括号表示内积):
1. \((a, a) \geq 0, (a, a) = 0, 当且仅当a=0\)
2. \((a, b) = \overline{(b, a)}\)(上划线为共轭)
3.[……]

阅读更多

图卷积的pytorch实现

很羡慕嫉妒周围大佬的学习速度,对于图神经网络的学习到应用到发表论文速度之快,表示跟不上。

这段时间忙着弄老师的不平衡数据分类的问题,但是还是在抽时间看图神经网络的论文以及博文。网络上的图卷积文章已经十分多了,推荐可以先看reference 3,比较简单易懂,然后reference 2,总结的内容蛮详近的, 再去知乎(reference 1)看看大佬们的相关讨论,对于在discrete graph上的梯度,散度的解释可以结合reference 9(quora上的一个问题,给了计算的例子)。本文主要是从代码角度来看GCN的卷积要了解的多深

图神经网络的开端是从2009年referen[……]

阅读更多

Morvan博客-tensorflow2学习(三)

前面是关于线性拟合和构建简单神经网络的内容,对于构建过程的可视化,tensorflow提供了一个强大的工具tensorboard。

Tensorboard的使用

tensorflow2与tensorflow1不同使用的动态图,可以说tensorflow中是没有”图”的概念的(reference3)。个人认为对于morvan大佬的自建神经网络,在tensorflow2情况下是十分受阻碍的。

首先使用tf.summary.create_file_writer函数来创建SummaryWriter对象,tensorflow2下使用tensorboard构建神经网络的结构,则还需要使[……]

阅读更多

Morvan博客-tensorflow2学习(二)

前面使用tensorflow2对线性数据进行拟合,此篇则是进行简单的神经网络搭建,对二次函数进行拟合。

搭建简单的神经网络

同样先使用tensorflow.compat.v1来跑morvan大佬的代码,需要注意要tf.disable_v2_behavior(),这样可以避免tf.placeholder() is not compatible with eager execution的运行错误。

ok,代码在原基础上没有做太多改动,使用tf.global_variables_initializer()替换了原来代码的变量初始化。使用with操作来自动关闭session句柄,[……]

阅读更多

Morvan博客-tensorflow2学习(一)

最近要阅读修改一篇论文的tensorflow代码,所以来学习tensorflow,博客主要内容来自Morvan的tensorflow的教程(reference1, 2),Morvan大佬用的tensorflow用的是很早版本了,本人安装的r2.0,所以将morvan大佬教程的代码修改成tensorflow2来熟悉api。考虑要写一些api的注解,所以就以博客形式放出来了。

tensorflow的基本思想就是通过构建含有基础变量tensor的graph,在session中运行。(reference4)

使用tensorflow进行线性拟合

拟合直线:\(y = 0.1 x +[……]

阅读更多

马尔科夫链基础知识

记得学概率论总会提一个词:独立同分布。也即随机变量的取值互不影响,又服从同一个分布规律。正如我们进行伯努利实验,连续抛一枚骰子,上一个结果不会影响后一个结果,同时每个结果获得的概率都是\(p=1/6\)。

像伯努利过程、泊松过程这样的随机过程是无记忆的,未来的状态不会被过去的状态影响。不同于伯努利过程,马尔科夫链则考虑的是过去的状态会影响未来的状态。

马尔科夫链

马尔科夫链的核心假设是此时的状态只与上一个时刻的状态有关,而与其他时刻的状态无关。

对于一个状态空间\(S = \{1, \ldots, m\}\),马尔科夫链有转移概率\(p_{ij}\)来决定,在时刻\(n[……]

阅读更多

Almeida–Pineda algorithm

Almeida-Pineda algorithm, a.k.a, recurrent backpropagation,来自于reference1和reference2,由于年代久远,没有找到reference1,读了下reference2,个人感觉有点晦涩(对第一个耦合微分等式不了解),所以搜罗了其他资料来读来理解。

从reference2中,可以知道RBP算法(简称),解决的是通过迭代找到参数的fixed point(固定点),但需要保证网络的对称性。

reference3中以RNN模型为标准,来reviving RBP算法。了解RNN的机制我们知道,隐状态的转化公式为\(h_{[……]

阅读更多

Banach Fixed point theory

最近在看GNN的2009年的文章(reference 1),看到了这个概念。此概念来自于Metric Fixed Point Theory中,也即来自泛函分析,我并没有对其进行深入了解,blog中的内容只是作为GNN的知识储备。

Fixed Point Theory

Fixed point problem:
假设存在集合\(X\),以及集合\(X\)的两个非空子集\(A, B\),存在\(A \cap B \neq \emptyset \),一个映射\(f: A \rightarrow B\),当存在点\(x \in A \)有\(f(x) =x\),此点也被称为\(f\)的一个固定[……]

阅读更多

GNN-图神经网络

科学和工程学等多个领域中的数据之间存在许多潜在关系,例如 计算机视觉,分子化学,分子生物学,模式识别,数据挖掘可以用图形表示。reference 1提出了一种新的神经网络-图神经网络(GNN)

在图形领域中的应用通常可以分为两类:分别是graph focused的应用程序和node focused的应用程序。

1.在graph focused应用中,例如如下图A,构建有机化合物成图\(G\),节点为每个原子,边则是原子间的化学键。函数\(\tau\)在类似上述的图结构上实现一个分类器或者回归器,并且此函数独立于节点。函数映射\(\tau (G)\)则用来估计化合物对于某一疾病是否有[……]

阅读更多

权重随机取样–WRS

如题所示,权重随机取样(Weight Random Sampling, WRS),这一应用需求,许多地方都会用到。

首先我们要确定权重随机取样是什么?在我们抽取样本时考虑的是无放回。权重随机取样的每个样本都是带有权重,抽取样本时由样本的权重所决定。下面是权重随机取样算法的一般描述。

权重随机取样算法(algorithm D):
输入数据:\(n\)个带有权重的数据样本集\(V\)
输出结果:\(m\)个WRS算法抽取的数据样本集\(S\)
1. 重复\(2-3\)步
2. 计算每个样本\(v_i\)被抽取的概率:\(P(v_i) = \frac{w_i}{\sum _{s_j \in V-[……]

阅读更多