最近要阅读修改一篇论文的tensorflow代码,所以来学习tensorflow,博客主要内容来自Morvan的tensorflow的教程(reference1, 2),Morvan大佬用的tensorflow用的是很早版本了,本人安装的r2.0,所以将morvan大佬教程的代码修改成tensorf[……]
分类:机器学习
马尔科夫链基础知识
记得学概率论总会提一个词:独立同分布。也即随机变量的取值互不影响,又服从同一个分布规律。正如我们进行伯努利实验,连续抛一枚骰子,上一个结果不会影响后一个结果,同时每个结果获得的概率都是\(p=1/6\)。
像伯努利过程、泊松过程这样的随机过程是无记忆的,未来的状态不会被过去的状态影响。不同于伯[……]
Almeida–Pineda algorithm
Almeida-Pineda algorithm, a.k.a, recurrent backpropagation,来自于reference1和reference2,由于年代久远,没有找到reference1,读了下reference2,个人感觉有点晦涩(对第一个耦合微分等式不了解),所以搜罗了其[……]
Banach Fixed point theory
最近在看GNN的2009年的文章(reference 1),看到了这个概念。此概念来自于Metric Fixed Point Theory中,也即来自泛函分析,我并没有对其进行深入了解,blog中的内容只是作为GNN的知识储备。
Fixed Point Theory
Fixed poin[……]
GNN-图神经网络
科学和工程学等多个领域中的数据之间存在许多潜在关系,例如 计算机视觉,分子化学,分子生物学,模式识别,数据挖掘可以用图形表示。reference 1提出了一种新的神经网络-图神经网络(GNN)
在图形领域中的应用通常可以分为两类:分别是graph focused的应用程序和node focus[……]
感知机与线性可分
感知机
感知机是一个线性分类模型,由于与神经网络类似而得名。它解决的是二分类问题,当我们输入的样本\(X= (x_1, x_2, \ldots, x_n)^T\)(其中\(x_i\)为向量),对应标签为\(Y = (y_1, y_2, \ldots, y_n)^T\)(其中\(y_i \in[……]
最小二乘法
最小二乘法是机器学习最最基础的部分了,我们在线性拟合数据(回归)的时候,会用到此法。同时也在一些模型作为模型的优化指标,即均方误差MSE
投影
首先来扯一扯投影这个概念,对于线段之间的投影,如下图将向量b投影至向量a上,得到投影p,其关键就是向量b到投影p的线段是正交与向量a的,也即\([……]
正则化
开始
先从最小二乘法开始讲起吧,我们在拟合数据时,我们常常用到的指标就是最小二乘误差MSE。
我们的目标是最小化MSE:
\(\min \parallel y_{pred} – y_{true} \parallel ^2_2\)
\(y_{pred} = w^T x\)
当我[……]
激活函数-bias shift
开始
开始接触神经网络/深度学习了,在各种平台刷到这个mystery,各个领域也在使用它。机器学习学了这么久,没有太多的进展,只是一个个算法的慢慢啃。看着其他同学使用神经网络都是迅猛的搞着自己的东西,着实让我酸意满满。
当然这篇博文不是来吐槽的。问题是来自于自己选的入门书(Referen[……]