一袋米扛几楼
去年暑假刷凌青老师的凸优化课(reference 1)，做了几个习题之后就没怎么管了，凌青老师在课上说了整个凸优化的核心就是KKT条件，前面也帮老师做了一下支持向量机的ppt，简单地copy了书本的东西，知道svm涉及到凸优化的知识，放寒假了，复习复习知识，所以来仔细看下svm作为凸优化的复习。
优化问题的一般形式：在满足不等式约束以及等式约束的条件下，最小化函数\(f_0 (x)\)(从下面式子可以看到，当约束条件越多问题会变得很难解决)
\(minimize f_0 (x)\)
\(s.t. f_i (x) \leq b_i, i = 1, \ldots, m\)[……]
Euclidean space(欧式空间): 最基本的空间，具备长度，距离，角度，内积的向量空间
Hilbert space(希尔伯特空间): 来自于泛函分析，是欧式空间的推广，欧式空间是有限维的，希尔伯特空间是无限维的完备内积空间(内积空间的内容是基于线性运算与内积的，再推出其他的概念，不同于赋范空间，先有范数概念，再推出其他概念)，几何概率和术语都和欧式距离相似。内积空间四条最基本的性质(括号表示内积):
1. \((a, a) \geq 0, (a, a) = 0, 当且仅当a=0\)
2. \((a, b) = \overline{(b, a)}\)(上划线为共轭)
3.[……]
很羡慕嫉妒周围大佬的学习速度，对于图神经网络的学习到应用到发表论文速度之快，表示跟不上。
这段时间忙着弄老师的不平衡数据分类的问题，但是还是在抽时间看图神经网络的论文以及博文。网络上的图卷积文章已经十分多了，推荐可以先看reference 3，比较简单易懂，然后reference 2，总结的内容蛮详近的， 再去知乎(reference 1)看看大佬们的相关讨论，对于在discrete graph上的梯度，散度的解释可以结合reference 9(quora上的一个问题，给了计算的例子)。本文主要是从代码角度来看GCN的卷积要了解的多深。
图神经网络的开端是从2009年referen[……]
前面是关于线性拟合和构建简单神经网络的内容，对于构建过程的可视化，tensorflow提供了一个强大的工具tensorboard。
tensorflow2与tensorflow1不同使用的动态图，可以说tensorflow中是没有”图”的概念的(reference3)。个人认为对于morvan大佬的自建神经网络，在tensorflow2情况下是十分受阻碍的。
首先使用tf.summary.create_file_writer函数来创建SummaryWriter对象，tensorflow2下使用tensorboard构建神经网络的结构，则还需要使[……]
前面使用tensorflow2对线性数据进行拟合，此篇则是进行简单的神经网络搭建，对二次函数进行拟合。
同样先使用tensorflow.compat.v1来跑morvan大佬的代码，需要注意要tf.disable_v2_behavior()，这样可以避免tf.placeholder() is not compatible with eager execution的运行错误。
ok，代码在原基础上没有做太多改动，使用tf.global_variables_initializer()替换了原来代码的变量初始化。使用with操作来自动关闭session句柄，[……]
最近要阅读修改一篇论文的tensorflow代码，所以来学习tensorflow，博客主要内容来自Morvan的tensorflow的教程(reference1, 2)，Morvan大佬用的tensorflow用的是很早版本了，本人安装的r2.0，所以将morvan大佬教程的代码修改成tensorflow2来熟悉api。考虑要写一些api的注解，所以就以博客形式放出来了。
tensorflow的基本思想就是通过构建含有基础变量tensor的graph，在session中运行。(reference4)
拟合直线：\(y = 0.1 x +[……]
记得学概率论总会提一个词：独立同分布。也即随机变量的取值互不影响，又服从同一个分布规律。正如我们进行伯努利实验，连续抛一枚骰子，上一个结果不会影响后一个结果，同时每个结果获得的概率都是\(p=1/6\)。
像伯努利过程、泊松过程这样的随机过程是无记忆的，未来的状态不会被过去的状态影响。不同于伯努利过程，马尔科夫链则考虑的是过去的状态会影响未来的状态。
马尔科夫链的核心假设是此时的状态只与上一个时刻的状态有关，而与其他时刻的状态无关。
对于一个状态空间\(S = \{1, \ldots, m\}\)，马尔科夫链有转移概率\(p_{ij}\)来决定，在时刻\(n[……]
Almeida-Pineda algorithm, a.k.a, recurrent backpropagation，来自于reference1和reference2，由于年代久远，没有找到reference1，读了下reference2，个人感觉有点晦涩(对第一个耦合微分等式不了解)，所以搜罗了其他资料来读来理解。
从reference2中，可以知道RBP算法(简称)，解决的是通过迭代找到参数的fixed point(固定点)，但需要保证网络的对称性。
reference3中以RNN模型为标准，来reviving RBP算法。了解RNN的机制我们知道，隐状态的转化公式为\(h_{[……]
最近在看GNN的2009年的文章(reference 1)，看到了这个概念。此概念来自于Metric Fixed Point Theory中，也即来自泛函分析，我并没有对其进行深入了解，blog中的内容只是作为GNN的知识储备。
Fixed point problem:
假设存在集合\(X\)，以及集合\(X\)的两个非空子集\(A, B\)，存在\(A \cap B \neq \emptyset \)，一个映射\(f: A \rightarrow B\)，当存在点\(x \in A \)有\(f(x) =x\)，此点也被称为\(f\)的一个固定[……]
科学和工程学等多个领域中的数据之间存在许多潜在关系，例如 计算机视觉，分子化学，分子生物学，模式识别，数据挖掘可以用图形表示。reference 1提出了一种新的神经网络-图神经网络(GNN)
在图形领域中的应用通常可以分为两类：分别是graph focused的应用程序和node focused的应用程序。
1.在graph focused应用中，例如如下图A，构建有机化合物成图\(G\)，节点为每个原子，边则是原子间的化学键。函数\(\tau\)在类似上述的图结构上实现一个分类器或者回归器，并且此函数独立于节点。函数映射\(\tau (G)\)则用来估计化合物对于某一疾病是否有[……]