机器学习归档 - NODETOPO's 博客

1,651 次浏览

基于谱图的GCN

现在就来说说这个字母G，我们知道CNN对于图像处理是十分得心应手的，堪称是法宝，而CNN处理的图像是十分规则的，人们认为处理图像问题是在欧式空间上进行的，如果我们把图片的像素看做一个个独立的点相互连接，就可以看做是一个特殊的图结构。而GCN中的graph是指的抽象的图，就像离散数学[……]

傅里叶变换，可以将函数表示成三角函数的的积分(线性组合)

傅里叶变换基本公式：
\(F(\omega)=F(f(t)) = \lmoustache ^\infty _{-\infty} f(t) e ^{-i \omega t} dt\)
\(f(t) = F^{-1}[F(\omega)] =[……]

看到许多图神经网络论文都会涉及到Rank算法，所以抽空来看看这个Rank经典算法PageRank，算法的发明人就是两位Google创始人，这个算法最初也是作为网页的排名算法。

PageRank算法是基于有向图的形式进行的，在其上定义一个随机游走模型(一阶马尔科夫链)，通过马尔科夫链的n步转移概[……]

阅读更多

这一篇是使用tensorflow2进行mnist数据集的分类。

上面代码使用的是一个多层感知机进行识别mnist数据集。(一般tensorflow数据存储在.keras/datasets文件夹中，直接使用tensorflow的api下载可能比较慢，可以提前下载好[……]

信息是对不确定性的消除

信息论对于机器学习的影响是广泛的，例如，概率图模型中的应用，对数线性模型等等。此篇博客也是整理一下相关内容作为一个类似于《matrix cookbook》的内容展示，方便查阅。

一个消息之所以会含有信息 , 正是因为它具有不确定性 , 一个不具有不确定性的消息是[……]

去年暑假刷凌青老师的凸优化课(reference 1)，做了几个习题之后就没怎么管了，凌青老师在课上说了整个凸优化的核心就是KKT条件，前面也帮老师做了一下支持向量机的ppt，简单地copy了书本的东西，知道svm涉及到凸优化的知识，放寒假了，复习复习知识，所以来仔细看下svm作为凸优化的复习。

[……]

Euclidean space(欧式空间): 最基本的空间，具备长度，距离，角度，内积的向量空间

Hilbert space(希尔伯特空间): 来自于泛函分析，是欧式空间的推广，欧式空间是有限维的，希尔伯特空间是无限维的完备内积空间(内积空间的内容是基于线性运算与内积的，再推出其他[……]

很羡慕嫉妒周围大佬的学习速度，对于图神经网络的学习到应用到发表论文速度之快，表示跟不上。

这段时间忙着弄老师的不平衡数据分类的问题，但是还是在抽时间看图神经网络的论文以及博文。网络上的图卷积文章已经十分多了，推荐可以先看reference 3，比较简单易懂，然后reference 2，总结的内[……]

前面是关于线性拟合和构建简单神经网络的内容，对于构建过程的可视化，tensorflow提供了一个强大的工具tensorboard。

tensorflow2与tensorflow1不同使用的动态图，可以说tensorflow中是没有”图”的概念的(refere[……]

前面使用tensorflow2对线性数据进行拟合，此篇则是进行简单的神经网络搭建，对二次函数进行拟合。

同样先使用tensorflow.compat.v1来跑morvan大佬的代码，需要注意要tf.disable_v2_behavior()，这样可以避免tf.plac[……]