图神经网络是怎么炼成的：GNN基本原理简介
此文算是对Google Research这篇 A Gentle Introduction to Graph Neural Networks 神作的阅读笔记.
十多年来，研究人员开发了一种称之为图神经网络（Graph Neural Networks，GNNs）的技术，旨在将如今在深度学习的诸多任务中摧枯拉朽的神经网络，应用到图结构之上，从而让神经网络捕捉到更错综复杂的交叉特征，以期待在一些任务上取得更佳的效果。鉴于操作图数据结构的复杂性，尽管已经发展了十几年，它在实际应用中却刚刚起步，即时是google也才开始研究将其被应用到药品研发、物理模拟、假新闻检测、交通预测和推荐系统等领域。
尽管GNN是一个新兴的研究领域，但图结构的数据其实在我们身边无处不在。那么什么是图呢？
这个理科生应该都清楚，图有点(Vertex)和边(Edge)两部分组成，一个图就代表了各个实体节点（node）之间的关系（edge）：
每个节点或者边都可以包含它的一些属性信息，比如如果一个节点表示一个人，那么就可以包含这个人的姓名、性别、身高、体重之类的..我们研究需要的信息。
而这些信息，都可以用通用的向量的形式存入其中：
还有别忘了一点，边是可以有方向的，按此我们还能分为有向图或是无向图。边的方向代表了信息的传递方向，例如a是b的微信好友，那b也是a的微信好友，好友关系自然是没方向的，而比如a是b的爹，那显然b就不是a的爹，此时叫爹的关系就是有有方向的。
图结构的构建是非常灵活的，可以根据个人的设计构建出各种不一样的图。而作为开发者显然要结合实际解决的问题来构建合适的图。
正如前面所提到的，图无处不在。你可能已经熟悉例如知识图谱、社交网络之类的图数据。当时显然，图是一种极其强大的通用数据表示，传统神经网络中用到的欧式空间的数据，同样可以用图来表示，例如可以将图像和文本建模为图结构数据。
比如，我们可以将一张图片的每个像素作为图的节点，再将相邻的像素用边连接起来，就构造了一个该图像的图。
如上图展示了一个5*5的图片的邻接矩阵表示和图表示。
我们将每个单词作为节点，并将每个节点连接到下一个节点，就得到了一个文本的图：
当然，在实践中我们并不会这样来编码文本和图像，因为所有的图和文本都是非常规则的结构，表示成图就多此一举了。
我们再来看一些例子，这些数据的结构更加复杂，除了图之外很难用其他方式来表达。
分子是构成物质的基石，我们可以用节点来表示它的原子和电子，用边来表示共价键，这样便将一个分子表示成了一个图：
不同的图可以表示出不同的分子结构：
都说社会是一个大熔炉，身处其中的人和事物之间会发生极其复杂的关系。这种关系的表示用普通的表格数据是很难表示的，而图却能很好的展现。
下图是将莎士比亚歌剧《奥赛罗》中的任务关系表示成图：
怎么样，如果没看过歌剧能推测出那些是主角吗？
下面是将一个空手道竞标赛的对战关系构建为图：
类似的可以表示为图的数据还有很多很多，比如论文的引用之类统统都可以表示为图，下面是现实世界中不同规模的数据图表示的统计数据：
可见，各种各样规模的数据都可以轻松的用图来表示。
在上面我们列举了这么多的图，那么我们该对这些图数据执行什么任务呢？
图上的预测任务一般分为三类：
下面我们通过具体的示例来说明GNN怎么来解决上述的三个级别的预测问题。
在图级别的任务中，我们的目标是预测整个图的属性。例如我们通过分子图，来预测该分子的气味或是者它是否是与某些疾病有关的受体。
它的输入是完整的图：
输出是图的分类：
节点级任务一般就是预测每个节点的类型。
一个经典的例子就是Zach的空手道俱乐部。该数据集市一个单一的社交网络图，犹豫政治分歧，讲师Hi先生和管理员John之间不和导致空手道俱乐部分裂，其中的学员一部分效忠于Hi先生，一部分效忠于John。每个节点代表空手道联系着，边代表空手道之外这些成员的互动，预测问题就是判断这些节点是效忠于谁的。
边级任务其实就是预测每个边的属性.
在目标检测的语义分割任务中,我们也许不止要识别每个目标的类型,还需要预测各个目标之间的关系.我们可以将其描述为边级别的分类任务:给定表示图像中的对象的节点，我们希望预测哪些节点共享一条边，或者该边的值是多少。如果我们希望发现实体之间的连接，我们可以考虑图是完全连通的，并根据它们的预测值修剪边来得到一个稀疏图。
用图表示就是这样的过程:
那么我们要如何使用神经网络来处理上述各种类型的任务呢?
首先要考虑的是如何将图结构数据适配到神经网络.
回想一下啊,传统的神经网络输入的往往是矩阵形式的数据,那么要如何把图作为输入呢?
图表示有四种类型的信息:节点(nodes),边(edges),全局上下文(global-context),联通性(connectivity).对于前三种信息,有一个非常简单的方案,比如将节点排序,然后每个节点表示为一个向量,所有节点就得到了一个节点的矩阵,同理,边和上下文也可以这么搞.
但是要标识连通性就没有这么简单了,也许你会想到用临街矩阵来表示,但是这样表示会有明显的缺陷,因为节点数的规模往往是巨大的,对于一个数百万节点的图,那将耗费大量的空间,而且得到的矩阵往往也十分的稀疏,可以说空间利用率会很低.
当然,你也许会想,可以用稀疏矩阵来存储,这样就只需要存储连通的情况,空间利用率将大大提升,但是我们还要考虑到一点,就是稀疏矩阵的高性能计算一直是个艰难的,尤其是在用到GPU的情况.
并且,使用邻接矩阵还有一个问题就是各种不同的邻接矩阵可以标识相同的连通性,而这些矩阵并不能保证在神经网络中取的相同的效果.比如,同样的连通性,通过调换列的顺序,就能得到不同的邻接矩阵:
现在，我们成功的将图结构成功表示成了置换不变的矩阵格式，终于可以使用图形神经网络（GNN）来做图形预测任务了。
GNN是对保持图对称性(置换不变性)的图的所有属性(节点、边、全局上下文)的可优化变换。
我们将使用Gilmer等人提出的“消息传递神经网络”框架构建GNN,并使用Battaglia等人介绍的图网络网络架构示意图。GNNS采用“图输入，图输出”架构，这意味着这些模型类型接受图作为输入，其中包含节点，边和全局上下文的信息，并逐步地转换这些图嵌入，而不会更改输入的连接图结构。
我们使用最开始提到的那个图来构建一个最简单的GNN,输入的图是相应节点,边,全局信息的向量,我们针对每个向量使用一个MLP层来作变换,于是得到一个新的图.
针对上述构建的最简单的GNN，我们如何在上面描述的任何任务中进行预测呢?这里我们仅仅考虑二进制分类的情况，但这个框架可以很容易地扩展到多类或回归的情况。
如果是对节点分类,我们只要在最后一层接一个线性类器就可以了:
但是上面的预测过程有点过于简单了,完全没有用到图的结构信息,我们在此基础上增加一个pooling操作,以增加它的边缘信息:
具体操作是把待预测节点的邻居节点以及全局的信息进行聚合再做预测,即将这些embedding向量加到一起得到一个新的向量,再输入到最后的线性分类器.
同理,如果我们只有节点相应边的信息的话,也可以用类似的方式pooling,然后得到节点的向量表示再输入分类器:
反之,如果我们只有节点的信息,那么也可以用边所连接的两个节点来pooling出边的向量,然后将器输入到分类器预测边的类型:
显然,不管是哪种任务,整个GNN的推理过程都是一样的,可以表示为这样一个端到端的过程:
不过,显而易见的,这个简单的GNN在分类前只是对每个向量进行了一个变换,而没有用到图结构的任何信息,虽然在最后做预测的时候做了一些pooling的聚合,但也始终没有用到adjacency的信息,因此这个GNN的作用相当有限,但是它为我们提供了一个图结构层变换和堆叠的基本思路.
针对上面最简单GNN的不足,我们可以在其中根据连通性增加更加复杂的变换从而引入整个图结构的信息,我们将这个过程称之为信息传递.
信息传递包含三个步骤:
这个过程有点类似于卷积操作,每个节点汇聚了其邻居的节点,经过多个层的变换,它将涵盖全图的信息.
于是我们可以将这个节点信息传递应用到上述的图变换过程中:
然后,我们发现它并没用用上边的信息,于是可以把边信息也加上,变成这样:
既然把边的信息加上了,那怎么可以漏掉全局信息呢,于是完整的信息传递就可以表示成这样:
以上,我们梳理了最简单的GNNs是怎么完成的,你应该已经对GNN有了一个基本的了解,就像学会了传统神经网络中最简单的全连接网络类似,关于GNN还有更多不同种类的更复杂的图需要取了解和学习,但你只要掌握了以上的思想,学习起来也是十分容易的.
说一说你认为黑客是怎么炼成的？
有一定的逻辑思维能力，为什么说要有一定的逻辑思维能力，因为在很大程度上，我们的黑客都是与电脑打交道，所以你得有这个能力，与电脑沟通，让他下一步怎么做，你给指令，他才做，所以这也是要有的能力。
白帽黑客是怎样炼成的
个人认为第一是热爱，第二是天赋，第三是努力，三者缺一不可，经过日复一日，年复一年的去研究与学习，而最终炼成的标签。
黑客是怎样炼成的？
----什么是黑客?
Jargon File中对“黑客”一词给出了很多个定义，大部分定义都涉及高超的编程技术，强烈的解决问题和克服限制的欲望。如果你想知道如何成为一名黑客，那么好，只有两方面是重要的。（态度和技术）
长久以来，存在一个专家级程序员和网络高手的共享文化社群，其历史可以追溯到几十年前第一台分时共享的小型机和最早的ARPAnet实验时期。 这个文化的参与者们创造了“黑客”这个词。 黑客们建起了Internet。黑客们使Unix操作系统成为今天这个样子。黑客们搭起了Usenet。黑客们让WWW正常运转。如果你是这个文化的一部分，如果你已经为它作了些贡献，而且圈内的其他人也知道你是谁并称你为一个黑客，那么你就是一名黑客。
黑客精神并不仅仅局限于软件黑客文化圈中。有些人同样以黑客态度对待其它事情如电子和音乐---事实上，你可以在任何较高级别的科学和艺术中发现它。软件黑客们识别出这些在其他领域同类并把他们也称作黑客---有人宣称黑客实际上是独立于他们工作领域的。 但在本文中，我们将注意力集中在软件黑客的技术和态度，以及发明了“黑客”一词的哪个共享文化传统之上。
另外还有一群人，他们大声嚷嚷着自己是黑客 导噬纤 侨床皇恰Ｋ 鞘且恍┬钜馄苹导扑慊 偷缁跋低车娜耍ǘ嗍 乔啻浩诘纳倌辏 Ｕ嬲 暮诳桶颜庑┤私凶觥昂Э汀?cracker)，并不屑与之为伍。多数真正的黑客认为骇客们是些不负责任的懒家伙，还没什么大本事。专门以破坏别人安全为目的的行为并不能使你成为一名黑客， 正如拿根铁丝能打开汽车并不能使你成为一个汽车工程师。不幸的是，很多记者和作家往往错把“骇客”当成黑客；这种做法激怒真正的黑客。
根本的区别是：黑客们建设，而骇客们破坏。
如果你想成为一名黑客，继续读下去。如果你想做一个骇客，去读 alt.2600 新闻组，并在发现你并不像自己想象的那么聪明的时候去坐5到10次监狱。 关于骇客，我只想说这么多。
---黑客的态度
黑客们解决问题，建设事物，信仰自由和双向的帮助，人人为我, 我为人人。
要想被认为是一名黑客，你的行为必须显示出你已经具备了这种态度。要想做的好象你具备这种态度，你就不得不真的具备这种态度。但是如果你想靠培养黑客态度在黑客文化中得到承认，那就大错特错了。因为成为具备这些特质的这种人对你自己非常重要，有助于你学习，并给你提供源源不断的活力。同所有有创造性的艺术一样，成为大师的最有效方法就是模仿大师的精神---不是仅从理智上，更要从感情上进行模仿。
So，如果你想做一名黑客，请重复以下事情直到你相信它们：
1、这世界充满待解决的迷人问题
做一名黑客有很多乐趣，但却是些要费很多气力方能得到的乐趣。 这些努力需要动力。成功的运动员从健壮体魄，挑战自我极限中汲取动力。同样，做黑客，你必须
要有从解决问题，磨练技术，锻炼智力中得到基本的热望。如果你还不是这类人又想做黑客，你就要设法成为这样的人。否则你会发现，你的黑客热情会被其他诱惑无情地吞噬掉---如金钱、性和社会上的虚名。
（同样你必须对你自己的学习能力建立信心---相信尽管你对某问题所知不多，但如果你一点一点地学习、试探，你最终会掌握并解决它。）
2、一个问题不应该被解决两次
聪明的脑瓜是宝贵的，有限的资源。当这个世界还充满其他有待解决的有趣问题之时，他们不应该被浪费在重新发明轮子这些事情上。 作为一名黑客，你必须相信其他黑客的思考时间是宝贵的---因此共享信息，解决问题并发布结果给其他黑客几乎是一种道义，这样其他人就可以去解决新问题而不是重复地对付旧问题。
(你不必认为你一定要把你的发明创造公布出去，但这样做的黑客是赢得大家尊敬最多的人。卖些钱来给自己养家糊口，买房买车买计算机甚至发大财和黑客价值也是相容的，只要你别忘记你还是个黑客。)
3、无聊和乏味的工作是罪恶
黑客们应该从来不会被愚蠢的重复性劳动所困扰，因为当这种事情发生时就意味着他们没有在做只有他们才能做的事情---解决新问题。这样的浪费伤害每一个人。因此，无聊和乏味的工作不仅仅是令人不舒服而已，它们是极大的犯罪。 要想做的象个黑客，你必须完全相信这点并尽可能多地将乏味的工作自动化，不仅为你自己，也为了其他人（尤其是其他黑客们）。
(对此有一个明显的例外。黑客们有时也做一些重复性的枯燥工作以进行“脑力休息”，或是为练熟了某个技巧，或是获得一些除此无法获得的经验。但这是他自己的选择---有脑子的人不应该被迫做无聊的活儿。）
4、自由就是好
黑客们是天生的反权威主义者。任何能向你发命令的人会迫使你停止解决令你着迷的问题，同时，按照权威的一般思路，他通常会给出一些极其愚昧的理由。因此，不论何时何地，任何权威，只要他压迫你或其他黑客，就要和他斗到底。
(这并非说任何权力都不必要。儿童需要监护，罪犯也要被看管起来。 如果服从命令得到某种东西比起用其他方式得到它更节约时间，黑客会同意接受某种形式的权威。但这是一个有限的、特意的交易；权力想要的那种个人服从不是你的给予，而是无条件的服从。)
权力喜爱审查和保密。他们不信任自愿的合作和信息共享---他们只喜欢由他们控制的合作。因此，要想做的象个黑客，你得对审查、保密，以及使用武力或欺骗去压迫人们的做法有一种本能的反感和敌意。
5、态度不能替代能力
要做一名黑客，你必须培养起这些态度。但只具备这些态度并不能使你成为一名黑客，就象这并不能使你成为一个运动健将和摇滚明星一样。成为一名黑客需要花费智力，实践，奉献和辛苦。
因此，你必须学会不相信态度，并尊重各种各样的能力。黑客们不会为那些故意装模做样的人浪费时间，但他们却非常尊重能力---尤其是做黑客的能力，不过任何能力总归是好的。具备很少人才能掌握的技术方面的能力尤其为好，而具备那些涉及脑力、技巧和聚精会神的能力为最好。
如果你尊敬能力，你会享受提高自己能力的乐趣---辛苦的工作和奉献会变成一种高度娱乐而非贱役。 要想成为一名黑客，这一点非常重要。
