scmmm's blog

前言心血来潮，买了一张 3080 20G ，遂安装ubnutu。 以下东西不保证完整，想到啥写啥。 踩坑（过程）统计 * 软件安装类问题 * 显卡驱动安装 * 网络问题 * stable diffusion相关 * 稀奇古怪的问题 软件安装类问题这部分踩坑如下： 安装慢很显然是要换源。 sudo vi /etc/apt/sources.list 在里面设置 1234deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu...

kaggle地址 数据是很普通的MNIST(28*28) 即一个 28*28 的256灰度图，要求你识别出数字 操作系统：世界上最垃圾的操作系统（我还没说是哪个呢） 简单CNN Acc：0.99CODE参考&部分代码 数据准备首先我们来实现Baseline(Acc=0.99) 读入数据，我们使用 pandas 读入数据 12train_origin = pd.read_csv(PATH+TRAIN)test_origin = pd.read_csv(PATH+TEST) 由于我们的训练集是只有一个label，但是我们神经网络需要输出一个10维向量（代表 0 to 9）,因此我们改写一下数据集，把 label 转化成 onehot 编码的 其实并不需要输出一个十维的，也可以就输出一个数字，但是一般不会这么写 1one_hot_embedding = pd.get_dummies(train_origin.label,prefix='y') 然后我们把这个编码出来的合并到原来训练集中,并且删除原来的label标签 12345# axis = 1 是横...

General GNN Framework 通用GNN框架 图增强之前的假设是输入图=计算图，但是有可能遇到图缺少特征性或者图的结构不利于计算。 例如，图过于稀疏（sparse），那就导致无效的消息传递，如果过于稠密（dense），就会消耗大量时间，如果过大（large），GPU就很难算。 解决方案就是 对于图缺少特诊：使用图特征性增强。 对于稀疏图，增加虚点虚边。 对于稠密图，Sample neighbors when doing message passing 对于大的图，对子图采样后嵌入 为什么要增强图缺少特征 做法 1.为节点分配一个常量 2.把节点编号转化成一个one-hot vector 两种方案的对比 一些图的结构在GNN上跑的不好例如 $C_n$ 这样的环，这样训练就是一个无限长度的循环 做法 1.增加虚边，例如对2-hop的邻居，此时邻接矩阵变成了 $A+Az^2$ 举例，二分图的一种情况 2.增加虚节点

GNN 层Idea1.将一组向量压缩成单个向量 2.两部处理，包括获得信息以及聚合 消息计算$m_u^{(l)}=\text{MSG}^{(l)}(h_u^{(l-1)})$ MSG 可以是权重指数 $W^{(l)}$ 消息聚合$h_u^{(l)}=\text{AGG}^{(l)}(m_u^{(l-1)}) ,u\in N(v)$ AGG 函数可以是求和，平均值（mean），最大值函数等。 问题$h_v^{l}$ 与 $h_v^{l-1}$ 并无直接关联 解决这个问题，可以加一个自环（考虑自身影响） $m_u{(l)}=W^{(l)}h_u^{(l-1)}$ $m_v{(l)}=B^{(l)}h_v^{(l-1)}$ 聚合函数即为 $h_v^{(l)}=\text{CONCAT}(\text{AGG}({m_u^{(l)},u\in N(v)}),m_v^{(l)})$ GCN$hv^{(l)}=\sigma(W^{(l)}\sum{u\in N(v)}\limits\frac{h_u^{(l-1)}}{|N(v)|})$ 其中 $\sigma$ 是一个激活函数，可以是 $\...

我们已经学会了一种 $O(V)$ 的根据节点关系的 Embedding ，但是它的缺点也很显然: 节点之间不共享参数 每个节点嵌入不同 只能从样本中学习，不能处理其他的情况 有些节点自身的特性无法被利用 于是提出了 graph neural networks ，这样一个节点的嵌入 $\text{ENC}(v)$ 基于图的多层非线性转换（multiple layers of non-linear transformations based on graph structure） Basics of deep learning优化参数处理一个监督式学习的时候，我们需要优化这个问题，我们要最小化这个公式 $\min_{\Theta}\limits \mathcal{L}(y,f(x))$ 其中 $\theta$ 为我们要优化的参数， $\mathcal{L}(y,f(x))$ 为目标函数（损失函数） 损失函数有几种 L2: $||y-f(x)||_2$ CE(Cross Entropy): $-\sum_{i=1}^{C}\limits(y_i \log f(x)_i)$ S...

前言已知一部分节点的标签，利用节点之间的关系预测节点的属性（半监督学习） Intuition: Correlations (dependencies) exist in networks 三种方法： Relational classification Iterative classification Correct & Smooth 定义HomophilyThe tendency of individuals to associate and bond with similar others大概就是趋向性的意思，个体与周围的相关性趋势。 InfluenceSocial connections can influence the individual characteristics of a person节点之间的关系（边）能影响一个节点性质 预测节点标签 原理Similar nodes are typically close together or directly connected in the network 因此预测节点 $v$ 的标签，只需要知道 $v$...

Link Analysis: PageRank (Graph as Matrix) 由于每章都有很多芝士点，所以我打算改成一章一章来了 前言用邻接矩阵的形式来看这张图 目标定义图上节点的重要性，比如互联网上每个网站的重要性（node:网站,edge=hyperlink，directed） 有些情况暂时不需要考虑： 1.pages created on the fly 大概是随手生成的 2.dark matter 有密码这样的 应用场景网页内，网页间，引用，百科等。 PageRankLink Analysis approaches主要是三种 PageRank , Personalized PageRank (PPR) 和 Random Walk with Restarts 方法就是把超链接视为权重，如果自己被重要的网站挂了重要的网站（权重）有一个指向该网站的超链接，那显然这个网站权重也很高，我们通过这个方式计算每个网站的权重，显然这是一个递归问题。 计算权重假设第 $i$ 点权重为 $r_i$ ， 度数为 $d_i$ （出度） ,我们可以让 $i$ 连接的每一个节点的权重...