这篇文章将GNN运用到FSL中，利用标签传播的思想进行分类。这一方法可以被扩展到半监督学习或是active learning中。

Set-Up

考虑输入$(\mathcal{T}_i, Y_i)_i$

$\mathcal{T} = \left\{ \{ (x_1, l_1), \dots, (x_s, l_s) \}, \{ \tilde{x}_1, \dots, \tilde{x}_r \}, \{ \bar{x}_1, \bar{x}_t \} \right\}\\ Y = (y_1, \dots, y_t) \in \{1, K\}^t$

其中

$l\in \{1, K\}, x_i, \tilde{x}_j, \bar{x}_j \sim \mathcal{P}_l(\mathbb{R}^N)$

这里的$s$为labeled数量，$r$为unlabeled数量，$t$为需要分类的样本数量，这篇文章将$t$固定为1。$K$为class数量。$Y$与$\{\bar{x}_j\}$对应，为训练样本中没有出现过的标签。

对于FSL, $r=0, t=1, s=qK$. 对于半监督学习，$r> 0, t=1$. 对于active learning, $s+r=s_0, s\ll s_0$.

给定训练集，目标函数被定义为

$\min_\Theta\frac1L\sum_{i\leq L}\ell(\Phi(\mathcal{T}_i;\Theta), Y_i) + \mathcal{R}(\Theta)$

Model

和其他标签传播方法类似，这里利用所有的样本构造完全图，并将标签从labeled data向unlabedel data传播。

第$k$层网络接收$x^{(k)}\in \mathbb{R}^{V\times d_k}$作为输入，输出$x^{(k+1)}\in \mathbb{R}^{V\times d_{k+1}}$

$x_l^{(k+1)} = \rho\left(\sum_{B\in\mathcal{A}}Bx^{(k)}\theta_{B, l}^{(k)}\right), l=d1\dots d_{k+1}$

其中$\rho(\cdot)$为激活函数，这里选择Leak Relu. $\theta_{B}^{(k)}\in \mathbb{R}^{d_k\times d_{k+1}}$. $\mathcal{A}\subset \mathbb{R}^{V\times V}$.

$\mathcal{A} = \{ I, \tilde{A}^{(k)} \}\\ \tilde{A}_{i,j}^{(k)} = \text{MLP} _\tilde{\theta}(abs(x_i^{(k)}-x_j^{(k)}))$

$\mathcal{A}$中的第一项表示结点会保持原来的标签，而第二项表示结点的标签会受到其它结点的影响，影响的程度与二者的距离有关。

对于labeled data $x_i$ ，

$x_i^{(0)} = (\phi(x_i), h(l_i))$

其中$\phi$为embedding，$h$为 one hot. 对于unlabeled data，$h$被替换成了均匀分布。