Generate Parentheses

Difficulty: Medium

Regular Expression Matching

Difficulty: Hard

所谓hypernetworks，即用一个网络生成另一个网络。被生成的网络被称为main network.

作为一种meta-learning的方法，其优点在于，可以限制模型的参数空间的大小。

从标题就可以看出来，这篇文章提出了一种无监督的困难样本挖掘(hard training example mining)的框架。

问题提出

一方面，现有的深度学习方法大多需要数据标签。另一方面，传统的非线性降维方法或者流形学习方法，并没有学到从输入空间到嵌入空间的精确的映射，对于新数据的泛化能力较差。为了解决这两个不足，作者提出了本文的无监督学习框架。

在上一篇文章中，我们简单地介绍了LDMNet: Low Dimensional Manifold Regularized Neural Networks这篇文章的总体思路，而跳过了文章中采用的优化方法。本文将会更加注重数学上推导的内容。

问题提出

当前的深度学习算法在面对较小的数据集的时候很容易发生过拟合现象。许多现有的减少过拟合的方法都是data-independent，在较小的数据集上会受到限制，包括weight decay, parameter sharing, dropout, drop connect等。

注意到数据点通常分布在流形上，有人提出了data-dependent的方法。这些方法只关注输入数据的几何分布，但却没有鼓励网络生成有几何意义的特征。

为了解决这些问题，本文作者提出了Low-Dimensional-Manifold-regularized-neural-Network.

这是Hexo自动生成的Hello World界面，就不改了吧……