机器之心

　　机芯报告 　　编辑：蛋黄酱 　　在这篇新论文中，TOELT LLC的共同创始人、首席AI科学家Umberto Michelucci对自编码器进行了全面深入的介绍。 　　 　　论文链接：https://arxiv.org/pdf/2201.03898.pdf 　　神经网络通常用于监测环境。这是各训练观测值x关于i，无论哪个标签或期望值y有。在训练期间，神经网络模型学习输入数据与期望标签之间的关系。 　　假设目前只有未标识的观测数据存在，则这是i=1，。。。，由M的M观测数据构成的训练数据集ST。 　　 　　在该数据集中，xi ∈ R^n，n ∈ N。 　　1986年，Rumelhart，Hinton，Williams输入观测值x首次提出自编码器（Autoencoder），以便学习以尽可能低的误差重构。i。 　　为什么要学习重新构建观测值？ 　　如果难以想象这是什么意思，请想象由图像构成的数据集。自编码器是使输出图像尽可能类似于输入之一的算法。可能会感到困惑，但是好像没有理由做那样的事。为了更好地理解自助编码器为何有用，需要更详细的（虽然还不明确）定义。 　　 　　图1：自动编码器的一般架构。 　　要更好地理解自编码器，就必须理解其经典架构。如下图1所示。自编码器的主要配置部分是编码器、潜在特征表示和解码器三个。 　　 　　图1：自动编码器的一般架构。 　　一般来说，希望自编码器能够很好地重构输入。同时，也应创建有用且有意义的潜在表示（图1的编码器部分的输出）。例如，手写数字的潜在特征可以是书写每个数字所需的行数或各条线的角度以及它们之间的连接方法。 　　要学习数字的写法，不需要学习输入图像的各像素的灰度值。用灰度值填充像素是学不到的。在学习的过程中，要提取能帮助解决写数字等问题的基本信息。此潜在表达式（如何写入每个数字）有助于仅理解数据集的基本特征，例如可用于分类和聚类的实例特性提取。 　　在大多数经典架构中，编码器和解码器是神经网络（这是本文详细描述的内容），因为编码器和解码器可以容易地在现有软件库（TensorFlow或PyTorch）中训练。通常，编码器可以写为取决于一些参数的函数g。 　　 　　这里是hi∈R^q（潜在特征表示）是图1中编码器块的输入xi评价时的输出。注意g:R^n→R^q。 　　解码器 　　 　　所显示的网络输出）可以写入作为潜在特征的第二通用函数f 　　 　　在这里 　　 　　通过使潜在特征的维度低于输入的维度（通常低得多）来实现添加“瓶颈”。这是本文详细讨论的情况。但是，在研究这种情况之前，有必要提到正则化问题。 　　直观地，归一化意味着在潜在特征输出中增强疏离性。实现这一点的最简单方法是将损失函数转换成l的意思。1或l2正规项。 　　前馈编码器 　　如图2所示，前馈自编码器（Feed-Forward Autoencoder，FFA）是由具有特定结构的密集层构成的神经网络。 　　 　　经典的FFT架构层的数量是奇数（尽管不是强制性要求）并且与中间层对称。通常，在第一层中有一定数量的神经元n1=n（输入观察值x i的大小）。移动到网络中心，各层的神经元数量减少。中间层通常有最少的神经元。实际上，该层的神经元数小于输入的大小，这是前面提到的“瓶颈”。 　　在大多数实际应用中，中间层后面的层是中间层前面的层的镜像版本。包括中间层，所有先前的层构成所谓的编码器。如果FFT训练成功，则结果为输入的近似值。换句话说 　　 　　。注意，解码器可以仅通过使用比第一输入观测值（n）更少的特征数目（q）来重构输入。中间层的输出为输入观测值x也被称为。i的学习表现。 　　输出层激活函数 　　在基于神经网络的自编码器中，输出层的激活函数起着特别重要的作用。最常见的函数是ReLU和Sigmoid。 　　ReLU激活函数可以假定范围[0，∞]中的所有值。作为余数，该公式是ReLU（x）＝max（0，x）。输入的观测值x假设范围宽的正值，ReLU是一个好选择。x_输入“%1”，i可以假设负值，ReLU当然是不好的选择，恒等函数是更好的选择。 　　Sigmoid函数σ 可以假定所有值的范围是0，1[。剩余的表达式是 　　 　　输入的观测值x只有i在0、1[范围内或在该范围内归一化才能使用此激活函数，在这种情况下，Sigmoid函数对于输出层的激活函数是一个好选择。 　　抓住袖子 　　与任何神经网络模型一样，这里需要最小化损耗函数。此丢失函数为输入x应该测量。i和输出x˜i之间差异大小： 　　 　　这里，FFT、g、f是从所有连接层获得的函数。自编码器广泛使用平均色散和二进制交叉熵的两个损耗函数。这些只能在满足特定需求时使用。 　　为了自编码器解决回归问题，最常见的损耗函数是平均色散（MSE）： 　　 　　如果FFT输出层的激活函数是sigmoid函数，则将神经元输出限制在0到1之间，并且将输入特性标准化在0到1之间，则使用LCE表示为损耗函数的二元交叉熵。 　　 　　最后一次 　　对于重构误差（RE），自编码器输入观测值x是表示能够重新构成的度量的i的好坏。最典型的RE应用是MSE 　　 　　这个容易计算。在使用自动编码器进行异常检测的情况下，经常使用RE。重建误差有一个简单的直观解释。在RE值大的情况下，自编码器不能很好地重构输入信号，在RE值小的情况下，重构成功。下一图3示出了编码器试图重构图像时发生的大小重建错误的示例。 　　 　　在最后一部分，作者还介绍了自编码器的一些应用，如降序，分类，降噪，异常检测等，以及与应用过程有关的其他理论方法。详细内容请参照原文。