自编码器（AE）解读

小游2024-09-272024-09-27

自编码器（AE）解读

本文参考深度学习：AE自编码器详细解读（图文并茂，值得一看）_ae自编码详解-CSDN博客

参考深度学习中常见的10种激活函数（Activation Function）总结_激活函数有哪些-CSDN博客

AE自编码器的定义

自编码器(Autoencoder,AE)，是一种利用反向传播算法使得输出值等于输入值的神经网络，它先将输入压缩成潜在空间表征，然后通过这种表征来重构输出。
自编码器其实也是一种神经网络，它的输入和输出是一致的，它借助稀疏编码的思想，目标是使用稀疏的一些高阶特征重新组合来重构自己，即 :对所有的自编码器来讲，目标都是样本重构。
自编码器是一种数据的压缩算法，属于无监督学习，以自身X作为输出值但输出值X’和自身X之间还是有一些差异的。自编码器也是一种有损压缩，可以通过使得损失函数最小，来实现X’近似于X的值。

分析这三个说法的相同点得知，AE的目的就是自己搞自己

自编码的过程简单的说可以分为两部分：输入到隐层的编码过程和隐层到输出的解码过程

AE自编码器结构特点

AE自编码器的意义

如果自编码器的唯一目的是让输出值等于输入值，那这个算法将毫无用处。事实上，我们希望通过训练输出值等于输入值的自编码器，让潜在表征h将具有价值属性。

自编码可以实现非线性降维：只要设定输出层中神经元的个数小于输入层中神经元的个数就可以对数据集进行降维。反之，也可以将输出层神经元的个数设置为大于输入层神经元的个数，然后在损失函数构造上加入正则化项进行系数约束，这时就成了稀疏自编码。
利用自编码来进行神经网络预训练。对于深层网络，通过随机初始化权重，然后用梯度下降来训练网络，很容易发生梯度消失。因此现在训练深层网络可行的方式都是先采用无监督学习来训练模型的参数，然后将这些参数作为初始化参数进行有监督的训练。

AE自编码器的相关概念

稀疏性

稀疏性对于解决高维度数据的计算量问题非常有效

稀疏编码(Sparse Coding)算法是一种无监督学习方法，它用来寻找一组“超完备”基向量来更高效地表示样本数据。

稀疏编码算法的目的就是找到一组基向量ϕ i ，使得我们能将输入向量X表示为这些基向量的线性组合：

自编码（AutoEncoder）

顾名思义，即可以使用自身的高阶特征编码自己。自编码器其实也是一种神经网络，它的输入和输出是一致的，它借助稀疏编码的思想，目标是使用稀疏的一些高阶特征重新组合来重构自己，即：对所有的自编码器来讲，目标都是样本重构。

在机器学习中，自编码器的使用十分广泛。自编码器首先通过编码层，将高维空间的向量，压缩成低维的向量（潜在变量），然后通过解码层将低维向量解压重构出原始样本。

隐含层

指输入层和输出层以外，中间的那些层。输入层和输出层是可见的，且层的结构是相对固定的，而隐含层结构不固定，相当于不可见。只要隐含的节点足够多，即是只有一个隐含层的神经网络也可以拟合任意函数。隐含层层数越多，越容易拟合复杂的函数。拟合复杂函数需要的隐含节点数目随着层数的增多而呈指数下降。即层数越深，概念越抽象，这就是深度学习。