61-编码器-解码器架构

编码器-解码器架构

CNN 中的解释

考虑一个 CNN 模型：

整个 CNN 实际上可以看作一个编码器，解码器两部分。

• 底层的神经网络，也就是编码器将输入编码成能被模型识别的中间表达形式，也就是特征
• 解码器将中间结果解码为输出

RNN 中的解释

对于 RNN 而言，同样有着类似的划分

• 编码器将输入文本表示为向量
• 解码器将向量表示为输出

抽象的编码器-解码器架构

指一个模型被分为两块：

• 一块是编码器，也叫 encoder，用于将输入处理为一个中间状态
• 一块是解码器，也叫 decoder，用于将中间状态表示为输出
• 解码器也可以有额外的输入提供信息