摘要：入门深度学习，不知道这些术语怎么和别人对话？
动量（Momentum）
Momentum是Gradient Descent算法的扩展、可加速或抑制参数更新。
多层感知器（MLP）
神经机器翻译（NMT）
NMT系统使用神经网络在不同语言之间进行翻译，例如英语和法语。NMT系统可以使用双语语料库进行端到端的训练，这与需要手工制作的特征的传统机器翻译系统不同。NMT系统通常使用编码器和解码器递在归神经网络来实现，该编码器和解码器分别是编码源句子和产生目标句子。
神经网络图灵机（NTM）
NMT是神经网络架构，可以从示例中推断出简单的算法。例如，NTM可以通过示例输入和输出来学习排序算法。NTM通常学习某种形式的记忆和注意力机制来在程序执行期间处理状态。
噪声对比估计（NCE）
受限玻尔兹曼机（RBN）
递归神经网络（RNN）
RNN通过隐藏状态顺序交互，它最多需要N个输入并产生多达N个输出。例如，输入可以是句子，输出是句子的情感分类（N-to-1）。输入可以是单个图像，输出可以是与图像的描述（1到N）对应的单词序列。在每个时间步，RNN基于当前输入和先前隐藏状态计算新的隐藏状态（“存储器”）。“递归性”就是源于这样的事实：在每个步骤中使用相同的参数并且网络基于不同的输入执行相同的计算操作。
结构递归神经网络
RELU
RESNET
Deep Residual Networks赢得了2015年ILSVRC的挑战。它通过在层的堆栈之间引入快捷方式连接来工作，允许优化器学习“更容易”的残差映射，而不是更复杂的原始映射。ResNet在ImageNet测试集上实现了3.57％的错误率。
RMSProp
1、<u style="box-sizing: border-box;">用于机器学</u><u style="box-sizing: border-box;">习</u><u style="box-sizing: border-box;">的神</u><u style="box-sizing: border-box;">经</u><u style="box-sizing: border-box;">网</u><u style="box-sizing: border-box;">络</u>
Seq2Seq
SGD
SOFTMAX
TensorFlow
Theano
梯度消失问题
VGG
VGG指的是一种卷积神经网络模型，这个模型分别在2014年ImageNet图像定位和分类中获得第一名和第二名。VGG模型由16-19个权重层组成，并使用尺寸为3×3和1×1的小卷积滤波器。
word2vec
本文作者：【方向】
本文为云栖社区原创内容，未经允许不得转载。