《深度学习》课后习题 逻辑回归模型与神经网络 - 逻辑回归模型与神经网络 - 深度学习 1.机器学习中模型的训练误差和测试误差是一致的。* A .对 B .错 正确答案：B 2.机器学习中选择的模型越复杂越好。* A .对 B .错 正确答案：B 3.解决模型过拟合问题的一个方法是正则化。* A .对 B .错 正确答案：A 4.模型在训练阶段的效果不太好称之为欠拟合。* A .对 B .错 正确答案：A 5.如果模型的误差来自于偏差较大，可以采用以下措施解决。* A .给数据增加更多的特征 B .设计更复杂的模型 C .增加更多的数据 D .使用正则化 正确答案：A,B 6.如果模型的误差来自于偏差较大，可以采用以下措施解决* A .给数据增加更多的特征 B .设计更复杂的模型 C .增加更多的数据 D .使用正则化 正确答案：A,B 深度学习概述 - 深度学习概述 - 深度学习 1.一个神经元的作用相当于一个逻辑回归模型。* A .对 B .错 正确答案：A 2.神经网络可以看成由多个逻辑回归模型叠加而成。* A .对 B .错 正确答案：A 3.神经网络的参数由所有神经元连接的权重和偏差组成。* A .对 B .错 正确答案：A 4.一个结构确定的神经网络对应一组函数集合，而该神经网络的参数确定后就只对应一个函数。* A .对
B .错 正确答案：A 5.深度神经网络的深度一般是网络隐藏层的数量。* A .对 B .错 正确答案：A 6.神经网络从计算上可以看成矩阵运算和非线性运算的多次叠加而组成的复合函数，且网络叠加的层次可看成复合函数的嵌套深度。* A .对 B .错 正确答案：A 7.神经网络的层次和每层神经元的数量可以通过以下哪些方法确定？* A .可随意设定 B .可人为进行设计 C .可通过进化算法学习出来 D .可通过强化算法学习出来 正确答案：B,C,D 8.深度学习兴起的标志性事件包括。* A .Alpha Go 在围棋上击败李世石 B .在图像识别领域的准确率超过人类 C .语音识别达到人类的水平 D .深蓝在国际象棋上击败卡斯帕罗夫 正确答案：A,B,C 梯度下降与反向传播 - 梯度下降与反向传播 - 深度学习 1.随机梯度下降运行速度要比梯度下降慢。* A .对 B .错 正确答案：B 2.特征缩放（feature scaling）目的是使得不同的特征有相同的比例。* A .对 B .错 正确答案：A 3.反向传播算法的提出是为了解决深度神经网络中梯度计算的效率问题。* A .对 B .错 正确答案：A 4.反向传播算法由前向传递，反向传递，两个阶段构成。* A .对 B .错 正确答案：A 5.在反向传播算法中，反向传递过程可以看成一个没有激活函数的反向的神经网络。* A .对 B .错 正确答案：B 6.在深度学习中采用梯度下降方法往往达不到最优解，而是在以下哪些情况下停止了。* A .鞍点
B .局部极值点 C .高原（plateau）点 D .早停点 正确答案：A,B,C,D 7.随机梯度下降相对于梯度下降，损失函数会呈现较强的抖动。* A .对 B .错 正确答案：A 深度学习编程 - 深度学习编程 - 深度学习 1.基于 Keras 实现神经网络需要首先创建模型对象。* A .对 B .错 正确答案：A 2.在 Keras 模型中每添加一个网络层都需要设置输入维度和输出维度。* A .对 B .错 正确答案：B 3.在 Keras 中可选的优化方法有哪些？* A .SGD B .RMSprop C .Adagrad D .Adadelta E .Adam F .Adamax G .Nadam 正确答案：,A,B,C,D,E 深度学习训练技巧 - 深度学习训练技巧 - 深度学习 1.模型在测试集上效果不好，可以认为模型过拟合了。* A .对 B .错 正确答案：B 2.采用 sigmoid 函数作为激活函数的深层次网络出现梯度消失的原因是。* A .靠近输出层的网络参数的梯度较大，而靠近输入层的网络参数梯度较小； B .靠近输出层的网络参数变化较快，而靠近输入层的网络参数变化较慢 C .当靠近输出层的网络参数收敛时，靠近输入层的网络参数仍然是随机的值 D .sigmoid 函数有将较大的输入信号转换为较小的输出信号的特性 正确答案：A,B,C,D 3.在深度神经网络中 ReLu 函数取代 sigmoid 函数作为激活函数的原因是？* A .计算速度较快 B .有生物学基础 C .可以看成无限多个有不同偏差的 sigmoid 函数的叠加 D .有效地减缓了梯度消失问题 正确答案：A,B,C,D 4.以 ReLu 函数为激活函数的深度神经网络可以看成由已激活的神经元组成的比原网络要瘦的线性神经网络，因此以 ReLu 函数为激活函数的深度神经网络只能拟合线性函数。5-1* A .对
B .错 正确答案：B 5.ReLu 函数的变种包括* A .Leaky Relu B .Parametric Relu C .Tanh D .Maxout 正确答案：A,B,D 6.RMSProp 梯度优化算法是在学习率的基础上除以历史梯度的均方根误差，其中历史梯度会以一定的比率衰减，并且越早的梯度衰减越快。5-1* A .对 B .错 正确答案：A 7.基于动量（momentum）的梯度优化方法是指损失函数的优化方向不仅要考虑梯度而且要考虑过去的优化方向。5-1* A .对 B .错 正确答案：A 8.Adam 优化方法结合以下哪些优化方法* A .RMSProp B .Adagrad C .Momentum D .Vanilla Gradient Descent 正确答案：A,C 9.以下哪种方法有可能解决模型在测试集上效果不好的问题。* A .Early Stopping B .Regulization C .Dropout D .Adaptive Learning Rate 正确答案：A,B,C 10.L2 正则项的效果是使得参数相对偏小。* A .对 B .错 正确答案：A 11.L1 正则项的效果是使得参数比较稀疏，即 0 的个数较多。* A .对 B .错 正确答案：A 12.Dropout 以一定的概率关闭掉神经元，从而改变网络的结构。* A .对 B .错 正确答案：A 13.使用 Dropout 方法在训练阶段以 p 的概率关闭神经元的话，在测试阶段则需要将权重乘以 1-p。* A .对 B .错 正确答案：A
14.Dropout 方法可看成一种集成学习方法。* A .对 B .错 正确答案：A 卷积神经网络 - 卷积神经网络 - 深度学习 1.CNN 图像识别设计所考虑的三个准则是。* A .图像中存在远小于整个图像大小的模式 B .一个模式在不同图像中可能位于不同的位置 C .改变图像的分辨率不会影响对图像中物体的识别 D .不采用全连接可以减少网络参数 正确答案：A,B,C 2.由 CNN 构成的分类模型中一般包含如下网络层。* A .全连接层 B .拉直层 C .池化层 D .卷积层 正确答案：A,B,C,D 3.CNN 中池化层所起的作用包括。* A .识别图像中的子模式 B .识别图像中位于不同位置的模式 C .降低图像采样率 D .获取图像的恒定表征 正确答案：C,D 4.以下属于 CNN 可视化可解释性方法的是。* A .可视化卷积神经网络的中间输出 B .可视化卷积神经网络的过滤器 C .可视化网络权重 D .可视化图像中类激活的热力图 正确答案：A,C,D 5.AlphaGo 中用到了池化层。* A .对 B .错 正确答案：B 6.在文本分析和语音识别中都可以用到卷积神经网络。* A .对 B .错 正确答案：A 深层网络的意义 - 深层网络的意义 - 深度学习 1.深层神经网络和浅层神经网络从对函数的表示能力角度来看是差不多的。* A .对 B .错 正确答案：A 2.对于同样的机器学习任务，浅层神经网络和深层神经网络所需要的数据量是一样的。* A .对 B .错 正确答案：B
3.对于同样的机器学习任务，深层神经网络相对于浅层神经网络效率上更高。* A .对 B .错 正确答案：A 4.对于同样参数规模的浅层神经网络和深层神经网络，其预测的准确率是差不多的。* A .对 B .错 正确答案：B 5.相比于浅层神经网络，深层神经网络实际上利用了模块化的思想。* A .对 B .错 正确答案：A 词嵌入模型 - 词嵌入模型 - 深度学习 1.词嵌入（Word Embedding）是一种无监督的学习方法。* A .对 B .错 正确答案：A 2.词嵌入不需要损失函数。* A .对 B .错 正确答案：B 3.以下关于词嵌入模型说法正确的是。* A .国家和首都直接的关系在词嵌入模型中可以保留 B .英语词汇的时态关系在词嵌入模型中可以保留 C .动物类别及其亚种之间的关系在词嵌入模型中可以保留 D .“国王-王后”与“叔叔-阿姨”之间的类别关系在词嵌入模型中可以保留 正确答案：A,B,C,D 4.以下关于词嵌入模型说法不正确的是。* A .在多语言嵌入模型中，来自不同语言的具有相似语义信息的词汇可以得到类似的嵌入表达 B .在多领域嵌入模型中，来自不同领域（文本、图像、语音等）的具有相似语义信息的实体可以得到类似的嵌入表达 C .整个文档的嵌入表达可以由词汇的嵌入表达构成 D .词嵌入模型有考虑词汇在句子中的先后关系。
正确答案：D 循环神经网络 - 循环神经网络 - 深度学习 1.PCA 也可以看成一种自编码器模型。* A .对 B .错 正确答案：A 2.深度自编码器的解码器和编码器必须是对称的。* A .对 B .错 正确答案：B 3.在基于卷积的自编码器中卷积运算和反卷积运算实际上是一回事。* A .对 B .错
正确答案：A 4.PCA 也可以看成一种自编码器模型。* A .对 B .错 正确答案：A 5.自编码器分为编码器、解码器两个部分。* A .对 B .错 正确答案：A 6.深度自编码器的解码器和编码器必须是对称的。* A .对 B .错 正确答案：B 7.自编码器训练时的损失函数是通过对比输入、输出的差异来确定的。* A .对 B .错 正确答案：A 8.在基于卷积的自编码器中卷积运算和反卷积运算实际上是一回事。* A .对 B .错 正确答案：A 自编码器 - 自编码器 - 深度学习 1.循环神经网络给神经网络提供了时序记忆能力。* A .对 B .错 正确答案：A 2.在循环神经网络的不同版本中，Elman 网络和 Jordan 网络的差别在于隐藏层输入信号的来源不尽相同。* A .对 B .错 正确答案：A 3.以下属于循环神经网络的是？* A .Elman 网络 B .Jordan 网络 C .LSTM D .GRU 正确答案：A,B,C,D 4.循环神经网络的潜在应用包括？* A .机器翻译 B .聊天机器人 C .视频字幕生成 D .阅读理解 正确答案：A,B,C,D 5.GRU 相比于 LSTM 要复杂一些。* A .对 B .错 正确答案：B
6.循环神经网络训练时采用的优化算法是 BPTT。* A .对 B .错 正确答案：A 迁徙学习 - 迁徙学习 - 深度学习 1.所谓迁徙学习是指将从源数据领域学到的知识迁徙到有一定相关性但不太相同的目标数据领域。* A .正确 B .错误 正确答案：A 2.以下哪种迁徙学习属于源数据和目标数据都是有标签的。* A .微调（Fine-tuning）
B .自学习（Self-taught learning）
C .多任务学习（Multi-task learning）
D .零样本学习（Zero-shot learning）
正确答案：A,B 3.以下哪种迁徙学习属于源数据和目标数据分别是有标签和无标签的* A .对抗领域训练（Domain Adversarial Training）
B .自学习（Self-taught learning）
C .多任务学习（Multi-task learning）
D .零样本学习（Zero-shot learning）
正确答案：A,D 4.以下哪种迁徙学习属于源数据和目标数据分别是无标签和有标签的。* A .对抗领域训练（Domain Adversarial Training）
B .自学习（Self-taught learning）
C .多任务学习（Multi-task learning）
D .零样本学习（Zero-shot learning）
正确答案：B 5.以下哪种迁徙学习属于源数据和目标数据都是无标签的。* A .微调（Fine-tuning）
B .自学习（Self-taught learning）
C .多任务学习（Multi-task learning）
D .自学习聚类（Self-taught Clustering）
正确答案：D 6.谷歌的多语言翻译模型是一种零样本学习。* A .正确 B .错误 正确答案：A 7.零样本学习是指目标任务中的数据利用与源数据的样本的各个特征属性的相似性以及源数据的标签推断出目标数据的类别。* A .正确 B .错误 正确答案：A 8.领域对抗训练（Domain Adversarial Training）与对抗生成网络（GAN）有些类似。* A .正确 B .错误 正确答案：A
9.领域对抗训练利用源数据训练好的模型中的特征提取部分提取特征，而目标数据的分类部分则基于目标数据而设计，并且加上一个领域分类器（区分源数据领域和目标数据领域），优化目标是一方面最大化目标数据分类器的准确性，另一方面减少领域分类器的准确性。
（ ）* A .正确 B .错误 正确答案：A 10.多任务学习是指不同的学习任务共享神经网络的某些网络层。* A .正确 B .错误 正确答案：A 11.多任务学习中不同的任务的特征提取层都是一样的。* A .正确 B .错误 正确答案：B 12.语音识别通常复制源数据模型的前几层，图像识别通常复制源数据模型的后几层。* A .正确 B .错误 正确答案：B 集成学习 - 集成学习 - 深度学习 1.1、集成学习中的 Bagging 机制本质上利用不同模型往往不会同时出错的特点减少了模型的误差。* A .正确 B .错误 正确答案：A 2.以下属于 Baggin 模型的是。* A .决策树 B .随机森林 C .AdaBoost D .Stacking 正确答案：B 3.Bagging 机制利用选举或者平均的方式从多个嵌入的分类模型的输出中得出集成模型的分类结果。* A .正确 B .错误 正确答案：A 4.随机森林是将 Bagging 机制运用到决策树上。* A .正确 B .错误 正确答案：A 5.如果一个机器学习模型的分类准确率小于 50%，通过集成学习的 Boosting 机制能够将该模型的准确率提升到 100%。
（ ）* A .正确 B .错误 正确答案：B 6.Boosting 机制的框架是通过序列化的方式学出多个互补的分类器，并最终综合考虑这些分类器的分类结果。
( )* A .正确 B .错误
正确答案：A 7.为了改进已有分类器，AdaBoost 通过对已有分类器的不同数据样本的误差赋予不同的权重生成新的训练数据集使得已有分类器的分类误差增大，并基于新的训练集训练出新的分类器。* A .正确 B .错误 正确答案：A