Python知识分享网 - 专业的Python学习网站 学Python,上Python222
Transformer面试 DOC 下载
匿名网友发布于:2025-05-30 09:55:01
(侵权举报)
(假如点击没反应,多刷新两次就OK!)

Transformer面试 DOC 下载 图1

 

 

资料内容:

 

.1.Transformer为何使用多头注意力机制?(为什么不使用一个头)
.2.Transformer为什么Q和K使用不同的权重矩阵生成,为何不能使用同一个值进行自身的点乘? (注意和第一个问题的区别)
.3.Transformer计算attention的时候为何选择点乘而不是加法?两者计算复杂度和效果上有什么区别?
.4.为什么在进行softmax之前需要对attention进行scaled(为什么除以dk的平方根),并使用公式推导进行讲解
.5.在计算attention score的时候如何对padding做mask操作?
.6.为什么在进行多头注意力的时候需要对每个head进行降维?(可以参考上面一个问题)
.7.大概讲一下Transformer的Encoder模块?
.8.为何在获取输入词向量之后需要对矩阵乘以embedding size的开方?意义是什么?
.9.简单介绍一下Transformer的位置编码?有什么意义和优缺点?
.10.你还了解哪些关于位置编码的技术,各自的优缺点是什么?
.11.简单讲一下Transformer中的残差结构以及意义。
.12.为什么transformer块使用LayerNorm而不是BatchNorm?LayerNorm 在Transformer的位置是哪里?