注意力机制有哪些类型？

注意力机制的主要类型包括软注意力与硬注意力、全局注意力与局部注意力、自注意力与普通注意力，以及加法注意力与点积注意力机制。

每种类型都有其独特目的。软注意力计算所有输入元素的加权分布，而硬注意力选择单个元素。全局注意力考虑所有元素，而局部注意力关注子集。自注意力对 Transformer 等模型至关重要，关联单个序列内不同位置的关系；普通注意力通常应用于不同序列之间，如编码器-解码器。加法注意力（如 Bahdanau）使用学习到的前馈网络进行评分，点积通过向量点积直接计算对齐分数，提供计算效率。

这些机制增强了建模能力。自注意力捕获数据序列中的长距离依赖关系，推动了机器翻译和文本生成的突破。局部注意力平衡了性能和计算成本。点积注意力扩展效率高。它们是最先进架构的基础，在 NLP、计算机视觉和多模态 AI 应用中实现了卓越性能。